मेरे पास एक https://link है, जो मुझे 50GB डेटा के साथ एक json ऑब्जेक्ट देता है। मैं सीधे जावा कोड का उपयोग करके इस जेसन को एस 3 पर डाउनलोड करना चाहता हूं। या कोई अन्य उपकरण जो इस डेटा को सीधे s3 में डाउनलोड कर सकता है।

मैंने वास्तव में जावा कोड से कुछ तरीकों की कोशिश की, मैं लगभग 200 एमबी डेटा डाउनलोड कर सकता हूं लेकिन जब आकार बढ़ता है तो यह विफल हो जाता है।

मुझे यहां मदद चाहिए।

0
gauravprasad 27 जिंदा 2017, 20:57
1
"इट्स फेल" ... ठीक है, यह किस तरह से फेल होता है? त्रुटि क्या है? किसी भी घटना में, यह विफल नहीं होना चाहिए, और कोई भी सामान्य उपकरण इसे संभालने में सक्षम होना चाहिए, जैसे curl या wget, उदाहरण के लिए। S3 5TB तक की वस्तुओं का समर्थन करता है, और कोई बुनियादी कारण नहीं है कि कोई भी मानक HTTP क्लाइंट S3 से किसी भी आकार की वस्तु को डाउनलोड करने में सक्षम नहीं होगा।
 – 
Michael - sqlbot
28 जिंदा 2017, 00:55
प्रश्न स्पष्ट नहीं है कि आप S3 पर अपलोड कर रहे हैं या S3 से डाउनलोड कर रहे हैं। अगर अपलोड कर रहे हैं तो आप एक ही अनुरोध में अधिकतम 5Gb कर सकते हैं। कम से कम आपको एक मल्टीपार्ट अपलोड का उपयोग करने की आवश्यकता होगी।
 – 
Qwerky
28 जिंदा 2017, 17:48

2 जवाब

मुझे नहीं लगता कि यह संभव है, नेटवर्क स्तर पर डेटा सीमा है (राउटर आदि...)

आपके पास दो विकल्प हैं: 1. एक पेजिनेटेड राइट एपीआई और एक फाइल मर्ज एपीआई लिखें (टुकड़ों में डाउनलोड करें और मर्ज करें) 2. हर जगह सीमाएं बढ़ाएं (स्विच, राउटर ई 3)

आसान और बेहतर आईएमओ दृष्टिकोण पहला है जहां आप सत्यापित करने और आगे बढ़ने और अंत में विलय करने के लिए कुछ सेवाएं लिख सकते हैं।

0
amitmah 27 जिंदा 2017, 23:06
wget -O file "https://link"

यदि वेब ब्राउज़र के माध्यम से https://link डाउनलोड किया जा सकता है, तो उपरोक्त कमांड आउटपुट को 'फाइल' में लिखेगा।

0
Stephen Rauch 10 अक्टूबर 2018, 04:46