हमारे पास एक s3 बकेट है जिसमें निम्नलिखित प्रारूप में फाइलें हैं:

6ugdasznp56o_2020-09-04T140000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz

क्या storage.location.template को निम्नानुसार परिभाषित करना संभव है:

6ugdasznp56o_${year}-${month}-${date}T${hour}0000_6081c358e0417bdd81284b0cf7a6b321_2853a9.csv.gz

इस s3 बाल्टी में मेरी फ़ाइलों को विभाजित करने के लिए?

1
Shubham 5 नवम्बर 2020, 08:26

1 उत्तर

सबसे बढ़िया उत्तर

विभाजन फ़ाइल स्तर पर नहीं हो सकता है लेकिन केवल एक फ़ोल्डर संरचना पर हो सकता है, यह भी देखें अमेज़न S3 में तालिका स्थान:

अपने डेटा के लिए LOCATION निर्दिष्ट करने के लिए निम्न में से किसी भी आइटम का उपयोग न करें।

  • फ़ाइल स्थान निर्दिष्ट करने के लिए फ़ाइल नाम, अंडरस्कोर, वाइल्डकार्ड या ग्लोब पैटर्न का उपयोग न करें।

उदाहरण जो काम नहीं करते हैं:

...
s3://path_to_bucket/mySpecialFile.dat
s3://bucketname/prefix/filename.csv
...
2
Philipp Johannis 5 नवम्बर 2020, 15:01