मुझे एक प्रोजेक्ट की BigQuery पर एक जॉइन क्वेरी चलाने की आवश्यकता है, जो बड़ी मात्रा में डेटा (जो VM की मेमोरी में फ़िट नहीं हो सकता है) लौटा सकती है, और फिर परिणामों को किसी अन्य प्रोजेक्ट के BigQuery में सहेज सकती है।
क्या VM में डेटा लोड किए बिना ऐसा करने का कोई आसान तरीका है, क्योंकि डेटा का आकार भिन्न हो सकता है और VM में इसे लोड करने के लिए पर्याप्त मेमोरी नहीं हो सकती है?
2 जवाब
किसी भी प्रोजेक्ट में किसी तालिका में क्वेरी के परिणाम को सहेजने के लिए - आपको इसे पहले वीएम में सहेजने की आवश्यकता नहीं है, आपको बस गंतव्य संपत्ति को ठीक से सेट करना चाहिए और निश्चित रूप से आपको उस तालिका वाले डेटासेट को लिखने की अनुमति होनी चाहिए!
आपके द्वारा उपयोग किए जाने वाले क्लाइंट टूल के आधार पर गंतव्य संपत्ति भिन्न हो सकती है
उदाहरण के लिए, यदि आप REST API के Jobs.insert का उपयोग कर रहे हैं, तो आपको संपत्ति के नीचे सेट करना चाहिए
configuration.query.destinationTable नेस्टेड ऑब्जेक्ट [वैकल्पिक]
उस तालिका का वर्णन करता है जहां क्वेरी परिणाम संग्रहीत किए जाने चाहिए। अगर नहीं वर्तमान में, परिणामों को संग्रहीत करने के लिए एक नई तालिका बनाई जाएगी। इस संपत्ति को बड़े परिणामों के लिए सेट किया जाना चाहिए जो अधिकतम से अधिक हो प्रतिक्रिया आकार।configuration.query.destinationTable.datasetId स्ट्रिंग [आवश्यक]
NS इस तालिका वाले डेटासेट की आईडी।configuration.query.destinationTable.projectId स्ट्रिंग [आवश्यक]
NS इस तालिका वाले प्रोजेक्ट की आईडी।configuration.query.destinationTable.tableId स्ट्रिंग [आवश्यक]
आईडी तालिका के। आईडी में केवल अक्षर (a-z, A-Z), संख्याएं होनी चाहिए (0-9), या अंडरस्कोर (_)। अधिकतम लंबाई 1,024 वर्ण है।
एक तरीका ऑपरेशन के लिए VM को बायपास करना और इसके बजाय Google क्लाउड स्टोरेज का उपयोग करना है।
प्रक्रिया निम्नलिखित की तरह दिखेगी
- एक जीएस बकेट बनाएं जिसमें दोनों परियोजनाओं की पहुंच हो
- स्रोत परियोजना - जीएस बकेट में तालिका निर्यात करें (यह वेब इंटरफेस से संभव है, निश्चित रूप से सीएलआई उपकरण इसे कर सकते हैं)
- गंतव्य परियोजना - जीएस बकेट में फाइलों से एक नई तालिका बनाएं
नए सवाल
google-bigquery
Google BigQuery एक Google क्लाउड प्लेटफ़ॉर्म उत्पाद है जो SQL का उपयोग करते हुए पेटाबाइट-स्केल डेटा सेट के सर्वर रहित क्वेरी प्रदान करता है। BigQuery कई रीड-राइट पाइपलाइन प्रदान करता है, और डेटा एनालिटिक्स को सक्षम करता है जो व्यवसायों को डेटा का विश्लेषण कैसे करते हैं।