मेरे पास एक पाइपलाइन है जिसमें एकाधिक प्रतिलिपि गतिविधि है, और इन गतिविधियों का मुख्य उद्देश्य एकाधिक फ़ाइलों को एक फ़ाइल में मर्ज करना है। इस पाइपलाइन की समस्या यह है कि इसे निष्पादित करने में (फाइलों को मर्ज करने के लिए) लगभग 4 घंटे लगते हैं। कृपया अवधि कम करने का कोई तरीका है।
आपके जवाब के लिए धन्यवाद ।
1 उत्तर
यदि प्रतिलिपि कार्रवाई Azure एकीकरण पर की जा रही है रनटाइम, निम्नलिखित चरणों का पालन किया जाना चाहिए:
डेटा इंटीग्रेशन यूनिट्स (DIU) और समानांतर कॉपी सेटिंग्स के लिए, से शुरू करें डिफॉल्ट मान।
यदि आप स्व-होस्ट किए गए एकीकरण रनटाइम का उपयोग कर रहे हैं, तो आपको यह करना होगा निम्नलिखित:
अनुशंसा करेंगे कि आप IR को एक अलग कंप्यूटर पर चलाएँ। मशीन चाहिए डेटा स्टोर सर्वर से अलग रखा जाना चाहिए। डिफ़ॉल्ट का उपयोग शुरू करें समानांतर प्रतिलिपि सेटिंग्स और एकल पर स्वयं-होस्टेड आईआर के लिए डिफ़ॉल्ट नोड.
अन्यथा आप लाभ उठा सकते हैं:
- एक डेटा एकीकरण इकाई (DIU)
यह एक ऐसा उपाय है जो Azure डेटा फ़ैक्टरी और Synapse पाइपलाइनों में एकल इकाई की शक्ति का प्रतिनिधित्व करता है। पावर सीपीयू, मेमोरी और नेटवर्क संसाधन आवंटन का एक संयोजन है। DIU केवल Azure एकीकरण रनटाइम पर लागू होता है। डीआईयू सेल्फ-होस्टेड इंटीग्रेशन रनटाइम पर लागू नहीं होता है।
- समानांतर प्रतिलिपि
आप जिस समानांतर गतिविधि का उपयोग करना चाहते हैं, उस समानता को इंगित करने के लिए समानांतर प्रतिलिपियाँ गुण सेट कर सकते हैं। इस संपत्ति को कॉपी गतिविधि के भीतर अधिकतम संख्या में थ्रेड के रूप में सोचें। धागे समानांतर में काम करते हैं। थ्रेड या तो आपके स्रोत से पढ़ते हैं, या आपके सिंक डेटा स्टोर को लिखते हैं।
यहां, MSFT दस्तावेज़ है कॉपी गतिविधि प्रदर्शन का समस्या निवारण करने के लिए।
Azure तालिका में डेटा की प्रतिलिपि बनाते समय, डिफ़ॉल्ट समानांतर प्रतिलिपि 4 होती है। DIU सेटिंग की सीमा 2-256 होती है। हालाँकि, विभिन्न प्रतिलिपि परिदृश्यों में DIU के विशिष्ट व्यवहार भिन्न होते हैं, भले ही आप अपनी इच्छानुसार संख्या निर्धारित करते हैं।
कृपया तालिका सूची यहाँ देखें, विशेष रूप से नीचे के भाग के लिए
जैसा कि आपने देखा, DIU की कुछ सीमाएँ हैं, इसलिए आप अपने कस्टम परिदृश्य के साथ इष्टतम सेटिंग चुन सकते हैं।
यदि आप 1GB डेटा कॉपी करने की कोशिश कर रहे हैं, तो किसी तरह DIU ने कभी भी 4 को पार नहीं किया।
लेकिन जब आप 10GB डेटा कॉपी करने की कोशिश करते हैं, तो आप देख सकते हैं कि DIU ने 4 से आगे बढ़ना शुरू कर दिया है।
यहां डेटा एकीकरण इकाइयों की सूची है।
संबंधित सवाल
नए सवाल
azure-data-factory
Microsoft Azure Data Factory एक क्लाउड सेवा है जिसका उपयोग समय स्लाइस की अवधारणा का उपयोग करके अन्य Azure सेवाओं को नियंत्रित तरीके से करने के लिए किया जाता है। हाथ से तैयार किए गए JSON का उपयोग करके डेटा फैक्ट्रियों को मुख्य रूप से विकसित किया जाता है, यह उपकरण को निर्देश देता है कि किन गतिविधियों को निष्पादित करना है। अभी भी पूर्वावलोकन में, एज़्योर डेटा फैक्ट्री वी 2 की शुरूआत एपीआई का उपयोग करके एक आसान डेटा एकीकरण अनुभव के लिए अनुमति देता है और न केवल जेएसएन फाइलें।