मैं एक टेबल के लिए एडीएफ यूआई का उपयोग करके एक एससीडी टाइप 2 प्रक्रिया को आसानी से स्थापित करने में सक्षम था लेकिन मुझे हमारे पास मौजूद डेटा स्रोतों के पैमाने पर एक आसान तरीका नहीं दिख रहा है। मुझे कोई जावा एपीआई नहीं दिख रहा है जो मुझे एडीएफ पाइपलाइन/डेटाफ्लो लिखने और उन्हें गतिशील रूप से कॉन्फ़िगर और ट्रिगर करने की अनुमति देगा। किसी विशेष डेटाबेस आदि से कौन सी टेबल चुनने की अनुमति देने के लिए कोई UI नहीं है। मैंने Azure Datalake Gen 2, Azure Databricks आदि को देखा। मुझे Azure में कोई टूल नहीं दिख रहा है जो हमें UI संचालित डेटा लेक अंतर्ग्रहण प्रक्रिया को बदलने की अनुमति देगा। घर में बनाया है। क्या मैं कुछ भूल रहा हूँ?

एक तरफ ध्यान दें, हमारे पास एक पुराना डेटा लेक एप्लिकेशन है जो हजारों डेटा स्रोतों जैसे डेटाबेस, लॉग फाइल, वेब एप्लिकेशन इत्यादि से डेटा लेता है और जावा, स्पार्क, काफ्का इत्यादि जैसी तकनीकों का उपयोग करके एचडीएफएस (एक सामान्य आर्किटेक्चर) पर डेटा स्टोर करता है। हम इसे बदलने के लिए Azure Active Data Factory का मूल्यांकन कर रहे हैं।

0
DilTeam 10 जिंदा 2020, 23:14

2 जवाब

एडीएफ में निर्मित एक सामान्य एससीडी (टाइप 1, लेकिन आप टाइप 2 के लिए रेट्रोफिट कर सकते हैं) उदाहरण है। नया> टेम्प्लेट से पाइपलाइन> डेटा प्रवाह के साथ रूपांतरण> जेनेरिक एससीडी टाइप 1 पर जाएं।

यह पैटर्न यहां दिया गया है: https://techcommunity.microsoft.com/t5/azure-data-factory/create-generic-scd-pattern-in-adf-mapping-data-flows/ba-p/ 918519.

आप पाइपलाइन के अंदर Foreach के लिए स्कीमालेस टेबल डेटासेट पर भी पुनरावृति कर सकते हैं, प्रत्येक पुनरावृत्ति पर समान डेटा प्रवाह को कॉल कर सकते हैं।

अंत में, यदि आप अभी भी प्रोग्रामेटिक रूप से डेटा प्रवाह को स्टैम्प-आउट करना चाहते हैं, तो .NET और पावरशेल एसडीके ऑनलाइन Azure डॉक्स के संदर्भ अनुभाग में सूचीबद्ध हैं।

0
Mark Kromer MSFT 11 जिंदा 2020, 01:41
योजनारहित टेबल? यह आवश्यकता नहीं है इसलिए यह पर्याप्त नहीं है! हां, मैंने देखा है कि .NET है लेकिन जावा एसडीके नहीं है। किसी भी स्थिति में, ऐसा लगता है कि Azure में 1000 टेबल तक स्केलिंग बॉक्स से बाहर नहीं है। इसके लिए काफी कोडिंग की जरूरत होती है।
 – 
DilTeam
11 जिंदा 2020, 03:46
SQL तालिका प्रकार के स्कीमालेस डेटासेट आपको तालिकाओं को पैरामीटराइज़ करके अपने डेटा प्रवाह को सामान्य बनाने की अनुमति देते हैं। चूंकि डेटा प्रवाह स्कीमा रहित डेटासेट के साथ स्कीमा की परवाह नहीं करता है, इसलिए आप एक सामान्य पैटर्न बना सकते हैं। मैं इसे यहां समझाता हूं: youtube.com/watch?v=Sj15Yjwai1A
 – 
Mark Kromer MSFT
11 जिंदा 2020, 10:35

कोड का उपयोग करके पाइपलाइन बनाने के लिए आप जावा से आरईएसटी एपीआई का लाभ उठा सकते हैं।

https://docs.microsoft.com/en-us/azure/data-factory/quickstart-create-data-factory-rest-api

0
David Moore 11 जिंदा 2020, 06:12