यह हार्डवेयर से संबंधित प्रश्न का अधिक है। मेरी कंपनी में हम R (डेटा विश्लेषण के लिए) और Power BI (डेटा विज़ुअलाइज़ेशन के लिए) दोनों के साथ काम करते हैं। डोमेन विशिष्ट गणना करने के लिए हमारे पास R में एक एसेट बिल्ड है और हम कुछ अधिक या कम जटिल ग्राफ़ और परिकलित फ़ील्ड के साथ PowerBI में आउटपुट प्रदर्शित करते हैं।

हमें हाल ही में अपने पीसी (HP 830 G5 - i58250U - 8Gb RAM) के साथ 2Gb/7 मिलियन रिकॉर्ड के डेटासेट से निपटना पड़ा। उपरोक्त डेटासेट के साथ हमारी गणना के दौरान R का समय समाप्त हो गया जबकि Power BI इसे अपेक्षाकृत आसानी से संभालने में सक्षम था।

मुझे पता है कि आर सक्रिय रूप से वस्तुओं के अस्थायी भंडारण के रूप में रैम मेमोरी का उपयोग करता है, और यह एक समस्या हो सकती है। लेकिन Power BI के साथ कोई समस्या क्यों नहीं थी? मैं यह पूछने का कारण यह पता लगाना है कि क्या हमारे सभी लैपटॉप में अधिक रैम खरीदना / स्थापित करना एक अच्छा समाधान है। हमें अपनी संपत्ति के काम करने के लिए R और Power BI दोनों की आवश्यकता है।

आपका बहुत बहुत धन्यवाद!

0
mexaria 6 नवम्बर 2020, 11:36
अधिक विशिष्टताओं को जाने बिना इस प्रश्न का उत्तर देना असंभव है। मेरा पहला अनुमान आर पक्ष पर अक्षम प्रोग्रामिंग होगा। उस पीसी के साथ 2 जीबी डेटासेट को संभालना आसान होना चाहिए। पहला सुझाव: यदि आप कोई भारी डेटा हेरफेर कर रहे हैं, तो किसी भी साफ-सुथरे पैकेज के बजाय data.table पर एक नज़र डालें। जावा ढेर और कचरा संग्रह भी ऐसे शब्द हो सकते हैं जिन्हें आपको देखना चाहिए, लेकिन अधिक विशिष्टताओं के बिना, यह कठिन होगा।
 – 
tester
6 नवम्बर 2020, 11:47
उत्तर के लिए धन्यवाद। मान लें कि डेटासेट बड़ा होगा, उदा। 10 जीबी। यदि वस्तुओं का आकार R उत्पन्न कर रहा है, उपलब्ध RAM से अधिक है, तो यह प्रोग्रामिंग दक्षता से कोई फर्क नहीं पड़ता, यह समय समाप्त हो जाएगा। सही? एक वैकल्पिक समाधान बिट्स में डेटा का विश्लेषण करने के लिए सभी कोड को फिर से करना होगा (यानी ऑब्जेक्ट आकार को कम करना), लेकिन यह हमारे लिए एक आदर्श समाधान नहीं है, जिसे आवश्यक काम की मात्रा दी गई है। तो क्यों PowerBI डेस्कटॉप किसी भी आकार की फ़ाइलों को अच्छी तरह से संभालता है? यह हमारे पीसी में रैम का उपयोग कैसे कर रहा है?
 – 
mexaria
6 नवम्बर 2020, 12:28
पावर बीआई मेमोरी कम्प्रेशन इंजन का उपयोग करता है जिसे वेरिटपैक कहा जाता है, जो पंक्ति और स्तंभ पर डेटा को संपीड़ित करता है, और एक भंडारण और गणना भागों में विभाजित होता है, जो रैम के उपयोग में कुछ दक्षता की व्याख्या कर सकता है
 – 
Jon
6 नवम्बर 2020, 18:06

1 उत्तर

सबसे बढ़िया उत्तर

कुशल कोड के लिए RAM की कोई भी मात्रा नहीं बनेगी। सॉफ़्टवेयर समस्या पर हार्डवेयर फेंकने से प्रारंभ में मदद मिल सकती है, लेकिन यह स्केल के साथ-साथ अच्छे कोड को भी नहीं बढ़ाएगा। आपके विशेष उपयोगकेस के बारे में अधिक जानने के बिना, मैं जो सबसे अच्छी सलाह दे सकता हूं वह है अधिक कुशल पुस्तकालयों जैसे data.table, या यह अंश

आपको में काम करने पर भी विचार करना चाहिए। समानांतर, आपके उदाहरण के लिए एक से अधिक कोर का उपयोग कर रहा है। Power BI स्वचालित रूप से इसके लिए हो सकता है, लेकिन R में आपको स्पष्ट रूप से ऐसा कहना होगा।

10 जीबी से कम की फाइलों के साथ, आर को कोई समस्या नहीं होनी चाहिए। हालांकि, 10 जीबी से ऊपर के लिए कुछ समाधान की आवश्यकता है, जैसा कि इस लेख में हाइलाइट किया गया है। .

0
mhovd 6 नवम्बर 2020, 12:29