स्क्रैपी स्पाइडर के लिए रक्षात्मक वेब स्क्रैपिंग तकनीक

चूंकि आपने कोई कोड पोस्ट नहीं किया है, इसलिए मैं केवल सामान्य सलाह दे सकता हूं।

1. देखें कि क्या कोई छिपा हुआ API है जो आपके द्वारा खोजे जा रहे डेटा को पुनः प्राप्त करता है। पेज को क्रोम में लोड करें। F12 से निरीक्षण करें और नेटवर्क टैब के अंतर्गत देखें। CTRL + F क्लिक करें और आप स्क्रीन पर दिखाई देने वाले टेक्स्ट को खोज सकते हैं जिसे आप एकत्र करना चाहते हैं। यदि आपको नेटवर्क टैब के अंतर्गत कोई फ़ाइल मिलती है जिसमें डेटा जेसन के रूप में है, तो यह अधिक विश्वसनीय है क्योंकि वेबपेज का बैकएंड फ्रंटएंड की तुलना में कम बार-बार बदलेगा।

2. चयनकर्ताओं के साथ कम विशिष्ट रहें। body > .content > #datatable > .row::text करने के बजाय आप #datatable > .row::text में बदल सकते हैं। तब आपके मकड़ी के छोटे बदलावों पर टूटने की संभावना कम होगी।

3. try except के साथ त्रुटियों को संभालें ताकि यदि आप उम्मीद कर रहे हैं कि कुछ डेटा असंगत हो सकता है तो संपूर्ण पार्स फ़ंक्शन को समाप्त होने से रोकें।