अपनी वेबसाइट सामग्री का सोगो पाइथन क्राव रोकिए कैसे?

विधि एक: robots.txt फ़ाइल का उपयोग करना

आपके वेबसाइट की सामग्री को Sogou स्पाइडर से प्रतिबंधित करने के लिए, आप robots.txt फ़ाइल बनाकर ऐसा कर सकते हैं। फ़ाइल में निम्नलिखित सामग्री जोड़ें:

User-agent: Sogou web spider

Disallow: /

User-agent: sogou spider

Disallow: /

User-agent: *

Disallow:

क्योंकि यह निश्चित नहीं है कि यह sogou spider है या Sogou web spider, इसलिए दो पंक्तियाँ लिखी गई हैं। अन्य सर्च इंजन संबंधित लेखों में अपने स्पाइडर का नाम बताते हैं, लेकिन Sogou नहीं बताता, जो इसके एक पक्ष को दिखाता है। फ़ाइल को वेबसाइट की रूट डायरेक्टरी में अपलोड करने के बाद यह प्रभावी होगा। हालांकि, ध्यान देने की बात यह है कि कभी-कभी Sogou स्पाइडर robots.txt फ़ाइल के नियमों का पालन नहीं करता, इसलिए उसे प्रतिबंधित करना फिर भी संभव हो सकता है।

विधि दो: .htaccess फ़ाइल का उपयोग करना

robots.txt फ़ाइल के साथ अनुपालन करते हुए, आप एक नया .htaccess फ़ाइल भी बना सकते हैं। फ़ाइल का नाम .htaccess होगा और फ़ाइल में निम्नलिखित सामग्री जोड़ें:

#स्पाइडर प्रतिबंधित करें

शेयर करें

एक्सेस की अनुमति, निषेध

#Sogou प्रतिबंधित करें

220.181.125.71 से निषेध करें

220.181.125.68 से निषेध करें

220.181.125.69 से निषेध करें

220.181.94.235 से निषेध करें

220.181.94.233 से निषेध करें

220.181.94.236 से निषेध करें

220.181.19.84 से मना करें

सभी से अनुमति

</LIMIT>

इस फ़ाइल को वेबसाइट के मूल निर्देशिका पर अपलोड करें। यहां दिए गए आईपी पते सगो स्पाइडर्स के हैं, जिन्हें वे नियमित अंतर करते हैं, अगर नए आईपी पते होते हैं, तो कभी भी उन्हें जोड़ा जा सकता है।