वेब क्रॉलर रणनीति
जानकारी
नेटवर्क क्रॉलर निर्माण की प्रक्रिया में, पहले सभी प्रकार के URL को लगातार खींचने और उन्हें कैश यादृच्छा कतार में सहेजने की आवश्यकता है। फिर, इन URL को डाउनलोडर के माध्यम से डाउनलोड करें और डाउनलोड की गई पृष्ठों को वेबपेज लाइब्रेरी में संग्रहीत करने के लिए इंडेक्स स्थापित करें, साथ ही पहले ही खींचे गए URL कतार में भी एक प्रतिरूप रखें, ताकि डुप्लीकेट खींचना न हो।
खींचने की रणनीति
विभिन्न वेबपृष्ठों की खींचने के लिए निम्नलिखित चयन सुनिश्चित करने के लिए रणनीतियाँ हैं:
- गति प्राथमिकता से यात्रा करें:डाउनलोड पृष्ठ में शामिल लिंकों को सीधे प्राथमिकता प्राप्त करने के लिए प्रतीक्षीत करें।
- गहराई प्राथमिकता से यात्रा करें:पहले एक पृष्ठ के सभी लिंक खींचें, फिर हर लिंक की खींचाई में गहराई करें, जब तक पूरा नहीं हो जाता।
इन रणनीतियों का मूल उद्देश्य महत्वपूर्ण पृष्ठों की प्राथमिकता देना है, वेबसाइट की सरल यात्रा नहीं।
पेजरैंक एल्गोरिदम
पेजरैंक एल्गोरिदम एक पेज के महत्व को मापने की एक एल्गोरिदम है, जो मुख्य रूप से इनलिंक संख्या और गुणवत्ता को ध्यान में रखता है। हालांकि, खींचने की प्रक्रिया में पेजरैंक स्कोर का पूर्णत: गणना संभव नहीं है। इसलिए, डाउनलोड किए गए पृष्ठों को और प्रतीय लिस्ट में बचे पृष्ठों को समाक्षी परिवेशक दृष्टि से विचार कर, आखिरकार महत्व होने प्रमुख पृष्ठ को प्राथमिकता प्राप्त करें।
OPIC रणनीति
ओपिक PageRank का एक उन्नत संस्करण है, यानी ऑनलाइन पेज महत्व मापन। इसकी मुख्य विशेषता है कि पेज का महत्व वास्तविक समय में मापा जाता है, सभी URL को प्रारंभिक स्कोर दिया जाता है, फिर डाउनलोड किए गए पेज के स्कोर को उस पेज के भीतर के लिंक को सहायक स्कोर में वितरित किया जाता है, और इस पेज के स्कोर को साफ किया जाता है, जिसे दाब्य सूची में उच्च और कम के आधार पर अगले कब्जा के लिए प्राथमिक करना है।
बड़े स्थान पहले की नीति
कब्जा की सूची में URL के वर्गीकरण और डोमेन स्तर की जांच के आधार पर, ऊचा वजन वाली वेबसाइट के प्रमुख डोमेन को पहले कब्जा करने का फैसला किया जाता है। किसी विशेष स्थिति के आधार पर बड़े स्थान का तरीका मायने-लेने वाला हो सकता है।