[1 1] यदि आप कभी भी Google पर कुछ खोज की है और सोचा, है "कैसे यह जान लेता है कि जहां देखने के लिए?" इस सवाल का जवाब "वेब क्रॉलर," जो खोज वेब और यह सूचकांक ताकि आप आसानी से ऑनलाइन चीजों को खोजने के कर सकते हैं। हम समझाएंगे। [1 9] खोज इंजन और क्रौलर [1 1] आप गूगल या की तरह एक खोज इंजन पर एक कीवर्ड का उपयोग करके खोजते बिंग पृष्ठों की अरबों के माध्यम से साइट sifts उस शब्द से संबंधित परिणामों की एक सूची उत्पन्न करने के लिए। वास्तव में किस प्रकार करते हैं इन खोज इंजन फ़ाइल पर इन पृष्ठों के सभी है, उनके लिए देखने के लिए कैसे पता है, और सेकंड के भीतर इन परिणाम उत्पन्न? [1 1] जवाब वेब क्रॉलर भी मकड़ियों के रूप में जाना जाता है। ये हैं स्वचालित प्रोग्राम है कि वेब भर में "क्रॉल" या ब्राउज़ ताकि वे खोज इंजन के लिए जोड़ा जा सकता है कि (अक्सर "रोबोट" या "बोट्स" कहा जाता है)। ये रोबोट सूचकांक वेबसाइटों अंततः अपने खोज परिणामों में दिखाई देने वाले पृष्ठों की एक सूची बनाने के लिए। [1 1] क्रौलर भी बना सकते हैं और इंजन के डेटाबेस है, जो आप खोज लगभग तुरंत करने की अनुमति देता में इन पृष्ठों की दुकान प्रतियां। यह भी कारण है कि खोज इंजन अक्सर शामिल है साइटों के संचित संस्करण अपने डेटाबेस में। [1 1] सम्बंधित: वेब पृष्ठ को एक्सेस करने के लिए कैसे जब यह नीचे है [1 9] साइट मानचित्र और चयन

[1 1] तो, कैसे क्रॉलर्स क्रॉल को जो वेबसाइटों चयन कैसे करूँ? खैर, सबसे आम स्थिति में है कि वेबसाइट के मालिकों खोज इंजन को अपनी साइटों को क्रॉल करना चाहते हैं। वे अपने पृष्ठों सूचकांक करने के लिए गूगल, बिंग, याहू, या अन्य खोज इंजन का अनुरोध करके इस लक्ष्य को हासिल कर सकते हैं। इस प्रक्रिया इंजन इंजन से भिन्न होता है। इसके अलावा, खोज इंजन अक्सर समय की संख्या को एक ऐसे URL अन्य सार्वजनिक स्थलों पर जुड़ा हुआ है पर नज़र रखने से लोकप्रिय, क्रॉल करने के लिए अच्छी तरह से जुड़ा हुआ वेबसाइटों का चयन करें। [1 1] वेबसाइट के मालिकों जैसे मदद खोज इंजन अनुक्रमण करने के लिए कुछ प्रक्रियाओं को अपनी वेबसाइटों, उपयोग कर सकते हैं
एक साइट मानचित्र अपलोड करने। यह सभी लिंक और पृष्ठों है कि आपकी वेबसाइट का हिस्सा हैं युक्त एक फ़ाइल है। यह सामान्य रूप से इंगित करने के लिए क्या आप जिन पन्नों अनुक्रमित करना चाहते हैं प्रयोग किया जाता है। [1 1] खोज इंजन पहले से ही एक बार एक वेबसाइट क्रॉल करने के बाद, वे स्वतः कि साइट को क्रॉल जाएगा। आवृत्ति कैसे लोकप्रिय एक वेबसाइट अन्य मैट्रिक्स के बीच, है के आधार पर भिन्न। इसलिए, साइट मालिकों अक्सर अद्यतन साइट नक्शे रखने इंजन पता सूचकांक करने के लिए जो नई वेबसाइट जाने के लिए। [1 9] रोबोट और शिष्टाचार फैक्टर

[1 1] क्या होगा अगर एक वेबसाइट नहीं इसके कुछ या सभी पृष्ठों के एक खोज इंजन पर दिखाना चाहते हैं? उदाहरण के लिए, आप लोगों को एक सिर्फ़ सदस्यों के पृष्ठ के लिए खोज या देखना नहीं चाहते हो सकता है आपके 404 त्रुटि पृष्ठ । यह जहां क्रॉल अपवर्जन सूची भी robots.txt के रूप में जाना, खेलने में आता है। यह है कि तय कर क्रॉलर्स जो वेब पृष्ठों अनुक्रमण से बाहर करने के लिए करने के लिए एक साधारण पाठ फ़ाइल है। [1 1] एक और कारण है कि robots.txt महत्वपूर्ण है वेब क्रॉलर्स साइट के प्रदर्शन के एक महत्वपूर्ण प्रभाव हो सकता है। क्योंकि क्रॉलर्स अनिवार्य रूप से अपनी वेबसाइट पर सभी पृष्ठों डाउनलोड कर रहे हैं, वे संसाधनों का उपभोग और मंदी का कारण बन सकती। वे अप्रत्याशित समय पर और अनुमोदन के बिना पहुंचें। आप अपने पृष्ठों को बार-बार अनुक्रमित की जरूरत नहीं है, तो रोक क्रॉलर्स अपनी वेबसाइट लोड के कुछ कम करने में मदद कर सकते हैं। सौभाग्य से, सबसे क्रॉलर्स रोक साइट के मालिक के नियमों के आधार पर कुछ पृष्ठों को क्रॉल। [1 9] मेटाडाटा जादू [1 1] [9 0] [1 1] यूआरएल और गूगल में प्रत्येक खोज परिणाम को शीर्षक के अंतर्गत, आप पेज का एक संक्षिप्त विवरण मिल जाएगा। ये विवरण के टुकड़े कहा जाता है। आप देख सकते हैं कि गूगल में एक पृष्ठ का स्निपेट हमेशा वेबसाइट के वास्तविक सामग्री के साथ नहीं मिलाया गया है। इसका कारण यह है कई वेबसाइटों कुछ कहा जाता है " [9 3] मेटा टैग , "कस्टम वर्णन दिए गए हैं जो कि साइट स्वामी अपने पृष्ठों के लिए जोड़ सकते हैं। [1 1] साइट के मालिक अक्सर मेटाडाटा विवरण आप एक वेबसाइट पर क्लिक करें बनाने के लिए लिखा आकर्षक के साथ आते हैं। गूगल भी इस तरह के कीमतों और शेयर उपलब्धता के रूप में अन्य मेटा जानकारी, सूचीबद्ध करता है। यह उन लोगों के चल रहे ई-कॉमर्स वेबसाइट के लिए विशेष रूप से उपयोगी है। [1 9] अपने खोज [1 1]वेब खोज इंटरनेट का उपयोग करने का एक अनिवार्य हिस्सा है। वेब खोजना नई वेबसाइटों, स्टोर, समुदायों और हितों को खोजने का एक शानदार तरीका है। हर दिन, वेब क्रॉलर लाखों पृष्ठों पर जाते हैं और उन्हें खोज इंजन में जोड़ते हैं। जबकि क्रॉलर के पास कुछ डाउनसाइड्स हैं, जैसे साइट संसाधन लेना, वे साइट मालिकों और आगंतुकों दोनों के लिए अमूल्य हैं। [1 1] सम्बंधित: Google खोज इतिहास के अंतिम 15 मिनट को कैसे हटाएं