Έχετε ψάξει ποτέ για κάτι στο Google και αναρωτήθηκε: "Πώς ξέρει πού να κοιτάξει;" Η απάντηση είναι "Crawlers Web", που αναζητούν τον ιστό και το ευρετήριο, ώστε να μπορείτε να βρείτε τα πράγματα εύκολα online. Θα εξηγήσουμε.
Μηχανές αναζήτησης και ανιχνευτές
Όταν αναζητάτε τη χρήση μιας λέξης-κλειδιού σε μια μηχανή αναζήτησης όπως η Google ή Λουρί , το site Sifts μέσω των τρισεκαρίων των σελίδων για τη δημιουργία ενός καταλόγου αποτελεσμάτων που σχετίζονται με αυτόν τον όρο. Πώς ακριβώς κάνουν αυτές οι μηχανές αναζήτησης έχουν όλες αυτές τις σελίδες στο αρχείο, γνωρίζετε πώς να τους αναζητήσετε και να δημιουργήσετε αυτά τα αποτελέσματα μέσα σε δευτερόλεπτα;
Η απάντηση είναι οι ανιχνευτές ιστού, επίσης γνωστές ως αράχνες. Αυτά είναι τα αυτοματοποιημένα προγράμματα (που συχνά ονομάζονται "ρομπότ" ή "bots") που "ανιχνεύουν" ή περιηγηθείτε στον ιστό ώστε να μπορούν να προστεθούν στις μηχανές αναζήτησης. Αυτές οι ιστοσελίδες ευρετηρίου ρομπότ για να δημιουργήσουν μια λίστα με σελίδες που εμφανίζονται τελικά στα αποτελέσματα αναζήτησης.
Οι ανιχνευτές δημιουργούν επίσης και αποθηκεύουν αντίγραφα αυτών των σελίδων στη βάση δεδομένων του κινητήρα, η οποία σας επιτρέπει να κάνετε αναζητήσεις σχεδόν αμέσως. Είναι επίσης ο λόγος για τον οποίο οι μηχανές αναζήτησης περιλαμβάνουν συχνά Αποθηκευμένες εκδόσεις ιστότοπων στις βάσεις δεδομένων τους.
ΣΧΕΤΙΖΕΤΑΙ ΜΕ: Πώς να αποκτήσετε πρόσβαση σε μια ιστοσελίδα όταν είναι κάτω
Χάρτες και επιλογή ιστότοπων
Λοιπόν, πώς οι Crawlers επιλέγουν ποιες ιστοσελίδες για να σέρνουν; Λοιπόν, το πιο κοινό σενάριο είναι ότι οι ιδιοκτήτες ιστοσελίδων θέλουν μηχανές αναζήτησης για να ανιχνεύσουν τους χώρους τους. Μπορούν να το επιτύχουν ζητώντας το Google, Bing, Yahoo ή άλλη μηχανή αναζήτησης να ευρετηρίσουν τις σελίδες τους. Αυτή η διαδικασία ποικίλλει από τον κινητήρα στον κινητήρα. Επίσης, οι μηχανές αναζήτησης συχνά επιλέγουν δημοφιλείς, καλά συνδεδεμένους ιστότοπους για να σέρουν παρακολουθώντας τον αριθμό των φορών που μια διεύθυνση URL συνδέεται με άλλους δημόσιους χώρους.
Οι ιδιοκτήτες ιστοσελίδων μπορούν να χρησιμοποιήσουν ορισμένες διαδικασίες για να βοηθήσουν τις μηχανές αναζήτησης να ευρετηθούν οι ιστοσελίδες τους, όπως
Μεταφόρτωση χάρτη ιστότοπου. Αυτό είναι ένα αρχείο που περιέχει όλους τους συνδέσμους και τις σελίδες που αποτελούν μέρος του ιστότοπού σας. Συνήθως χρησιμοποιείται για να υποδείξει τις σελίδες που θέλετε να αναπροσαρμόσετε.
Μόλις οι μηχανές αναζήτησης έχουν ήδη σκαρφαλώσει μια ιστοσελίδα μία φορά, θα σέρνουν αυτόματα αυτόν τον ιστότοπο ξανά. Η συχνότητα ποικίλλει ανάλογα με το πόσο δημοφιλής ένας ιστότοπος είναι, μεταξύ άλλων μετρήσεων. Ως εκ τούτου, οι ιδιοκτήτες ιστοτόπων διατηρούν συχνά ενημερωμένους χάρτες ιστότοπων για να ενημερώσουν τους κινητήρες που να γνωρίζουν νέους ιστότοπους.
Ρομπότ και ο παράγοντας ευγένειας
Τι γίνεται αν ένας ιστότοπος δεν το κάνει Θέλετε μερικές ή όλες τις σελίδες του να εμφανίζονται σε μια μηχανή αναζήτησης; Για παράδειγμα, ίσως να μην θέλετε τους ανθρώπους να αναζητούν μια σελίδα μόνο για τα μέλη ή να δουν το δικό σας 404 σελίδα σφάλματος . Αυτό είναι όπου η λίστα αποκλεισμού ανίχνευσης, γνωστή και ως robots.txt, μπαίνει στο παιχνίδι. Αυτό είναι ένα απλό αρχείο κειμένου που υπαγορεύει σε ανιχνευτές που οι ιστοσελίδες θα αποκλείσουν από την ευρετηρίαση.
Ένας άλλος λόγος για τον οποίο ο Robots.txt είναι σημαντικός είναι ότι οι Crawlers Web μπορούν να έχουν σημαντική επίδραση στην απόδοση του χώρου. Επειδή οι ανιχνευτές κατέχουν ουσιαστικά όλες τις σελίδες στον ιστότοπό σας, καταναλώνουν πόρους και μπορούν να προκαλέσουν επιβράδυνση. Φτάνουν σε απρόβλεπτες ώρες και χωρίς έγκριση. Εάν δεν χρειάζεστε επανειλημμένα τις σελίδες σας, τότε η διακοπή των ανιχνευτών μπορεί να συμβάλει στη μείωση κάποιου φόρτωσης του ιστότοπού σας. Ευτυχώς, οι περισσότεροι ανιχνευτές σταματούν να σέρνουν ορισμένες σελίδες με βάση τους κανόνες του ιδιοκτήτη του ιστότοπου.
Metadata Magic
Σύμφωνα με τη διεύθυνση URL και τον τίτλο κάθε αναζήτησης στο Google, θα βρείτε μια σύντομη περιγραφή της σελίδας. Αυτές οι περιγραφές ονομάζονται αποσπάσματα. Μπορεί να παρατηρήσετε ότι το απόσπασμα μιας σελίδας στο Google δεν ανταποκρίνεται πάντα με το πραγματικό περιεχόμενο της ιστοσελίδας. Αυτό συμβαίνει επειδή πολλοί ιστότοποι έχουν κάτι που ονομάζεται " meta ετικέτες ", Οι οποίες είναι προσαρμοσμένες περιγραφές που οι ιδιοκτήτες ιστοτόπων προσθέτουν στις σελίδες τους.
Οι ιδιοκτήτες ιστότοπων εμφανίζονται συχνά με δελεαστικές περιγραφές μεταδεδομένων που γράφονται για να σας κάνουν να θέλετε να κάνετε κλικ σε έναν ιστότοπο. Η Google παραθέτει επίσης άλλες μετα-πληροφορίες, όπως οι τιμές και η διαθεσιμότητα των αποθεμάτων. Αυτό είναι ιδιαίτερα χρήσιμο για όσους λειτουργούν ιστότοπους ηλεκτρονικού εμπορίου.
Η αναζήτηση σας
Η αναζήτηση στο διαδίκτυο είναι ένα ουσιαστικό μέρος της χρήσης του Διαδικτύου. Η αναζήτηση στον ιστό είναι ένας πολύ καλός τρόπος για να ανακαλύψετε νέους ιστότοπους, καταστήματα, κοινότητες και συμφέροντα. Κάθε μέρα, οι Crawlers Web επισκέπτονται εκατομμύρια σελίδες και τα προσθέτουν σε μηχανές αναζήτησης. Ενώ οι ανιχνευτές έχουν κάποια downsides, όπως η ανάληψη πόρων ιστοτόπων, είναι ανεκτίμητοι και στους δύο ιδιοκτήτες ιστότοπων και στους επισκέπτες.
ΣΧΕΤΙΖΕΤΑΙ ΜΕ: Πώς να διαγράψετε τα τελευταία 15 λεπτά του ιστορικού αναζήτησης Google
