Pernahkah Anda mencari sesuatu di Google dan bertanya-tanya, "Bagaimana tahu ke mana harus mencari?" Jawabannya adalah "Crawler Web," yang mencari web dan mengindeks sehingga Anda dapat menemukan hal-hal yang mudah online. Kami akan menjelaskan.
Mesin Pencari dan Crawler
Ketika Anda mencari menggunakan kata kunci pada mesin pencari seperti Google atau Bing. , situs menyaring triliunan halaman untuk menghasilkan daftar hasil yang terkait dengan istilah itu. Bagaimana tepatnya mesin pencari ini memiliki semua halaman ini pada file, tahu cara mencari mereka, dan menghasilkan hasil ini dalam hitungan detik?
Jawabannya adalah perayap web, juga dikenal sebagai laba-laba. Ini adalah program otomatis (sering disebut "robot" atau "bot") yang "merangkak" atau menelusuri seluruh web sehingga mereka dapat ditambahkan ke mesin pencari. Robot-robot ini mengindeks situs web untuk membuat daftar halaman yang akhirnya muncul di hasil pencarian Anda.
Crawler juga membuat dan menyimpan salinan halaman-halaman ini di database mesin, yang memungkinkan Anda melakukan pencarian hampir secara instan. Ini juga alasan mengapa mesin pencari sering termasuk versi situs yang di-cache dalam database mereka.
TERKAIT: Cara mengakses halaman web saat turun
Peta dan seleksi situs
Jadi, bagaimana crawler memilih situs web mana yang akan merangkak? Nah, skenario yang paling umum adalah bahwa pemilik situs web ingin mesin pencari merayapi situs mereka. Mereka dapat mencapai ini dengan meminta google, bing, yahoo, atau mesin pencari lain untuk mengindeks halaman mereka. Proses ini bervariasi dari mesin ke mesin. Juga, mesin pencari sering memilih situs web yang populer dan terhubung dengan baik untuk merangkak dengan melacak berapa kali URL terhubung di situs publik lainnya.
Pemilik situs web dapat menggunakan proses tertentu untuk membantu mesin pencari mengindeks situs web mereka, seperti
Mengunggah Peta Situs. Ini adalah file yang berisi semua tautan dan halaman yang merupakan bagian dari situs web Anda. Biasanya digunakan untuk menunjukkan halaman apa yang Anda inginkan diindeks.
Setelah mesin pencari telah merangkak situs web sekali, mereka akan secara otomatis merangkak situs itu lagi. Frekuensi bervariasi berdasarkan seberapa populer situs web, di antara metrik lainnya. Oleh karena itu, pemilik situs sering menyimpan peta situs yang diperbarui untuk membiarkan mesin tahu situs web baru mana yang akan diindeks.
Robot dan faktor kesopanan
Bagaimana jika sebuah situs web tidak Ingin sebagian atau semua halamannya muncul di mesin pencari? Misalnya, Anda mungkin tidak ingin orang mencari halaman hanya anggota atau melihat 404 halaman kesalahan . Di sinilah daftar pengecualian Crawl, juga dikenal sebagai robots.txt, ikut bermain. Ini adalah file teks sederhana yang menentukan untuk perayap halaman web yang akan dikecualikan dari pengindeksan.
Alasan lain mengapa Robots.txt penting adalah bahwa perayap web dapat memiliki pengaruh signifikan terhadap kinerja situs. Karena perayap pada dasarnya mengunduh semua halaman di situs web Anda, mereka mengonsumsi sumber daya dan dapat menyebabkan perlambatan. Mereka tiba di zaman yang tidak dapat diprediksi dan tanpa persetujuan. Jika Anda tidak memerlukan halaman Anda diindeks berulang kali, maka hentikan crawler dapat membantu mengurangi beberapa beban situs web Anda. Untungnya, sebagian besar crawler berhenti merangkak halaman-halaman tertentu berdasarkan aturan pemilik situs.
Metadata Magic.
Di bawah URL dan judul setiap hasil pencarian di Google, Anda akan menemukan deskripsi singkat dari halaman tersebut. Deskripsi ini disebut cuplikan. Anda mungkin memperhatikan bahwa cuplikan halaman di Google tidak selalu berbaris dengan konten aktual situs web. Ini karena banyak situs web memiliki sesuatu yang disebut " meta tag , "Yang merupakan deskripsi khusus yang ditambahkan oleh pemilik situs ke halaman mereka.
Pemilik situs sering muncul dengan deskripsi metadata yang menarik yang ditulis untuk membuat Anda ingin mengklik situs web. Google juga mencantumkan informasi meta lainnya, seperti harga dan ketersediaan stok. Ini sangat berguna untuk mereka yang menjalankan situs web e-commerce.
Pencarian Anda
Pencarian web adalah bagian penting dari menggunakan Internet. Mencari web adalah cara yang bagus untuk menemukan situs web baru, toko, komunitas, dan minat. Setiap hari, perayapan web mengunjungi jutaan halaman dan menambahkannya ke mesin pencari. Sementara crawler memiliki beberapa kelemahan, seperti mengambil sumber daya situs, mereka sangat berharga bagi pemilik situs dan pengunjung.
TERKAIT: Cara menghapus 15 menit terakhir dari riwayat pencarian Google
