Web siteleri hakkında bilgi toplamak için internet arama motorları tarafından kullanılan arama motoru örümceklerinin, bazen denilen tarayıcılar, ve bireysel Web sayfaları. Arama motorları tüm siteleri ve sayfaları bilgi mi; aksi takdirde sayfaları arama sorgusuna ya da ne öncelik ile yanıt görüntülemek ne bilemeyiz.
Arama motoru örümceklerinin internet üzerinden tarama ve daha fazla araştırmak için Web sitelerinin kuyruklar oluşturun. Belirli bir Web sitesi, bir örümcek tarafından kapsamına alır gibi, örümcek ve kod (meta etiketleri özellikle bulmak için örümcek ve kullanım için tasarlanmış bir şekilde Web sayfasına yerleştirilen anahtar kelimeler biçimlendirilmiş) tüm metin, köprüler, meta etiketleri aracılığıyla okur . Bu bilgileri kullanarak, örümcek arama motoruna bir profil sağlar. Örümcek sonra o bu sayfaların ilgili verilerin daha iyi bir koleksiyon verir Web sayfasında, köprüleri takip ederek ek bilgileri toplar. Daha iyi ve, sizin bağlantı diğer Web sayfaları - - Bu Web sayfasındaki bağlantıları olan nedenidir. Arama motorları tarafından bulundu Web sitenizi almakla çok yararlıdır
Örümcekler dört temel modları var bir bilgi toplama. Örümcek Tek tip diğer örümcekler tarafından aranacak Web sayfalarının kuyruklar oluşturmak için sadece kullanılır. "Seçim" modunda çalışan bu örümcek, geçmesi için hangi sayfaların öncelik ve bir sayfanın önceki bir sürümü zaten indirilmiş olup olmadığını görmek için kontrol edilir. İkinci mod zaten örümcek tarafından sürünerek edilmiş sayfaları üzerinden gitmek için özellikle tasarlanmış bir örümcek. Bu mod Bazı arama motorları bir sayfa çok iyice diğer örümcekler tarafından taranmasını edildiğini endişe duyuyorlar. "Re-visitation" denir, bu yüzden overworked sayfaları tararken Limitleri adında bir örümcek modu "nezaket" kullanın. Son olarak, "parallelleştirme" Bir örümcek, aynı sayfa üzerinde tarama diğer arama motorları ile veri toplama çalışmalarını koordine sağlar.