Nasıl herhangi bir örümcek Web üzerindeki seyahatler başlar? Her zamanki başlangıç noktaları yoğun olarak kullanılan sunucuların listeleri ve çok popüler sayfalarıdır. Örümcek kendi sayfalarında kelimeleri endekslenmesi ve site içinde bulunan her bağlantıyı izleyerek, popüler bir site ile başlayacak. Bu şekilde, spidering sistemi hızlı Web'in en yaygın olarak kullanılan bölümleri arasında yayılan, seyahat başlar.
Google akademik arama motoru olarak başladı. Sistem inşa edilmiş anlatılmaktadır yazıda, Sergey Brin ve Lawrence Page onların örümcekler işe ne kadar hızlı bir örnek vermek. Bunlar genellikle üç tek seferde birden fazla örümcekler kullanmak için başlangıç sistemini kurdu. Her örümcek, bir anda açık Web sayfalarına yaklaşık 300 bağlantı tutmak olabilir. Onun performansını en üst düzeyde, dört örümcekler kullanılarak, kendi sistem verilerinin yaklaşık 600 kilobayt her saniye üreten, saniyede 100'ün üzerinde sayfalarını taramaya başladı.
tutulması her şeyi çabucak örümcekler gerekli bilgileri beslemek için bir sistem inşa anlamına koşuyor. Erken Google sistem örümcekler URL'ler sağlamaya adamış bir sunucu vardı. Aksine bir adrese bir sunucunun adını çevirir alan adı sunucusu (DNS) için bir İnternet servis sağlayıcısına bağlı daha Google minimumda gecikmeler tutmak için kendi DNS vardı.
Ne zaman Google örümcek bir HTML sayfası baktı, iki şeyi not aldı:
Kelimeler meydana gelen bulundu sayfaya
Bu farklı yaklaşımlar genellikle, örümcek hızlı çalışması yapma girişiminde kullanıcıların daha verimli arama, ya da her ikisi için