Nasıl İnternet Arama Motorları
Giriş Çalışacak Work

izin verir. Örneğin, bazı örümcekler metnin ilk 20 hatlarında sayfada 100 en sık kullanılan kelime ve her kelimenin birlikte başlık, alt başlıklar ve bağlantıları sözcüklerin takip edecektir. Lycos Web spidering bu yaklaşımı kullanmak için söylenir

gibi AltaVista gibi diğer sistemler, bir sayfadaki her tek kelime indeksleme dahil ", diğer yönde gidin;. Bir " " Bir, " " " ve diğer 'önemsiz ve quot; kelimeler. Bu yaklaşımda tamlık için itme Web sayfası, meta etiketleri görünmeyen kısmına verilen önem diğer sistemler tarafından eşleştirilir. Bir sonraki sayfada meta etiketleri hakkında daha fazla bilgi edinin.
Meta Etiketler

Meta etiketleri bir sayfanın sahibi sayfası endeksli olacak altında anahtar kelimeler ve kavramlar belirlemenize olanak sağlar. Bu durum özellikle sayfadaki kelimeleri çift veya üçlü anlamlara sahip olabilir hangi durumlarda yararlı olabilir - meta etiketleri doğru şu sözlerle birkaç olası anlamların hangi seçiminde arama motoru rehberlik eder. Orada, ancak, dikkatsiz ya da vicdansız sayfa sahibi çok popüler konuları uygun ama sayfanın asıl içeriği ile ilgisi var meta etiketleri ekleyebilirsiniz çünkü aşırı güven meta etiketleri üzerinde, bir tehlike. Bu karşı korumak için, örümcekler sayfadaki kelimeleri eşleşmiyor meta etiketleri reddeden, sayfa içeriği ile meta etiketleri korelasyon olacaktır.

Tüm bu sayfanın sahibi aslında olmak istediği varsayar bir arama motorunun faaliyetlerinin sonuçlarına dahil. Birçok kez, sayfanın sahibi, büyük bir arama motoru üzerinde gösterilmesini veya sayfayı erişen bir örümcek aktivitesini istemiyor istemiyor. Örneğin, yeni, aktif sayfalar sayfanın her zaman bölümleri görüntülenir ya da yeni bağlantılar takip edilmektedir kuran bir oyun düşünün. Bir Web örümcek Bu sayfalardan birine erişir ve yeni sayfalar için bağlantılar aşağıdaki tüm başlarsa, oyun yüksek hızlı insan oyuncu için etkinlik hata ve kontrolden dönmeye başladı. Böyle durumlardan kaçınmak için, robot dışlama protokolü geliştirildi. Bir Web sayfasının başında meta tag bölümünde uygulanan Bu protokol, yalnız sayfayı bırakmak için bir örümcek söyler -. Ne dizine kelimeleri sayfasında ne de bağlantıları takip çalışın Endeksi br>

örümcekler Web sayfalarındaki bilgi bulma görevini tamamladıktan sonra (ve biz bu aslında hiçbir zaman tamamlanır bir görev olduğuna dikkat etmelidir - Web sürekli değişen doğası örümceklerin hep tarama anlamına gelir) , arama motoru yararl