bir çok kişi merak etmiştir. hiç bir yere web sitemi eklemediğim halde bu google beni nasıl buluyor ve nasıl sitemi sayfasına ekliyor diye.
sorunun cevabı aslında çok basit. google teknolojisi botlar (robotlar). google botları internet üzerinde var olan tüm IP adreslerini teker teker, sıralı bir algoritmada tarayıp, bu ip adreslerine giriÅŸ yapıyorlar. yani google sizin web sitenize websiteniz.com olarak girmiyor, 85.158.77.85 … 85.158.77.86 (sıralı) giriyor. web sitenize giren robot, önce web sitenizde bir robots.txt varmı diye bakar. eÄŸer varsa ona göre hareket eder, yoksa tüm içeriÄŸi veritabanına kaydedip google’da yayınlanma kuyruÄŸuna atar. robot web sitenizde geçerken, google tarafından zararlı olarak nitelendirilebilecek bir içeriÄŸe rastlarsa bu notu düşerek veritabanına siteyi kaydeder. olası zararlı içeriÄŸe sahip içerikli siteler, google çalışanları tarafından manuel olarak son kez kontrol edilerek yayınlanır.