Site haritalarının oluşturulması belirli standartlara oturtulmasıyla arama motorlarının siteleri indekslemesinin kalitesini artırmaya yönelik üç büyük arama motoru (Google, Yahoo ve MSN) ortak bir noktada buluştular. Artık üç büyük arama motoruna site haritanızı otomatik eklemeniz için robots.txt dosyasına bir satır eklemeniz yeterli olacak.

Örnek:

Sitemap:http://blog.yildizbilisim.biz/sitemap.xml

Buraya site adıının olduÄŸu yere kendi sitenizi yazacaksınız…

Arama motorları sitenize geldiğinde ilk yaptıkları şey robots.txt dosyasına bakmak olur. Nereler indexlenecek nereler gözardı edilecek bu dosyada vardır. Bu satırı ekledeğinizde arama motoru site haritanızın olduğunu görür. Ve satırda yazdığınız site haritasının adresini otomatik olarak kendine ekler.