Web siteleri, arama motoru botlarının tarama ve dizine eklemeyi kontrol etmek için robots.txt dosyasından yararlanmaktadır. Bu dosya sunucudaki
