Web siteleri, arama motoru botlarının tarama ve dizine eklemeyi kontrol etmek için robots.txt dosyasından yararlanmaktadır. Bu dosya sunucudaki dosyalara, klasörlere ve URL’lere erişim izni vererek ya da bu erişimi engelleyerek arama motorlarının web sitesini taramasını yönlendirmektedir. Ancak robots.txt dosyası, bir web sitesinin Google arama sonuçlarında görünmesini engellemek için kullanılamamaktadır.
Bunun yerine bir sayfanın SERP’te (Arama Motoru Sonuç Sayfaları) görünürlüğünü engellemek için “noindex” meta robots etiketi kullanabilir ya da içeriğin erişimini şifre ile kısıtlayabilirsiniz. Bu yöntemler, içeriğin sadece belirli kullanıcılar ya da arama motorları tarafından erişilebilir olmasını sağlamaktadır.
Robots.txt Tanımı
Web sitesindeki sayfaları taramak ve keşfetmek için gelen arama motoru botlarına hangi sayfaların taranması gerektiği ve hangilerinin taranmaması gerektiği konusunda direktifler veren basit metin dosyaların robots.txt adı verilmektedir. Bu dosya, arama motoru botları tarafından dikkate alınmaktadır. Arama motoru botları, taramasına izin verilmeyen sayfaları görmezden gelmektedir.
Ancak bazen web sitesinde istenmeyen sayfalar, diğer sayfalardan dahili ya da harici bağlantılarla ilişkilendirilmişse Google bu direktifi göz ardı ederek ilgili sayfayı tarayabilmektedir. Bu dosya, “izin ver” ya da “izin verme” gibi komutlarla arama motoru botlarına yönlendirme yapmaktadır.
Robots.txt Dosyasının SEO İçin Önemi
Web dünyasında arama motorları siteleri keşfetmek ve dizine eklemek için ilk olarak robots.txt dosyasına göz atmaktadır. Bu dosya, arama motoru botlarına hangi sayfaların taranabileceği ve hangilerinin dikkate alınmaması gerektiği konusunda yönlendirme yapmaktadır. Bu sebeple her direktifin doğruluğunu doğrulamak büyük bir önem taşır. Bu dosyadaki yanlış bir yönerge geçici bir felaket olarak kabul edilebilmektedir.
Web sitesinin yanlışlıkla taramaya kapatılması geri dönülemez sonuçlara yol açabilmektedir. Bu nedenle bu tür hataların hızla fark edilip düzeltilmesi çok büyük bir önem taşır. Örneğin; bir kategori sayfasının arama motoru botları tarafından taramasını engelleyecek yanlış bir komut eklenmiş olabilir. Bu hatanın fark edilmemesi, o kategorideki içeriğin dizinlenmemesine ve web sitesinin trafik kaybına neden olabilmektedir. Düzeltme yapıldığında ise botlar bu sayfaları tekrar keşfetmeye başlayacaktır.
Robots.txt Dosyası Nerede Bulunmaktadır?
Arama motoru botlarının kolaylıkla erişebilmesi için her web sitesinin ana dizininde şifresiz olarak bulunan bir dosya olan robots.txt, tüm kullanıcılar tarafından görüntülenebilecek şekilde tasarlanmıştır. Bir robots.txt dosyasına kolay bir şekilde ulaşmak adına web tarayıcısında adres çubuğuna “siteadı.com/robots.txt” şeklinde yazmak yeterli olacaktır. URL yapısı evrensel bir yapıda olduğundan dolayı robots.txt dosyasının konumunun değiştirilmemesi elzemdir.
Robot.txt Dosyası Nasıl Oluşturulur?
Bu dosya, herhangi bir metin düzenleyici ile kolay bir biçimde oluşturulabilen bir metin belgesidir. Bu belge, farklı protokol formatları kullanılarak oluşturulan robot tarama direktiflerini içermektedir. Bu formatlar, arama motoru botlarının anlayabileceği şekilde direktifleri iletmek için kullanılmaktadır.
İlk etapta bilgisayarınızdan bir metin düzenleyici ya da not defteri açınız ve adını “robots.txt” olarak kaydediniz. Ardından gerekli komutları dosyaya eklemeli ve bu dosyayı sitenizin kök dizinine yükleyerek işlemi tamamlamalısınız.
Unutmayın ki dosyanın UTF-8 karakter kodlamasına uygun olması ve site URL’siyle aynı formatta olması gereklidir. Eğer siteniz WordPress altyapılı ise robots.txt’yi oluşturmak için robots.txt rewrite ya da benzeri dosya eklentilerinden de yararlanabilirsiniz. Bu, sitenizin arama motorlarıyla etkileşimini yönetmenize yardımcı olmaktadır.
Dosyanızı kaydettikten hemen sonra www.siteadı.uzantı.com/robots.txt biçiminde arama yaptığınızda 404 ile karşılaşmıyor, böyle bir sayfayı görüyorsanız ve Google robots.txt test aracından izin verildi cevabını almış iseniz bu dosyayı oluşturma işleminiz sorunsuz bir biçimde tamamlanmış demektir.
Robots.txt Komutları ve Anlamları Nelerdir?
- User-Agent: *
User-agent * komutu sitenizi hangi arama motoru botunun ziyaret edip edemeyeceğini belirtmenize olanak vermektedir. Ancak siteniz yapım ya da bakım aşamasında değilse sitenizin botlara karşı kapatılmaması önerilmektedir. Tüm bunlara ek olarak sitenizi herhangi bir arama motorunun taramasını istemiyorsanız user-agent * komutunu bir dizin engelleme komutu olan “disallow” ile aşağıdaki şekilde kolaylıkla oluşturabilirsiniz.
ÖRNEK:
user-agent: *
disallow: /
Bütün arama motorlarının botlarına izin vermek adına user-agent: * komutunu tek başına kullanmanız gerekmektedir.
- Allow
Allow komutu, web sitenizde hangi sayfaların dizine eklenmesini istediğinizi belirtmenize imkân vermektedir.
ÖRNEK:
user-agent: *
allow: /
Bu komutlar, sitenizin tüm Google botlarına indekslenmek için açık olduğunu göstermektedir. Ancak admin bilgilerinizin gizli olması hususundan dolayı bu komutun kullanımı çok fazla tercih edilmemektedir.
- Disallow
Disallow komutu, sitenizdeki hangi sayfaların dizine eklenmesini istemediğinizin algılanmasına olanak vermektedir.
ÖRNEK:
user-agent: *
disallow: /seo/
Tüm bu komutlar kullanıldığında www.siteadı.com/seo URL’indeki yer alan SEO dizini ve buna bağlı olan herhangi bir sayfa kesinlikle dizine eklenmemektedir.
user-agent: *
disallow: /seo/site-ici-seo/
Bu komutları kullandığınızda ise SEO dizini ve buna bağlı olarak yer alan URL’ler dizine eklenmekte ancak site içi SEO dizine eklenmemektedir.
- Crawl-delay
Çok sık bir biçimde sunucu hatası yaşayan ya da ziyaretçi trafiği bir hayli yüksek olduğu için geçici olarak hizmet kesintisi yaşayan web sitelerin en fazla kullandığı bu komut, arama motoru botlarının sitenizin taranma süresini belirtmenize olanak vermektedir.
- ÖRNEK:
user-agent: * (bu kısıma isterseniz arama motoru botu türünü belirtebilirsiniz)
crawl-delay: 1
Tüm bunların haricinde site haritanızı da
user-agent: *
Sitemap: www.siteadı.com/sitemap.xml
komutu ile belirtme şansına sahip olmaktasınız.
Ayrıca bu komutların haricinde indekslenmesini talep etmediğiniz tekil sayfaları da “meta tag” kısmına
<meta name=”robots” content=”noindex” />
komutunu dahil edip indeks almasını istemediğiniz sayfanın indesk almasını engelleyebilirsiniz.
Robots.txt ile ilgili Dikkat Edilmesi Gerekenler
Web sitenizi tarayan botları yönlendirmek için kullandığınız robots.txt dosyası ile ilgili aşağıda yer alan önemli hususları göz önünde bulundurmalısınız:
- Botlar, sitenizi tarayacakları zaman ilk olarak bu dosyaya göz atmaktadırlar. Bu dosya, sitenizin hangi bölümlerine erişebileceklerini belirlemektedir.
- Eğer botların belirli bir bölüme erişmesini istemiyorsanız “disallow:” komutunu kullanarak engelleyebilirsiniz.
- Botlara yardımcı olmak için robots.txt dosyasında site haritasının URL’sini “sitemap:” komutuyla belirtmelisiniz.
- Bu dosya, sitenizin kök dizini altında olmalıdır. Örneğin; siteadı.com/robots.txt şeklinde olmalıdır.
- Googlebot, robots.txt dosyasını istediğinde 429 HTTP durum kodu dışındaki herhangi bir 4XX HTTP durum koduna denk gelirse sitede bu dosyanın olmadığını varsaymaktadır. Ayrıca tüm sayfaları ve URL’leri taramaktadır.
- Eğer 429 HTTP durum kodu ya da 5XX HTTP durum kodlarından biriyle karşılaşırsa (500 HTTP durum kodu gibi) sitenin taramaya kapalı olduğunu düşünmekte ve taramayı durdurmaktadır.
- Google, bu dosyaları önbellekte tutmaktadır. Son 24 saat içinde yaptığınız değişikliklerin etkili olabilmesi için önbelleğin yenilenmesini beklemelisiniz.
- Bu dosya UTF-8 formatında ve txt uzantılı olmalıdır.
- Google, robots.txt dosyalarını maksimum 500KiB boyutunda taramaktadır. Bu boyutun üzerindeki kısımları dikkate almamaktadır.
- Bu dosyada yorum satırı oluşturmak için “#” sembolünü kullanabilirsiniz.
- Dosyada var olan URL’lerde büyük ve küçük harf kullanımına dikkat etmelisiniz.
Robots.txt Olmazsa Ne Olur?
Eğer böyle bir dosyaya sahip değilseniz web sitenizin içeriğini indeksleyen botlara tamamen güvenmek zorunda kalabilirsiniz. Bu botlar oldukça geniş kapsamlı oldukları için web sitenizin erişilemeyen sayfalarını arama sonuçlarında gösterebilirler. Dahası bu dosyanın olmaması durumunda sitenizi tarayan pek çok botun da olması muhtemeldir.
Robots.txt Dosyası Ne Zaman Kullanılır?
Web siteniz için her zaman bu dosyayı kullanmanız tavsiye edilmektedir. Bu dosyaya sahip olmanın herhangi bir zararı yoktur. Aksine bu dosya, arama motorlarına web sitenizi en etkili şekilde tarayabilmeleri için mükemmel bir rehber sağlamaktadır.
