İnternetin hayatımıza girmesi ile birlikte hayatımıza mecburi olarak aldığımız araçlardan biri de arama motorları. Bu rehberde arama motolarının çok sevdiği bir dosyadan robots.txt’den bahsedicez. Robots.txt dosyası nedir? Ne işe yarar ve nerede, nasıl oluşturulur hepsini anlatıcaz.
SEO dersleri serimizin bu yazısında konumuz Robots.txt
Robots.txt Nedir?
Robots.txt bir dosyadır bu dosyanın amacı websitenizin arama motorları tarafından nasıl indexlenmesini istediğinizi belirtmenizdir. Uzantısından ve isminden de anlaşılabileceği gibi bir TXT dosyasıdır ve metin formatında oluşturulur.
Robots.txt nereye yüklenir?
Robots.txt websitenizin ana dizinine yüklenir. websiteadi.com/robots.txt şeklinde giriş yapıldığında dosyanın açık bir şekilde görüntülenebiliyor olması gerekir.
Robots.txt hangi program ile nasıl oluşturulur?
Robotx.txt oluşturmak için TXT formatını destekleyen hergangi bir metin editörünü kullanabilirsiniz. Basitçe notepad ile düzenleyebilirsiniz veya Visual Studio Code gibi çoklu işletim sistemini destekleyen bir editör ile düzenleyebilirsiniz.
Robots.txt Terimleri
robots.txt dosyası oluştururken kullanacağımız terimler aşağıdaki gibidir. Bu terimlerin her biri bir satıra gelecek şekilde yazılmalıdır.
User-agent
User-agent anahtarı ile sonrasında yer alan komutların hangi arama motorunu hedeflediğini belirtmiş oluruz.
Allow
İndexlenmesine izin verilen adresleri belirtmektedir. Tüm adreslerin indexlenmesi için şu örnek kullanılabilir.
User-agent: *
Allow: /Disallow
Belirli sayfaların ve onların alt sayfalarının indexlenmemesi istediğimizi belirtirken kullanırız.
Örnek yapı
User-agent: *
Disallow: /testBir url’nin indexlenmesini engellemek
Bir sayfanın arama motorları tarafından indexlenmesini engellemek için “Disallow” anahtar kelimesini kullanarak bir satır oluşturmanız yeterlidir.
User-Agent: *
Disallow: /adminBir kelime ile başlayan tüm sayfaların indexlenmesini engellemek
Diyelim ki sadece ilk örnekteki “/admin” sayfasını değil de bunun ile başlayan tüm alt sayfaları da engellemek istiyorsunuz. Bu durumda yapmanız gereken şey tümü anlamına gelen “*” işaretini kullanmaktır.
Aşağıdaki örnek ile admin ve alt sayfalarının hepsinin arama motorları tarafından indexlenmesini engelleyebilirsiniz.
User-Agent: *
Disallow: /admin*Robots.txt dosyası google’a nasıl bildirilir?
robots.txt dosyasını google kaydetmek için yapmanız gereken ekstra hiç bir şey bulunmuyor. Google search console a girip websitenizi kaydetmeniz yeterli.
Özet
Bu yazımızda arama motorlarına sitemizi tanıtan ve seo açısından önemli olan bir araçdan robots.txt dosyasından bahsettik. Belirli bir link grubunun indexlenmesini nasıl engellersiniz bunu ayrıntılı olarak anlattık. WordPress için 404 URL yönlendirme aracı isimli yazımızı da okumanızı tavsiye ederiz.
SEO dersleri sayfamızı ziyaret ederek serinin diğer yazılarına da ulaşabilirsiniz.
