Robots.txt Nedir | Robots.txt Oluşturma | WordPress Robots.txt Nasıl Olmalı

SEO açısından her sitede bulunması gereken araçlar vardır. Bu araçlar aracılığıyla arama motoru botları sitenizin daha iyi algılanmasını, hatasız tarama yapmasını ve site yöneticisi tarafından belirlenen önceliklere dikkat etmesini sağlar. Özellikle site sahibi olan kişiler kısa bir süre sonra robots.txt dosyasıyla karşılaşırlar.

Robots.txt Nedir ve Robots.txt Ne İşe Yarar

Robots.txt arama motorlarını yönlendirmemiz adına önemli bir dosyadır. Bu dosyada arama motorları tarafından algılanması istenen komutlar yer alır. Arama motoru siteyi ilk ziyaretinde robots.txt dosyasını inceler ve bu dosyadaki erişim sağlama veya kısıtlama yetkilerine göre siteyi ziyaret eder. Bu dosya içerisinde arama motorlarına talimatlar verebilirsiniz.

Robots.txt Oluşturma

Robots.txt oluşturma işlemi içerisindeki iki bölümden oluşur. Bu bölümlerde kullanıcı ve izin verilen/verilmeyen kısımları belirtebilirsiniz. Aşağıdaki robots.txt dosyası örneklerini inceleyebilirsiniz.

User-agent: Googlebot

Disallow: /admin/

User-agent: *

Disallow: /wp-admin/

Yukarıdaki iki farklı örnek vardır. Birinci kısımda görüldüğü gibi komutun sadece Googlebot tarafından /admin/ sayfamızın taranmamasını istiyorsak ilk örneği kullanabiliriz. İkinci örnekte ise /wp-admin/ sayfamızın tüm tarayıcılar tarafından taranmamasını belirtebiliyoruz.

Robots.txt Dosyası Örnekleri ve Robots.txt Generator

User-agent: *
Disallow:

Örnek robots.txt dosyası tüm botlara tam erişim yetkisi vermektedir. Bu talimatla tüm botlar tüm sayfaları indeksler.

User-agent: *
Disallow: /

Bu talimat sayesinde sitemizde tam kısıtlama sağlanır. Tüm botlar hiçbir sayfayı indekslemez.

User-agent: *
Disallow: /tag/
Disallow: /404

Tüm botlar için /tag/ ve /404 sayfaları dışında diğerlerini indekslenmesini sağlar.

User-agent: *
Disallow: / category /
Allow: /category/dijital-pazarlama/

Sayfamızdaki belirli bir kısmın engellenmesini ama bu kısma ait alt dizinin taranmasını istiyorsanız yukarıdaki talimatı kullanabilirsiniz.

User-agent: Googlebot-image
Disallow: /

Google botlarının resim dosyalarına erişim kısıtlar.

User-agent: *
Disallow: /wp-admin/
Sitemap: https://mertvahitdemir.com/sitemap.xml

Robots.txt dosyanızda site haritanıza yer vererek bir site ile tarayıcılar arasındaki bağlantıyı sağlamlaştırabilirsiniz.

 

Robots.txt Generator sayesinde kolayca robots.txt dosyanızı oluşturabilir ve değişiklikler yapabilirsiniz. Robots.txt Generator ile online ortamda detaylıca siteniz için en ideal robots.txt dosyasını oluşturabilirsiniz.

WordPress Robots.txt Nasıl Olmalı ve WordPress Robots.txt Ayarları

WordPress robots.txt ayarları, WordPress paneli üzerinden veya çeşitli eklentiler vasıtasıyla yapılabiliyor. Robots.txt ayarlarını WordPress eklentisi olan Yoast veya All-in-one Seo eklentisi ile kolayca düzenleyebilirsiniz. Eklentiyi kurduktan sonra robots.txt kısmına tıklamalısınız. Burada açılan pencereden gerekli bilgilerin girişini sağlayarak robots.txt dosyanızı düzenleyebilirsiniz.

Ayrıca bu eklentiler XML site haritanızı otomatik olarak robots.txt dosyasına eklemeye çalışacaktır. Ancak başarısız olma durumunda, XML site haritanızı manuel olarak eklemelisiniz.

Robots.txt Dosyasında Dikkat Edilmesi Gereken Kurallar

Site haritasının sıkıştırılmamış hali ise 10 MB’tan büyük olmamalıdır. Bu durum hem Googlebot’u yormamak hem de sunucuya çok fazla yüklenmemek adına Google’ın sınırlama kuralıdır.

Bir sitenin birden fazla site haritası olabilir. Örneğin sadece kategorileri barındıran bir site haritası veya sadece yazıları barındıran bir site haritası oluşturabilirsiniz.

Site haritasında indekslenmesini istediğimiz sayfalarımızı belirtirken sayfanın 200 durum koduna sahip olmalıdır. Bir nevi 301, 302, 404 gibi URL’lere yer verilmemelidir.

Site haritaları yalnızca ASCII karakterleri içerebilir. * ve { } gibi özel karakterler site haritasında bulunmamalıdır.

Site haritasında bulunan URL’lerde <lastmod> etiketi kullanılmalıdır. Bu etiket dosyada yapılan değişikliğin tarihini gösterir.

Detay için Google tarafından hazırlanan dökümana göz atabilirsiniz.

Leave a Reply