Site İçi Gerekli Uygulamalar

SEO açısından her sitede bulunması gereken araçlar vardır. Bu araçlar aracılığıyla arama motoru botları sitenizin daha iyi algılanmasını, hatasız tarama yapmasını ve site yöneticisi tarafından belirlenen önceliklere dikkat etmesini sağlar. Site içi gerekli uygulamaları üç makalede ele alacağız. Bunlar Robots.txt, site haritası, Htaccess ve 404 hata sayfaları şeklinde olacak

Robots.txt

Arama motorları tarafından algılanan metin belgesidir ve aynı isimle sitenin ana dizininde yer alır. Arama motorları siteleri ziyaretlerinde ilk olarak bu dosyayı inceler ve bu dosyadaki erişim sağlamaya veya kısıtlama yetkilerine göre siteyi incelerler. Yani arama motorlarının site haritasının bulunduğu konum, arama motorları tarafından ziyaret edilmesi istenilmeyen sayfa veya klasörler belirtilir.
robots.jpg

Neden Arama Motoru Ziyareti Engellenebilir?

Yapım aşamasında olan yani henüz tam anlamıyla hazır olmayan sitelerin arama motorları tarafından görüntülenmesini engellemek.
Site hakkında olumsuz bir intiba oluşturabilecek sayfalar.
Yönlendirme yapılmış sayfaları engellemek.
Hata sayfaları, çok az metin bulunan veya metin bulunmayan sayfaları engellemek.
Sizin mail veya özel paylaşım yoluyla kullanıcılar için oluşturduğunuz sayfaları engellemek.
Arama motoru haricindeki zararlı botları engellemek.

Robots.txt Örnek Kullanımları

Örnek kullanımlarda user-agent hangi botlara yönelik bir düzenleme olduğunu belirtir. Eğer yıldız(*) kullanılırsa tüm botlar için geçerli anlamındayken, bir bot ismi yazılırsa sadece o bota yönelik bir müdahale olduğu anlamındadır. Örnek olarak User-agent: Googlebot kullanımı sadece Google botları için yapılan erişim izinleri belirtir. Disallow tek başına kullanılırsa hiçbir kısıtlama olmadığını, ancak yanında bir sılaş(/) veya yıldız(*) kullanılıyorsa hiçbir sayfanın indekslenmemesi istenilir. Disallow ile birlikte bir klasör veya link kullanılırsa sadece o klasör veya linkin indekslenmesi önlenir.

User-agent: *
Disallow:

Tam erişim yetkisi vermektedir. Tüm botlar tüm sayfaları indeksler.

User-agent: *
Disallow: /

Tam kısıtlama sağlar. Tüm botlar hiçbir sayfayı indekslemez.

User-agent: *
Disallow: /gizli/
Disallow: /bana.ozel.yazilar
Disallow: /404

Kısmi kısıtlama sağlar. Tüm botlar için gizli klasörü, ve diğer iki sayfanın indekslenmemesini sağlar.

User-agent: Googlebot-image
Disallow: /

Google botlarının resim dosyalarına erişim kısıtlar.

Sitemap: https://mertvahitdemir.wordpress.com/sitemap.xml
Site haritasının yolunu botlara gösterir. Eğer ana dizin dışında veya xml formatı dışında farklı bir konum ve formattaysa kullanımı gereklidir. Aksi halde zorunlu değildir.

Leave a Reply