Robots.txt dosyası ve robots meta etiketi arama motorlarının web sitenizde bulunan içerikleri tarama ve dizine eklemek için rehber görevi yapmaktadır. Doğru olarak bilinen ama yanılgıdan ibaret olan bir konuyu ele alalım.
Robots.txt aracılığı ile indeksleme kontrol edilemez. Robots.txt dosyasındaki noindex parametresi Google tarafından tam olarak desteklenmiyor.
Robots Meta Etiketi Nedir?
Robots meta etiketi, arama motorlarına belirlenen sayfaların taranmasını veya dizine eklenmesini söyleyen bir etikettir. <head> etiketleri arasında yer alır. Hemen örneğe göz atalım;
Robots Meta Etiketi SEO için Neden Önemlidir?
Robots meta etiketi, diğer kullanımlara rağmen sayfaların arama sonuçlarında görünmesini önlemek amacıyla kullanılmaktadır.
Arama motorlarının indekslemesini önlemek isteyebileceğiniz çeşitli içerik sayfaları vardır;
- Kullanıcı için değeri çok az veya hiç olmayan basit sayfalar,
- Aşama ortamındaki sayfalar,
- Yönetici sayfaları,
- Teşekkür sayfaları,
- Site içinde yapılan arama sayfaları,
- Reklam sayfaları
- Yaklaşan promosyonlar, yarışmalar ve ürün lansman sayfaları,
- Benzer içerik sayfaları.
Genel olarak, web sitenizin sayfaları ne kadar çok olursa güvenilirliği ve indeksleme yönetimi ile o kadar fazla ilgilenmeniz gerekir. Ayrıca Google’ın ve diğer arama motorlarının sayfalarınızı en iyi şekilde taramasını ve indekslemesini istiyorsunuz. Sayfa düzeyinde ve yönergelerinde robots.txt ve site haritaları ile doğru bir şekilde oluşturulması SEO için oldukça önemlidir.
Robots Meta Etiketi Kullanımı
All
Varsayılan “index,follow” değeri, bu yönerde standart olduğu için sayfanızda ayrıca kullanmanıza gerek yoktur.
Noindex
Arama motorlarına sayfanızın indekslenmemesiniz söyler. Bu arama sonuçlarında gösterilmesini engeller.
Nofollow
Arama motorlarının sayfadaki tüm bağlantıları taramasını engeller.
None
Noindex ve nofollow kombinasyonlarını bazı arama motorları desteklemediği için kullanmaktan kaçının.
Noarchive
Google’ın SERP’de sayfanın önbelleğe alınmış bir kopyasını göstermesini önler.
Notranslate
Google’ın SERP’de sayfanın çevirmesini önermesini önler.
Noimageindex
Google’ın sayfada kullanılmış görüntüleri indekslemesini önler.
Unavailable_after:
Google’a belirli bir tarih ve saatten sonra arama sonuçlarında bir sayfa göstermemesini söyler. Temelde bir zamanlayıcı gibi çalışarak noindex komutu verir.
Nosnippet
SERP içindeki tüm metin ve video snippet’lerini çıkarır. Aynı zamanda noarchive olarak da çalışır.
Max-snippet
Google’ın metin parçacıklarında gösterebileceği maksimum karakter sayısını belirtir. 0 kullanıldığında metin parçacıklarından vazgeçecektir, -1 ise metin önizlemesinde sınırsız olduğunu beyan eder. Aşağıdaki etiket, limiti 160 karaktere ayarlayacaktır.
Max-image-preview
Google’a bir resmin, resim parçacıkları için kullanıp kullanılmayacağını ve ne kadar büyük olduğunu belirler. Bu yönerge üç olası değere sahiptir.
None: Hiçbir resim snippet’ı gösterilmeyecek.
Standart: Varsayılan resim önizlemesi gösterilebilir.
Large: Olası en büyük resim önizlemesi gösterilebilir.
Max-video-preview
Bir video snippet’i için maksimum saniye sayısını ayarlar. Metin snippet’inde olduğu gibi 0 tamamen devre dışı bırakır, -1 sınır koymuyor. Aşağıdaki etiket Google’ın maksimum 15 saniye göstermesine izin verir.
