Çoğu SEO uzmanı, robots.txt ve Meta Robots etiketinin bir web sitesine arama motoru bot erişimini yönetmek için kullanıldığının farkında olsa da, birçoğu bunları nasıl etkili bir şekilde kullanacaklarının da farkında değildir. Her ikisinin de belirgin avantajları ve dezavantajları vardır ve hangisini ne zaman kullanacağınız arasında bir denge kurmak çok önemlidir. Bu sorunu çözmek için bu makalede robots.txt dosyasını ve Meta Robots etiketlerini ayarlamak için en iyi uygulamaları özetledik.

robots.txt

Robots.txt, arama motoru robotlarına web sitesinin hangi kısımlarını tarayabileceklerini ve hangi kısımlarını tarayamayacaklarını söyleyen bir metin dosyasıdır. Robotların internette bilgileri nasıl tarayabileceği ve dizine ekleyebileceğine ilişkin bir dizi yönerge olan Robots Hariç Tutma Protokolü'nün (REP) bir parçasıdır. Karmaşık ve teknik görünebilir, ancak bir robots.txt dosyası oluşturmak basittir. Başlayalım!

Aşağıda basit bir robots.txt dosyası örneği verilmiştir:

Kullanıcı aracısı: *

İzin ver: /

İzin verme: /teşekkür ederim

Site Haritası: https://www.example.com/sitemap.xml

Robotları yönlendirmek için bir robots.txt dosyasındaki en önemli yönergeler İzin Ver ve İzin Vermedir. Ne ifade ettiklerine bir göz atalım.

Sözdizimi

Kullanıcı aracısı – Yönergelerin amaçlandığı kullanıcı aracısı adı burada belirtilir.

* sembolü, yönergelerin tüm tarayıcılara yönelik olduğunu gösterir. Bu parametre için diğer olası değerler, diğerleri arasında Googlebot, yandexbot ve bingbot'u içerir.

İzin Ver: Bu komut, Googlebot'a belirtilen Tekdüzen Kaynak Konum Belirleyicilerinin taranabilir olduğunu (URL'ler) bildirir.

İzin Verme: Bu komut, Googlebot'un belirttiğiniz URL'leri taramasını engeller.

Site Haritası: Bu komut, web sitenizin Site Haritası URL'sini belirtmek için kullanılır.

Bu durumda, User-agent: * komut kümesinin TÜM bot türleri ile ilgili olduğunu belirtir.

İzin ver: / tarayıcılara dosyada izin verilmeyen sayfalar dışında tüm web sitesini tarayabileceklerini söyler. Son olarak, Disallow: /thank-you, Googlebot'a /teşekkürler içeren URL'leri taramamasını söyler.

Kullanıcı-aracı, İzin Ver ve İzin Verme talimatları, robots.txt dosyasının tarayıcılara izin verme ve yasaklama gibi birincil işlevini yerine getirir.

En İyi Robots.txt Uygulamaları

Kendi robots.txt dosyanızı kurarken izlemeniz gereken bazı SEO yanlısı ipuçları.

• Her şeyden önce, lütfen ödevinizi yapın ve web sitenizin hangi bölümlerinin dizine eklenmesini istemediğinizi belirleyin. Başka bir kişinin robots.txt dosyasını kopyalamayın veya yeniden kullanmayın.
• Arama motoru tarayıcılarının kolayca erişebilmesi için robots.txt dosyanızın web sitenizin kök dizininde bulunduğundan emin olun.
• Büyük/küçük harf duyarlı olduğundan, dosyanıza "robots.txt" dışında bir ad vermeyin.
• Arama motoru botlarının web sitenizin sayfalarını bulmasını kolaylaştırmak için robots.txt dosyasına her zaman site haritası URL'nizi ekleyin.
• Robots.txt, özel bilgileri veya gelecekteki etkinlik sayfalarını gizlemek için kullanılmamalıdır. Herkese açık bir dosya olduğundan, herhangi bir kişi /robots.txt alan adınızın arkasına /robots.txt koyarak robots.txt dosyanıza erişebilir. Gizlemek istediğiniz sayfaları herkes görebileceğinden, robot kullanmamak en iyisidir.
• Kök etki alanınızın alt etki alanlarının her biri için ayrı ve özelleştirilmiş bir robots.txt dosyası oluşturun.
• Canlı yayına başlamadan önce, istemediğiniz hiçbir şeyi engellemediğinizi iki kez kontrol edin.
• Hataları keşfetmek ve yönergelerinizin çalıştığından emin olmak için robots.txt dosyanızı Google'ın robots.txt test aracını kullanarak test edin ve doğrulayın.
• Kök etki alanınızın alt etki alanlarının her biri için ayrı ve özelleştirilmiş bir robots.txt dosyası oluşturun.
• Hataları keşfetmek ve yönergelerinizin çalıştığından emin olmak için robots.txt dosyanızı Google'ın robots.txt test aracını kullanarak test edin ve doğrulayın.
• Web sitenizin robots.txt dosyası tarafından yasaklanmış sayfalarına bağlantı vermeyin. Dahili bağlantılar, bağlantılı olmaları durumunda Google'ın bu sayfaları taramasına neden olur.
• robots.txt dosyanızın doğru biçimlendirildiğinden emin olun.

1. Yeni bir satırda her yönerge tanımlanmalıdır.
2. URL'lere izin verirken veya izin vermezken, bunların büyük/küçük harfe duyarlı olduğunu unutmayın.
3. * ve $ dışında hiçbir özel karakter kullanılmamalıdır.
4. Daha fazla netlik sağlamak için # sembolünü kullanın. # karakterli satırlar tarayıcılar tarafından yok sayılır.

• Gizlemek için robots.txt dosyasını hangi sayfaları kullanmalısınız?

1. Sayfalandırma için sayfalar
2. Bir sayfanın sorgu parametrelerinin varyasyonları
3. Hesabınız veya profiliniz için sayfalar
4. Yöneticiler için sayfalar
5. alışveriş sepetinde
6. teşekkür sayfaları

• Herhangi bir yerden bağlantısı olmayan ve robots.txt ile dizine eklenmemiş sayfaları engelleyin.

• Robots.txt söz konusu olduğunda, web yöneticileri sıklıkla hata yapar. Bunlar ayrı bir makalede tartışılmaktadır. Kontrol edin ve onlardan uzak durun – Tipik robots.txt gafları

Robotlar Etiketler

Bir robots.txt dosyası, tarayıcıya yalnızca web sitesinin hangi bölümlerine erişebileceğini söyler. Ancak, tarayıcıya dizine ekleyemeyeceğini söylemez. Buna yardımcı olmak için, tarayıcılara dizin oluşturma ve çeşitli diğer görevler hakkında talimat vermek için robot etiketleri kullanabilirsiniz. Meta Robots ve X-robots etiketleri, robot etiketlerinin iki biçimidir.

Meta Robotlar Etiketi

Meta Robots etiketi, arama motorlarına bir sayfayı nasıl tarayacağını ve dizine ekleyeceğini söyleyen bir HTML kodu parçasıdır. Bir web sayfasının head> bölümünde bulunur. Bir Meta Robots etiketi şöyle görünür:

<meta name=”robots” content=”noindex,nofollow”>

Ad ve içerik, Meta Robots etiketinin iki özelliğidir.

Ad özelliği

name özniteliği için tanımlanan değerler robotların adlarıdır, yani (Googlebot, MSNbot, vb.). Yukarıdaki örnekte gösterildiği gibi, değeri robots olarak tanımlayabilirsiniz; bu, yönergenin her türlü tarama robotuna uygulanacağını gösterir.

İçerik Özelliği

İçerik alanında, çeşitli farklı değer türleri tanımlayabilirsiniz. Content özelliği, tarayıcılara sayfanın içeriğini nasıl tarayacakları ve dizine ekleyecekleri konusunda talimat verir. Herhangi bir robots meta etiketi yoksa, tarayıcılar sayfayı bir dizin olarak ele alır ve varsayılan olarak onu takip eder.

İşte içerik özelliği için farklı değer türleri

1. all: Bu yönerge, tarayıcılara istedikleri her şeyi tarayabileceklerini ve dizine ekleyebileceklerini söyler. Bu, dizinle aynı şekilde çalışır ve talimatları izleyin.
2. dizin: Dizin yönergesi, tarayıcılara sayfayı dizine ekleyebileceklerini söyler. Bu, varsayılan olarak dikkate alınır. Bunun dizine eklenmesi için bir sayfaya eklenmesi gerekmez.
3. noindex: Tarayıcıların sayfayı dizine eklemesine izin verilmez. Sayfa zaten dizine eklenmişse, tarayıcıya bu yönerge ile onu dizinden kaldırması talimatı verilir.
4. takip et: Arama motorlarına bir sayfadaki tüm bağlantıları takip etmeleri ve bağlantı eşitliğini geçmeleri talimatı verilir.
5. nofollow: Arama motorlarının bir web sitesindeki bağlantıları takip etmesine veya herhangi bir hakka sahip olmasına izin verilmez.
6. yok: Bu, noindex, nofollow yönergelerine benzer.
7. noarchive: Bir sayfanın önbelleğe alınmış kopyası, Arama Motoru Sonuçları Sayfasında (SERP) görüntülenmez.
8. nocache: Bu yönerge noarchive'a benzer, ancak yalnızca Internet Explorer ve Firefox tarafından desteklenir.
9. nosnippet: Sayfanın genişletilmiş açıklaması (meta açıklama olarak da bilinir) arama sonuçlarında görüntülenmez.
10. notranslate – Bu, Google'ın SERP'de sayfanın çevirisini sağlamasını engeller.
11. noimageindex – Bu, Googlebot'un web sitesindeki herhangi bir resmi taramasını engeller.
12. unavailable_after –Belirtilen tarih/saatten sonra bu sayfayı arama sonuçlarında gösterme. Zamanlayıcılı bir noindex etiketine benzer.
13. max-snippet: Bu yönerge, Google'ın bir sayfanın SERP'sinde göstermesi gereken maksimum karakter sayısını belirtmenize olanak tanır. Aşağıdaki örnekteki karakter sayısı 150 ile sınırlandırılacaktır.
14. Örn – <meta name=”robots” content=”max-snippet:150″/>
15. max-video-preview –Bir video örneği önizlemesi için maksimum saniye miktarı belirlenir. Aşağıdaki durumda, Google 10 saniyelik bir önizleme gösterecektir —– <meta name=”robots” content=”max-video-preview:10″ />
16. max-image-preview – Bu, Google'a SERP'deki bir sayfa için göstermesi gereken görüntünün boyutu konusunda talimat verir. Üç seçenek mevcuttur.

• Yok – Hiçbir görüntü parçacığı görüntülenmez.
• standart – Varsayılan görüntü önizlemesi kullanılacaktır
• büyük – Mümkün olan en büyük önizleme görüntülenebilir

X Robot Etiketi

Meta Robots etiketi yalnızca sayfa düzeyinde tarama ve dizine eklemeyi düzenleyebilir. X-robots etiketi ile Meta Robots etiketi arasındaki tek fark, X-robots etiketinin, tüm sayfanın veya sayfanın seçili öğelerinin taranmasını ve dizine eklenmesini yönetmek için bir sayfanın HTTP başlığında tanımlanmış olmasıdır. Çoğunlukla HTML olmayan sayfa kontrolü, tarama ve indeksleme için kullanılır.

X-Robots etiketi örneği

X-robots etiketi, bu ekran görüntüsünde gösterildiği gibi Meta Robots etiketiyle aynı yönergeleri kullanır. X-robots etiketini kullanmak için başlıkları değiştirmek için a.htaccess,.php veya sunucu yapılandırma dosyasına erişmeniz gerekir.

Robotlar İçin En İyi SEO Uygulamaları Etiketler

1) Meta Robotlar ve x-robotlar aynı sayfada kullanılmamalıdır çünkü bunlardan biri gereksiz hale gelecektir.
2) Meta Robots etiketini noindex gibi yönergelerle kullanabilir, sayfalarınızın dizine eklenmesini istemiyorsanız ancak yine de bağlantılı sayfalara bağlantı eşitliğini iletmek istiyorsanız izleyin. robots.txt ile indekslemeyi engellemek yerine, indekslemeyi kontrol etmek için ideal bir yöntemdir.
3) Web sitenizi dizine eklemek için, her sayfaya dizin eklemeniz veya yönergeleri izlemeniz gerekmez. Varsayılan olarak dikkate alınır.
4) Sayfalarınız dizine eklenmişse, onları durdurmak için robots.txt dosyasını kullanmayın ve bunun yerine Meta Robotları kullanın. Çünkü tarayıcıların Meta Robots etiketini incelemek için sayfayı taraması gerekir ve robots.txt engellemesi bunu yapmalarını engeller. Başka bir deyişle, Meta Robots etiketiniz geçersiz olacaktır.
Bu durumlarda, önce robots meta etiketini kullanın ve ardından Google'ın sitelerinizi dizine eklemesini bekleyin. Dizinleri kaldırıldıktan sonra, bunları önlemek ve taramadan tasarruf etmek için robots.txt dosyasını kullanabilirsiniz. Ancak, hayati sayfalarınıza bağlantı eşitliğini iletmek için kullanılabildikleri için bundan kaçınılmalıdır. Robots.txt dosyasını yalnızca, dizine eklenmiş sayfaları tamamen işe yaramazsa yasaklamak için kullanın.
5) Fotoğraflar, PDF'ler, flash veya video gibi HTML olmayan dosyaların taranmasını X-robots etiketiyle kontrol edin.

Çözüm

Web sitenizin taranmasını ve dizine eklenmesini kontrol etmek için robots.txt ve robots etiketlerinin kullanılması gerekir. Örümceklerin sitenize nasıl ulaştığını kontrol etmek için birkaç seçenek vardır. Ancak, hepsi sorununuzu çözmede etkili olmayacaktır. Örneğin bazı sayfaları dizinden kaldırmak istiyorsanız, onları robots.txt dosyasında yasaklamak işe yaramaz.

Burada hatırlanması gereken en önemli şey, web sitenizin neye ihtiyacı olduğunu bulmak ve ardından siteler engellendiğinde bununla başa çıkmak için akıllı bir strateji seçmektir. Bu tavsiyenin sizin için en iyi seçeneği belirlemenize yardımcı olacağını umuyoruz.

Sayfaların engellenmesini önlemek için hangi yaklaşımı kullanıyorsunuz? Lütfen düşüncelerinizi aşağıdaki yorum kutusunda paylaşın.

SEO Faydalı Bağlantı Oluşturma Kaynakları:

• En İyi Sosyal Yer İşareti Siteleri Listesi 2021
• SEO için En İyi Görsel Gönderme Siteleri listesi 2021
• Makale Gönderme Siteleri Listesi 2021
• En İyi 100 Yüksek DA Dizin Gönderim Siteleri Listesi 2021
• 2021 için En İyi Basın Bülteni Gönderme siteleri
• En İyi Yüksek DA DoFollow Blog Yorumlama Siteleri Listesi 2021
• 2021'de Video Gönderme Siteleri Listesi
• 2021'de Yüksek DA İşletme Listesi Siteleri Listesi
• 2021'de Yüksek DA Sınıflandırılmış Gönderim Siteleri Listesi
• Yüksek DA Soru-Cevap Web Siteleri Listesi 2021