Robots.txt Dosyası Nasıl Oluşturulur (Ve Neden Yapmanız Gerekir)

robots.txt dosyası nedir?

robots.txt dosyası, arama motoru tarayıcılarına sitenizdeki hangi sayfaların taranacağını ve dizine ekleneceğini söyleyen basit bir yönergedir.

Bu, arama motoru robotlarının web'i nasıl taradığını, site içeriğini değerlendirip dizine eklemesini ve ardından bu içeriği kullanıcılara nasıl sunacağını yöneten bir standart prosedürler ailesi olan robot dışlama protokolünün (REP) bir parçasıdır. Bu dosya, tarayıcıların nerelerde tarama yapmasına izin verildiğini ve nerelere izin verilmediğini belirtir. Ayrıca, tarayıcıların web sitesini daha verimli bir şekilde taramasına yardımcı olabilecek bilgiler içerebilir.

REP ayrıca, bir sayfanın HTML'sinde bulunan ve web tarayıcılarının belirli web sayfalarını ve içerdikleri resimleri veya dosyaları nasıl taramaları ve dizine eklemeleri gerektiğine ilişkin belirli talimatları içeren yönergeler olan "meta robot etiketleri"ni de içerir.

Robots.txt ve Meta Robots Etiketi Arasındaki Fark Nedir?

Bahsettiğim gibi, robot dışlama protokolü aynı zamanda bir sayfanın HTML'sinde bulunan kod parçaları olan "meta robot etiketleri"ni de içerir. Robots.txt dosyalarından, belirli web sayfalarındaki web tarayıcılarına yön vermeleri, tam sayfaya veya sayfada bulunan fotoğraflar ve videolar gibi belirli dosyalara erişime izin vermemeleri bakımından farklıdırlar.

Buna karşılık, robots.txt dosyalarının amacı, yalnızca dahili kullanım için tasarlanmış bir alt dizin gibi bir web sitesinin tüm bölümlerinin dizine eklenmesini engellemektir. Bir robots.txt dosyası, belirli bir sayfa yerine sitenizin kök etki alanında bulunur ve yönergeler, başvurdukları dizinler veya alt dizinlerdeki tüm sayfaları etkileyecek şekilde yapılandırılmıştır.

Neden Bir Robots.txt Dosyasına İhtiyacım Var?

robots.txt dosyası, büyük öneme sahip, aldatıcı derecede basit bir metin dosyasıdır. Onsuz, web tarayıcıları buldukları her sayfayı dizine ekler.

Bu neden önemli?

Yeni başlayanlar için, tüm siteyi taramak zaman ve kaynak gerektirir. Tüm bunlar paraya mal olur, bu nedenle Google, özellikle o site çok büyükse, bir siteyi ne kadar tarayacağını sınırlar. Bu, "tarama bütçesi" olarak bilinir. Tarama bütçesi, yanıt süresi, düşük değerli URL'ler ve karşılaşılan hataların sayısı gibi çeşitli teknik faktörlerle sınırlıdır.

Ayrıca, arama motorlarının tüm sayfalarınıza sınırsız erişimine izin verirseniz ve tarayıcılarının bunları dizine eklemesine izin verirseniz, dizin şişkinliği ile karşılaşabilirsiniz. Bu, Google'ın arama sonuçlarında görünmesini istemediğiniz önemsiz sayfaları sıralayabileceği anlamına gelir. Bu sonuçlar, ziyaretçilere kötü bir deneyim sağlayabilir ve hatta sıralamak istediğiniz sayfalarla rekabet edebilirler.

Sitenize bir robots.txt dosyası eklediğinizde veya mevcut dosyanızı güncellediğinizde, tarama bütçesi israfını azaltabilir ve dizin şişmesini sınırlayabilirsiniz.

Robots.txt Dosyamı Nerede Bulabilirim?

Sitenizde robots.txt dosyası olup olmadığını görmenin basit bir yolu var: İnternette arayın.

Herhangi bir sitenin URL'sini yazın ve sonuna “/robots.txt” ekleyin. Örneğin: victoriousseo.com/robots.txt size bizimkini gösterir.

Site URL'nizi yazıp sonuna “/robots.txt” ekleyerek kendiniz deneyin. Üç şeyden birini görmelisiniz:

• Geçerli bir robots.txt dosyasını belirten birkaç satırlık metin
• Gerçek bir robots.txt dosyası olmadığını gösteren tamamen boş bir sayfa
• 404 hatası

Sitenizi kontrol ediyor ve ikinci iki sonuçtan birini alıyorsanız, arama motorlarının çabalarını nereye odaklamaları gerektiğini daha iyi anlamalarına yardımcı olmak için bir robots.txt dosyası oluşturmak isteyeceksiniz.

Robots.txt Dosyası Nasıl Oluşturulur

Bir robots.txt dosyası, arama motoru robotlarının okuyup takip edebileceği belirli komutları içerir. Bir robots.txt dosyası oluşturduğunuzda kullanacağınız bazı terimler aşağıda verilmiştir.

Bilinmesi Gereken Ortak Robots.txt Terimleri

Kullanıcı Aracısı : Kullanıcı aracısı, son kullanıcılar için web içeriğini almak ve sunmakla görevli herhangi bir yazılım parçasıdır. Web tarayıcıları, medya oynatıcılar ve eklentilerin tümü, robot.txt dosyaları bağlamında kullanıcı aracısı örnekleri olarak kabul edilebilirken, kullanıcı aracısı, tarayan ve dizine ekleyen bir arama motoru tarayıcısı veya örümceğidir (Googlebot gibi). Senin internet siten.

İzin Ver: Bir robots.txt dosyasında yer aldığında, bu komut, kullanıcı aracılarının onu takip eden tüm sayfaları taramasına izin verir. Örneğin, komutta "İzin ver: /" yazıyorsa, bu, herhangi bir web tarayıcısının "http://www.example.com/" bölümünde eğik çizgiyi izleyen herhangi bir sayfaya erişebileceği anlamına gelir. Robots.txt tarafından izin verilmeyen her şeye dolaylı olarak izin verildiğinden, taranmasını istediğiniz her şey için bunu eklemeniz gerekmez. Bunun yerine, izin verilmeyen bir yoldaki bir alt dizine erişime izin vermek için kullanın. Örneğin, WordPress sitelerinde genellikle /wp-admin/ klasörü için bir izin vermeme yönergesi bulunur, bu da tarayıcıların /wp-admin/admin-ajax.php dosyasında başka hiçbir şeye erişmeden erişmesine izin vermek için bir izin verme yönergesi eklemelerini gerektirir. ana klasör.

İzin Verme: Bu komut, belirli kullanıcı aracılarının belirtilen klasörü izleyen sayfaları taramasına izin vermez. Örneğin, komutta "İzin Verme: /blog/" yazıyorsa, bu, kullanıcı aracısının /blog/ alt dizinini içeren hiçbir URL'yi tarayamayacağı ve bu da tüm blogu aramanın dışında bırakacağı anlamına gelir. Muhtemelen bunu asla yapmak istemezsin, ama yapabilirsin. Bu nedenle, robots.txt dosyanızda herhangi bir değişiklik yapmayı düşündüğünüzde, izin vermeme yönergesini kullanmanın sonuçlarını göz önünde bulundurmanız çok önemlidir.

Tarama gecikmesi: Bu komut gayri resmi olarak kabul edilse de, web tarayıcılarını isteklerle dolu potansiyel olarak ezici sunuculardan uzak tutmak için tasarlanmıştır. Genellikle çok fazla isteğin sunucu sorunlarına neden olabileceği web sitelerinde uygulanır. Bazı arama motorları bunu destekler, ancak Google desteklemez. Google Search Console'u açıp mülkünüzün Tarama Hızı Ayarları sayfasına giderek ve oradaki kaydırıcıyı ayarlayarak Google için tarama hızını ayarlayabilirsiniz. Bu, yalnızca Google uygun olmadığını düşünürse işe yarar. Uygun olmadığını düşünüyorsanız ve Google aynı fikirde değilse, ayarlanması için özel bir istekte bulunmanız gerekebilir. Bunun nedeni, Google'ın web siteniz için tarama hızını optimize etmesine izin vermenizi tercih etmesidir.

XML Site Haritası: Bu yönerge tam olarak tahmin ettiğiniz şeyi yapar: Web tarayıcılarına XML site haritanızın nerede olduğunu söyleyin. Şuna benzemelidir: "Site Haritası: http://www.example.com/sitemap.xml." Site haritası en iyi uygulamaları hakkında daha fazla bilgiyi buradan edinebilirsiniz.

Robots.txt Oluşturmak için Adım Adım Talimatlar

Kendi robots.txt dosyanızı oluşturmak için Not Defteri veya TextEdit gibi basit bir metin düzenleyiciye erişmeniz gerekir. Bir kelime işlemci kullanmamak önemlidir, çünkü bunlar genellikle dosyaları özel formlarda kaydeder ve dosyaya özel karakterler ekleyebilir.

Basitlik adına, "www.example.com" adresini kullanacağız.

Kullanıcı aracısı parametrelerini ayarlayarak başlayacağız. İlk satıra şunu yazın:

Kullanıcı aracısı: *

Yıldız işareti, tüm web tarayıcılarının web sitenizi ziyaret etmesine izin verildiği anlamına gelir.

Bazı web siteleri, botların taramasına izin verildiğini söylemek için bir izin verme yönergesi kullanır, ancak bu gereksizdir. Sitenin izin vermediğiniz tüm bölümlerine dolaylı olarak izin verilir.

Ardından, izin verme parametresini gireceğiz. User-agent satırından sonra bir ara eklemek için "return"e iki kez basın, ardından şunu yazın:

izin verme: /

Arkasından herhangi bir komut girmediğimiz için bu, web tarayıcılarının sitenizdeki her sayfayı ziyaret edebileceği anlamına gelir.

Belirli içeriğe erişimi engellemek istiyorsanız, izin verme komutundan sonra dizini ekleyebilirsiniz. robots.txt dosyamız aşağıdaki iki izin verme komutuna sahiptir:

İzin verme: /wp/wp-admin/

İzin verme: /*?*

Birincisi, WordPress yönetici sayfalarımızın (bu makale gibi şeyleri düzenlediğimiz yer) taranmamasını sağlar. Bunlar, aramada üst sıralarda yer almak istemeyeceğimiz sayfalardır ve ayrıca, şifre korumalı oldukları için Google'ın bunları taramaya çalışması zaman kaybı olacaktır. İkincisi, blog arama sonuçları sayfaları gibi soru işareti içeren URL'lerin taranmasını engeller.

Komutlarınızı tamamladıktan sonra site haritanıza bağlantı verin. Bu adım teknik olarak gerekli olmasa da, web örümceklerini sitenizdeki en önemli sayfalara yönlendirdiği ve site mimarinizi netleştirdiği için önerilen bir en iyi uygulamadır. Başka bir satır sonu ekledikten sonra şunu yazın:

Site Haritası: http://www.example.com/sitemap.xml

Artık web geliştiriciniz dosyanızı web sitenize yükleyebilir.

WordPress'te bir Robots.txt dosyası oluşturma

WordPress'inize Yönetici erişiminiz varsa, robots.txt dosyanızı Yoast SEO Eklentisi veya AIOSEO ile değiştirebilirsiniz. Alternatif olarak, web geliştiriciniz WordPress sitenize bağlanmak ve kök dizine erişmek için bir FTP veya SFTP istemcisi kullanabilir.

robots.txt dosyasını kök dizinden başka bir yere taşımayın. Bazı kaynaklar onu bir alt dizine veya alt etki alanına yerleştirmeyi önerse de ideal olarak kök etki alanınızda yaşamalıdır: www.example.com/robots.txt.

Robots.txt Dosyanızı Nasıl Test Edebilirsiniz?

Artık bir robots.txt dosyası oluşturduğunuza göre, onu test etme zamanı. Neyse ki Google, Google Search Console'un bir parçası olarak bir robots.txt Test Aracı sağlayarak bunu kolaylaştırır.

Siteniz için test cihazını açtıktan sonra, tüm sözdizimi uyarılarının ve mantık hatalarının vurgulandığını göreceksiniz.

Belirli bir Googlebot'un sayfanızı nasıl "gördüğünü" test etmek için sayfanın altındaki metin kutusuna sitenizden bir URL girin ve ardından sağdaki açılır menüden çeşitli Googlebotlar arasından seçim yapın. "TEST"e basmak, seçtiğiniz botun davranışını simüle eder ve herhangi bir yönergenin Googlebot'un sayfaya erişmesini engelleyip engellemediğini gösterir.

Robots.txt'nin Eksiklikleri

Robots.txt dosyaları çok faydalıdır, ancak sınırlamaları vardır.

Robots.txt dosyaları web sitenizin bölümlerini korumak veya gizlemek için kullanılmamalıdır (bunu yapmak Veri Koruma Yasasını ihlal edebilir). Kendi robots.txt dosyanızı aramanızı önerdiğim zamanı hatırlıyor musunuz? Bu, yalnızca sizin değil herkesin erişebileceği anlamına gelir. Korumanız gereken bilgiler varsa, en iyi yaklaşım belirli sayfaları veya belgeleri parolayla korumaktır.

Ayrıca robots.txt dosya yönergeleriniz yalnızca isteklerdir. Googlebot'un ve diğer yasal tarayıcıların yönergelerinize uymasını bekleyebilirsiniz, ancak diğer botlar bunları görmezden gelebilir.

Son olarak, tarayıcılardan belirli URL'leri dizine eklememesini isteseniz bile bunlar görünmez değildir. Diğer web siteleri bunlara bağlantı verebilir. Web sitenizdeki belirli bilgilerin herkese açık olarak görüntülenmesini istemiyorsanız, onu parola ile korumanız gerekir. Dizine eklenmeyeceğinden emin olmak istiyorsanız, sayfaya bir noindex etiketi eklemeyi düşünün.

Teknik SEO Hakkında Daha Fazla Bilgi Edinin: Kontrol Listemizi İndirin

Web sitenizin SEO'sunu kendi elinize nasıl alacağınıza dair adım adım talimatlar da dahil olmak üzere SEO hakkında daha fazla bilgi edinmek ister misiniz? Arama sıralamalarınızı iyileştirmenize ve web sitenize daha fazla organik trafik çekmenize yardımcı olacak değerli kaynaklar da dahil olmak üzere kapsamlı bir yapılacaklar listesi almak için 2022 SEO Kontrol Listemizi indirin.

SEO Kontrol Listesi ve Planlama Araçları

SEO'nuzdaki iğneyi hareket ettirmeye hazır mısınız? Etkileşimli kontrol listesini ve planlama araçlarını edinin ve başlayın!