Googlebot nedir? Google Dizine Ekleme Hakkında Bilmeniz Gereken Her Şey

Googlebot Nedir?

Googlebot, Google'ın web tarayıcısının adıdır. Web sayfalarını "okur" ve onları dizine ekler, böylece arama terimlerine yanıt olarak arama yapanlara sunulabilirler.

Googlebot'un iki kritik görevi vardır:

1. Mümkün olduğu kadar çok içeriği dizine ekleyebilmek için sürekli olarak yeni bağlantılar için web sayfalarını araştırır ve
2. Google'ın dizinini güncel tutmak için sayfalar hakkında yeni bilgiler toplar.

Yalnızca bir ad olsa da, aslında iki tür Googlebot vardır: biri mobil için (Googlebot Akıllı Telefon) ve diğeri masaüstü için (Googlebot Masaüstü). İlki, sitenizin akıllı telefonlarda ve tabletlerde ne kadar iyi çalıştığını kontrol ederken, ikincisi web sitenizin masaüstü sürümüne odaklanır.

Googlebot optimizasyonu tamamen Google'ın web sitenize erişmesini, taramasını ve "okumasını" kolaylaştırmakla ilgilidir. Pek çok SEO taktiği arama performansını etkilerken, sitenizin "indekslenebilirliğini" artıran ve sayfalarınızın Google kullanıcıları tarafından kullanılabilir olup olmadığını doğrudan etkileyebilecek bir avuç olmazsa olmaz uygulama vardır. Sayfa içi ve sayfa dışı SEO taktiklerine ek olarak, SEO stratejiniz, arama motoru sonuçlarında görünme şansınızı artırmanıza yardımcı olacak teknik SEO hedeflerini içermelidir.

Neden yalnızca Googlebot'a odaklanmalısınız? Peki ya diğer arama motorlarının tarayıcıları? Google şu anda arama pazarının %92'sine sahip olduğundan, hedef kitlenizin çoğu muhtemelen onu kullanıyor. Ancak, aşağıdaki öneriler, tüm tarayıcıların sayfalarınızı okumasını kolaylaştırmalıdır.

Google Dizine Ekleme Nasıl Çalışır?

Google bir siteyi dizine eklediğinde, onu bilgi veritabanına ekler ve sayfaların ne hakkında olduğunu, ne kadar kullanıcı dostu olduklarını ve daha fazlasını not eder. Ancak Googlebot bir web sitesinin var olduğunu ve dizine eklenmesi gerektiğini nasıl biliyor?

Daha önce bir web sitesi oluşturduysanız, muhtemelen yayınladığınız anda organik trafik almadığınızı fark etmişsinizdir. Bunun nedeni, sayfalarınızı tarayabilmesi için Googlebot'u web sitenizden haberdar etmeniz gerektiğidir. Bunu, XML site haritanızı Google Arama Konsoluna (eski adıyla Google Web Yöneticisi araçları) göndererek yapabilirsiniz.

Googlebot, site haritalarını kullanarak web sitenizi tarar ve geçmiş taramalardan veritabanlarını bağlar. Web sitenizde yeni bir bağlantı bulduğunda, onu ziyaret edilecek sayfalar listesine ekler. Hem Googlebot Desktop hem de Googlebot Smartphone, herhangi bir bozuk bağlantı veya başka sorunla karşılaşırlarsa dizini günceller.

Bu, Google'ın bir sorgu aldığında aldığı dizindir. Ardından, ilgili sonuçların nasıl sıralanacağını belirlemek için aramadaki bağlamsal ipuçlarını kullanır.

Google Sitemi Ne Sıklıkta Tarıyor?

Google, URL'leri farklı oranlarda tarar. Bazı URL'ler her gün taranabilirken, diğerleri yalnızca haftalık veya aylık olarak taranabilir. Robots.txt dosyanızda veya meta robots etiketlerinizde aksini belirtmediğiniz sürece, Googlebot, içeriğinizi daha iyi anlayabilmesi ve dizinini güncelleyebilmesi için web sitenizdeki her sayfayı gezmeye ve yol boyunca bilgileri kaydetmeye çalışır.

Şu ana kadar öncelikle Googlebot tarayıcısına odaklanmış olsam da, aslında birden çok Google web tarayıcısı olduğunu belirtmek isterim. Google tarayıcılarının tam listesini burada bulabilirsiniz.

Google'ın sitenizi ne sıklıkla taradığını ve dizine eklediğini merak ediyorsanız, Google Arama Konsolunuza (GSC) gidin. Tarama İstatistikleri Raporunuzu ayarlar altında bulabilirsiniz.

Googlebot için Sitenizi Optimize Etmenin 5 Adımı

Sayfalarınızın aramada bulunabilmesi için sitenizi arama motoru örümceklerinin erişimine açık tutmak için bu beş basit adımı izleyin.

1. Kodunuzu Basit Tutun

Web sitenizin taranabilirliğini artırmanın büyük bir kısmı, işleri basit tutmaktır. Google, Flash, Ajax, çerçeveler, çerezler, oturum kimlikleri veya DHTML'yi taramaz ve JavaScript'i oluşturması gerektiğinden dizine eklenmesi daha uzun sürer.

Web sitenizi oluştururken, tarama sorunlarından kaçınmak ve sayfalarınızı dizine eklemeyi kolaylaştırmak için Google'ın genel ve kalite yönergelerini izlemek çok önemlidir.

2. Robots.txt Dosyanızı Kontrol Edin

Bir robots.txt dosyası, Googlebot'a sitenizde hangi URL'lere erişebileceğini söyler. Sitenizi isteklerle aşırı yüklememek ve arama motorları tarafından dizine eklenmesini istediğiniz sayfalar için daha fazla tarama bütçesinden tasarruf etmek için robot.txt yönergelerini kullanın. robots.txt olmadan, Googlebot medyayı, kaynak dosyalarını veya arama sonuçlarına dahil edilmesini istemediğiniz diğer önemsiz sayfaları dizine eklemek için çok fazla zaman harcayabilir. Robots.txt, protokol çapında bir yönergedir. Birden fazla alt alan adınız yoksa, web sitenizde yalnızca bir tane olmalıdır. Googlebot'u ve tarayıcıları sayfa sayfa yönetmek için meta robot etiketlerini kullanın.

3. Dahili Bağlantıyı Kullanın

Dahili bağlantılar, sizi aynı web sitesinde bir sayfadan diğerine götüren köprülerdir. Gezinme amaçlı olabilirler (düşünme menüleri, kenar çubukları, üstbilgiler, altbilgiler) veya bağlamsal olabilirler (bir sayfanın gövdesine yerleştirilmişler). Googlebot'un sayfalarınızı bulmasını ve birbirleriyle nasıl ilişkili olduklarını anlamasını kolaylaştırmak için site hiyerarşinizi vurgulamak için dahili bağlantı kullanın. Tüm sayfalarınız bir şekilde birbirine bağlanmalıdır. Örneğin, ana sayfanız hizmet sayfalarınıza, örnek olay incelemelerinize ve blogunuza bağlantı vermelidir. Bunların her biri daha sonra ilgili sayfalara bağlanmalıdır.

Burada dahili bağlantı oluşturma en iyi uygulamaları hakkında daha fazla bilgi edinin.

Ana sayfanız ve hizmet sayfalarınız gibi en önemli sayfalarınızın en fazla bağlantıyı aldığından emin olmak için GSC'deki Bağlantılar Raporunuzu inceleyin. Bu, Google'a bunların sitenizdeki en önemli sayfalar olduğunu gösterir.

4. Bir XML Site Haritası oluşturun

Googlebot'un web sitenizi taramasını kolaylaştırmak için, web tarayıcısının sitenizin hiyerarşisini hızlı bir şekilde anlaması için tüm sayfalarınızı düzenleyen bir XML site haritası sağlayın. (XML site haritasının ne olduğundan emin değilsiniz, bir site haritası örneğine bakın ve daha fazlasını buradan öğrenin.)

Doğrulama işlemi sırasında XML site haritanızı GSC üzerinden Google'a gönderin.

Site haritanızı sizin için dinamik olarak güncelleyen bir içerik yönetim sistemi (CMS) kullanmıyorsanız, XML site haritanızı manuel olarak güncellediğinizden ve site hiyerarşinizde değişiklik yaptığınızda yeniden gönderdiğinizden emin olun. Sol kenar çubuğundaki "Site Haritaları"nı tıklamanız yeterlidir. Bu, Google'ın web sitenizdeki uygun sayfaları dizine eklemesine yardımcı olacaktır.

5. Google Dizine Ekleme İsteyin

Yeni bir sayfa yayınladığınızda veya mevcut içerikte önemli güncellemeler yaptığınızda, Google'ın onları bulmasını beklemeniz gerekmez. Dizine ekleme talebinde bulunarak Google'a taramaları için yeni veya güncellenmiş bir sayfanız olduğunu söyleyin.

GSC'nize giriş yapın ve sayfanın üst kısmındaki büyüteç simgesinin solunda dizine eklenmesini istediğiniz URL'yi girin ve enter tuşuna basın.

Google, verileri aldığını not edecektir.

Ardından, sayfanızın zaten dizine eklenip eklenmediğini size söyleyecektir.

Değilse, indeksleme talebinde bulunabilirsiniz. Sayfanız dizine eklendiyse ve sayfanızda önemli değişiklikler yaptıysanız, dizine eklenmesini de isteyebilirsiniz.

Sitenize yeni bir blog yazısı veya ürün sayfası gibi sık sık sayfa ekliyorsanız, tüm sayfalarınızın gecikmeden dizine eklenmesini sağlamak için bu işlemi en iyi uygulamalarınızın bir parçası haline getirin.

Googlebot'un Sitenizi Nasıl Taradığını Analiz Etmenin Dört Yolu

Bir arama motoru tarayıcısının okumasını kolaylaştırmak için sitenizi optimize ettikten sonra, sitenin düzgün bir şekilde tarandığını ve dizine eklendiğini bir kez daha kontrol etmek isteyeceksiniz.

Tarama İstatistikleri

Tarama istatistikleriniz, Googlebot'un sunucunuza toplam kaç tarama isteği gönderdiğini ve herhangi bir sorunla karşılaşıp karşılaşmadığını gösterir.

Google Search Console'daki tarama istatistikleri raporunuz ayrıca Googlebot'un ne bulduğunu (tarama yanıtları), karşılaştığı dosya türlerini, Googlebot'un yeni sayfalar mı keşfediyor yoksa eskileri mi yeniden dizine eklediğini ve sitenizi taramak için hangi Googlebot türlerinin kullanıldığını gösterir.

Tarama istatistikleri raporunuzdaki bir satır öğesine tıklamak ek bilgi sağlayacaktır. Örneğin, hangi sayfaların 404 hatası döndürdüğünü öğrenmek istiyorsanız, Googlebot'un bulamadığı URL'lerin listesine ve bu sayfaları en son ne zaman taramaya çalıştığına gitmek için tarama yanıtları kutusundaki o satırı tıklayın.

Tarama Amacı altındaki "yenile" veya "keşif" satır öğelerini tıklayarak, Googlebot'un en son hangi URL'leri dizine eklediğini görebilirsiniz. En son sayfalarınızın dizine eklenmediğini görürseniz, raporun üst kısmındaki arama çubuğunu kullanarak bunları kolayca gönderebilirsiniz.

Tarama Hataları

Tarama hataları, arama motorları sayfalarınızdan birine erişemediğinde meydana gelir. Tarama Raporunuzda SEO'nuzu olumsuz etkileyebilecek iki tür Googlebot tarama hatası tanımlayabilirsiniz:

1. Site Hataları: Bir site hatası aldığınızda, Googlebot sitenizi tarayamayabilir. Site hatalarına, eksik veya erişilemeyen robot.txt dosyaları, DNS çözümleme hataları veya sunucu bağlantı sorunları neden olabilir.
2. URL Hataları: Bir URL hatasıyla, Googlebot belirli bir sayfayı tarayamaz. Aynı anda birden fazla URL hatası yaşayabilirsiniz.

Moz, tarama hatalarının nasıl düzeltileceğini paylaşma konusunda harika bir iş çıkarıyor.

Engellenen URL'ler

Sitenizde Google tarayıcısının erişmesini istemediğiniz bölümler varsa, robotların içeriğinizi nasıl dizine eklemesi gerektiği konusunda bilgi sağlamak için bu dizinleri robots.txt dosyasında belirtebilirsiniz.

Robots.txt dosyanızın çalıştığından emin olmak için Google'ın tanıdığı engellenen URL'lerin sayısını görmek için GSC'nizi kontrol edin. Engellenen URL'lerin sayısı olması gerekenden azsa robots.txt dosyanızı düzenlemeniz gerekir. Tersine, sayı olması gerekenden yüksekse, arama sonuçlarında görünmesini istediğiniz, taranması yanlışlıkla engellenen sayfalar olabilir.

URL Parametreleri

Sorgu dizeleri olarak da bilinen URL parametreleri, dinamik URL'lerin sonuna ek bilgi eklemenize olanak tanır. Bir e-ticaret sitesindeki ürün arama sonuçları gibi sayfalara ayrılmış içeriği ziyaret ettiyseniz, sayfanın URL'sinin sonunda muhtemelen “?page=2” veya benzeri bir şey görmüşsünüzdür. Bu bir URL parametresidir. Bu parametreler aşağıdakiler için de kullanılabilir:

• İçerik filtreleri
• Çeviriler
• Site aramaları
• izleme

URL'lerinizde parametreler kullanmak istiyorsanız, yinelenen içerik, boşa harcanan tarama bütçesi ve izleme sorunları gibi önemli sorunlara yol açabileceğinden bunlara erişilmesini ve dizine eklenmesini isteyip istemediğinizi düşünün.

Parametreli içeriğin taranmasını engellemek için bu adımları takip edebilirsiniz.

SEO için Google Araçları Hakkında Daha Fazla Bilgi Edinin

Google, sitenizin performansını ölçmenize yardımcı olacak çeşitli araçlar sunar. SEO stratejinizi izlemek ve geliştirmek için bunlardan yararlanın.

Google Araçları Kılavuzumuz, Google'ın sunduğu ücretsiz SEO araçlarının her birinde size yol gösterecek ve teknik kavramları, ek kaynaklarla dolup taşan, uygulanabilir ve anlaşılması kolay bölümlere ayıracaktır.

SEO için Google Araçları Kılavuzu

Google'ın SEO süreçlerinizi ve performansınızı iyileştirmek için sağladığı ücretsiz, güçlü araçlardan en iyi şekilde nasıl yararlanacağınızı öğrenmek için bu kılavuzu indirin.