Googlebot Nasıl Çalışır- Web Tarayıcısı – Örümcek
Googlebot Nedir? Öncelikle kafa karışıklığını azaltmak adına başlıktaki tüm terimlerin SEO açısından bakıldığında aynı anlama geldiklerini bilmenizde fayda var. Googlebot, Google tarafından kullanılan ve web sayfalarını bağlantılar yoluyla tarayan, bu sitelerdeki yeni ve güncellenmiş içerikleri bulup okuyan, ayrıca hataları analiz edip sonunda bunları Google indexine eklenmesi konusunda öneride bulunan bir yazılımdır. Özet olarak ise Googlebot, Google’ın web siteleri hakkında bilgileri toplayan arama motoru botudur.
Google’ın arama sonuçları Google Veritabanı’ndan gelmektedir ve arama sonuçlarında hangi sitenin çıkması gerektiği, kaçıncı sırada çıkması gerektiği gibi konulara karar veren yani Google’ın beyni farklı bir yapay zeka algoritmasıdır. Bu sebeple Googlebot ile Google algoritmasını karıştırmamak gerekir. Googleb Bot’un görevi kesintisiz şekilde tüm dünyadaki web sitelerini gezmektir.
Googlebot Nasıl Çalışır?
Googlebot, nereye nasıl gideceğini belirlemek için daha önceki tarama verileri, site haritalarını ve veritabanlarını kullanır. Siteniz çok sık güncellenen veya Google News kayıtlı bir site değilse sitenizi ziyaretinde bulduğu yeni bağlantıları daha sonra ziyaret edilecek sayfa listesine ekleyerek yoluna devam eder. Eğer daha önceki bağlatılarda değişiklik veya kopukluk bulursa (kırık link) bunu da anında yapmaz ve dizin güncellemesi yapılacaklar listesine ekler. Örneğin bir sayfanız 404 hatası verse bile bir süre daha arama sonuçlarında çıkmasının sebebi bundandır. Bu gibi daha sonra yapılacak işlemlerin tümünü Google Search Console (Google Arama Konsolu) sayfasından sizde takip edebilirsiniz. Search Console hakkında aşağıda biraz daha bilgi vereceğim.
Diğer Google Botları
Google farklı ürünleri için farklı botlar kullanmaktadır. Örneğin, AdSense ve AdsBot reklam kalitelerini kontrol etmek için kullanılan farklı bir bottur. Aynı şekilde görseller ve videolar içinde botlar mevcuttur. Bizim için en önemli Google Botları aşağıdakilerdir;
| Bot Adı | Yönlendiren / Kullanıcı Temsilcisi |
| Googlebot (desktop) | Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Googlebot (mobile) | Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.96 Mobile Safari/537.36 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) |
| Googlebot Video | Googlebot-Video/1.0 |
| Googlebot Images | Googlebot-Image/1.0 |
| Googlebot News | Googlebot-News |
Googlebot Siteme Ne Sıklıkla Geliyor?
Google Bot’un sitenizi ne sıklıkta ziyaret ettiğini ve orada ne yaptığını öğrenmek için, günlük log dosyalarınızı inceleyebilir veya Google Arama Konsolunun Tara bölümününden kolayca bu işi gerçekleştirebilirsiniz. Log dosyalarını incelemek zahmetli bir iştir. Üstelik spam yapmak yada en kötüsü sitenizdeki açıkları arayıp hacklemek isteyen kişiler siteler Googlebot şeklinde erişmeye çalışmaktadır. Burada en kesin çözüm IP adresi olmasına rağmen Google botlarının kullandığı IP adreslerini açıklamadığı ve belli aralıklar ile değiştirdiği için Google’ın anlattığı şekilde Googlebot doğrulaması yapmak olabilir. İlginizi çekebilir: Google Adwords hediye çeki nasıl alınır.
Googlebot’u Yönetme ve Sınırlama
Aslında bir çok bot Robots.txt dosyasını okur ve dikkate alır. Eğer Googlebot’un sitenizde kafasına göre oradan oraya dolaşmasını istemiyorsanız Robots.txt dosyası kullanabilirsiniz. Robots.Txt dosyası ile Google Bot’a hangi klasörleri indexlemesi hangilerini indexlememesi gibi komutları verebilirsiniz. Ancak bu işlemi yaparken dikkatli olmanızda fayda var. Çünkü yanlış bir şekilde yaparsanız, Googlebot’un tamamen gelmesini durdurabilirsiniz. Buda sitenizin Google dizininden çıkarılmasına kadar varan sonuçları olabilir. Bu konuyu sizlere farklı bir makalede detaylı bir şekilde anlatacağım.
Arama Konsolu (Search Console)
Arama Konsolu, sitenizin durumunu ve Google gözünde güvenilirliğini kontrol etmek için en önemli araçlardan biridir. Bu aracı kullanarak Googlebot’un sitenizi nasıl gördüğünü görebilir, hatalarınızı düzelterek sitenizin itibarını artırabilirsiniz. Düzeltmeniz gereken tarama hataları varsa Arama Konsolu buları size bir liste halinde sunar. Düzeltmelerden sonra veya yeni bir sayfa ekledikten sonra Arama Konsolu’ndan, Googlebot’tan sitenizi yeniden taramasını isteyebilirsiniz.
Google Bot İçin Optimize Edin!
Googlebot’un sitenizi daha hızlı taramasını sağlamak, tarayıcının sitenize düzgün şekilde erişmesini engelleyen teknik sorunları kaldırmak teknik bir işlem olsada bunu mutlaka yapmak/yaptırmak zorundasınız. Eğer Google organik aramalarda sitenizin belli bir yere gelmesini hedefliyorsanız öncelikle siteniz ve Google arasındaki bağlantının, anlaşmanın çok iyi olması şarttır. Sitenizi anlayamayan bir Google Bot’tan ne bekleyebilirsiniz ki? Ayrıca unutmayın ki Google sizi değil siz Google’ı anlayıp derdinizi onun dilinde (Googleca) anlatmak zorundasınız.
Googlebot Ziyaret Sıklığı
Google Bot, sitenizi ziyaret eden küçük robottur. Siteniz için teknik olarak sağlam bir altyapı kurduysanız ve kendinizi ona doğru şekilde anlatabildiyseniz sık sık ziyaretinize gelir. Gerçek hayatta en sık görüştüğünüz kişiler en iyi anlaştığınız kişiler değil mi? Buda aynı mantık zaten! Düzenli ve istikrarlı bir şekilde taze içerik eklerseniz onu daha da sık görürsünüz. Bazen, sitenize büyük çaplı değişiklikler yaptığınızda sizde Googlebot’u çağırabilirsiniz. Aranız iyiyse sizi kırmaz ve en kısa sürede gelip yaptığınız değişiklikleri işleme aldırır.
İlginizi Çekebilir: Googlede Doğru Aramayı Yapmak