Crawl Budget (Tarama Bütçesi) Optimizasyonu [Video]

Crawl bütçesi, Googlebot'un sitenize belirli bir süre içinde yaptığı istek sayısı; daha kaba şekilde taradığı sayfa sayısı, sitede geçirdiği süre diyebiliriz.

Crawl bütçesi optimizasyonu ile Googlebot'un önemli içeriklerinizi daha kolay keşfedebilmesini, daha fazla taramasını, harcayacağı zamanı kontrol edebiliriz.

Google belirli zaman aralıklarıyla siteleri tekrar tekrar crawl ediyor.

Gary Illyes, Google'ın crawl'a başlamadan önce siteye ait URL listesi oluşturduğunu belirtiyor. Ve en olumlu sonucu Googlebot'un tüm sayfaları taraması ile alabiliriz.

Googlebot tüm listeyi başından sonuna kadar taramaya başlar. Bu listeyi oluşturması için site içinde fazla link çıkışı alan URL'ler, sitemapler gibi alanlar Googlebot'a yardımcı oluyor. Son olarak listeyi taramaya geçtiğinde ise bu listede karşılaştığı 40x, 50x hataları, fazla 30x yönlendirmeler gibi negatif durumlarda Googlebot crawl bütçesini düşürür ve daha az sayfa tarayarak siteden ayrılır.

Googlebot'un sitenizde günlük kaç sayfa taradığını, her bir sayfa için ortalama harcadığı zamanı Search Console üzerinde bulabilirsiniz.

Crawl bütçesini optimize etmek neden önemlidir?

Googlebot sitemizde her gün belirli sayıda sayfayı tarıyor. Sitemize sınırsız bütçe ayırmadığı için tüm sayfalarımızı tarayamadığı zamanlar oluyor. Bütçemiz kısıtlı ise Googlebot'un en önemli sayfaları taramasını sağlamalıyız.

Örneğin "Hakkımızda" sayfasını her sayfadan linkliyorsak, sitemap'te ön sıralarda listeliyorsak Googlebot "hakkımızda" sayfasını her gün tarayabilir. Fakat "hakkımızda" sayfası organik trafik hedeflediğimiz sayfa mı? Googlebot'un bu sayfayı taramasına, bütçenin ufak da olsa bir kısmını bu sayfada geçirmesini istiyor muyuz? Hayır.

Crawl bütçesini optimize ederken Googlebot'a, trafiği hedeflediğimiz kaliteli içerik sayfalarını öncelikli taratmayı hedeflemeliyiz.

Crawl bütçesini nasıl optimize edebiliriz?

1. Site hızı
2. Sitemizdeki gereksiz sayfaları temizleme ve index'e kapatma
3. Sunucu analizi

Site Hızı Optimizasyonu

Bu başlık altında site hızını nasıl iyileştirebileceğimiz konusuna girmeyeceğim. PageSpeed konusunda çok fazla araç ve içerik var.

Daha önce yaşadığım bir tecrübeyi örnek vermek istiyorum. Müşterimin her gün güncellenmesi gereken içerik sayfaları mevcuttu ve bu sayfa sayısı az değil, günde +500 sayfa. Her gün +500 sayfanın başlığını değiştirdiğinizi düşünün. Google arama sonuçlarında dünün indexi gözüktüğünde tıklama oranı çok düşük oluyor. Fakat her gün güncel index ile yenilenirse tıklama oranı iki katına çıkıyordu. Bu bizim için çok önemli bir konuydu.

PageSpeed'i nasıl artırırız ve Googlebot'un daha fazla sayfayı taramasını hedefleyelim diyerek çalışmalara başladık. Sayfa yüklenme anında dışarıdan çağrılan, sunucuda bulunan tüm kodları ve dosyaları inceledik ve optimize ettik. Bu çalışma bize Googlebot'un "bir sayfayı indirmek için harcanan zaman"ının azalmasını kazandırdı.

Aşağıdaki görsele baktığımızda "bir sayfayı indirmek için harcanan zaman" grafiğinin düşüşte olduğunu görüyoruz. "Günlük taranan sayfa sayısı" grafiğine baktığımızda alttaki grafikle ters orantılı şekilde yükseldiğini görüyoruz.

Grafiği özetleyecek olursak: Googlebot'un sayfa başı harcadığı zaman düşerse taradığı sayfa sayısı artıyor.

Sitenizdeki Gereksiz Sayfalardan Kurtulun

Özellikle e-ticaret sitelerinde gereksiz içerik sayfaları, gereksiz parametreler, duplicate algılanacak ürünler gibi birçok gereksiz ve crawl bütçesini kötüye kullanan sayfa var. Gereksiz sayfaları en aza indirmek için noindex ve canonical etiketlerini kullanmak en sağlıklısı olabilir.

Gereksiz sayfalarınızdan kurtulduğunuzda ve Google index'ten kaldırmak istediğinizde tüm bu sayfaları bir dosyada toplayın ve geçici sitemap oluşturun. Google'a gönderin ve indexlerin kaldırılmasını hızlandırmış olacaksınız. Bunun yanında robots.txt ile de gereksiz sayfaları engelleyebilirsiniz. Son adım olarak geçici sitemap dosyanızı Search Console'dan kaldırabilirsiniz.

Yönlendirmeleri Kontrol Edin

Gereksiz sayfalardan kurtulurken birçok sayfaya yönlendirme eklenebiliyor. Hele ki sitenizin yüz binlerce ürün veya alt sayfası varsa yönlendirilen URL'lerin kontrolü zorlaşabiliyor. Şöyle durumlarla karşılaşabiliyoruz: A sayfası B sayfasına yönleniyor. 1 ay sonra B, C sayfasına yönleniyor. Bu şekilde yönlendirme sayıları arttıkça zincirleme yönlendirmeler de artıyor.

Bu zincirleme yönlendirmeleri en aza indirmeyi deneyebilirsiniz. Örneğin B, C sayfasına yönlendirildiğinde A sayfasını da B'ye uğramadan direkt C sayfasına yönlendirebilirsiniz.

404 Sayfalarda Canonical Etiketi Kullanmayın

Bu duruma daha çok içeride yazılım geliştiren firmalarda rastlıyoruz. WordPress veya büyük e-ticaret sistemlerinde karşılaşılmıyor fakat 404 sayfalarında "canonical" etiketi kullanmak birçok 404 sayfasının indexlenmesine yol açabilir. 404 sayfalarında "canonical" etiketi kullanıyorsanız ve "noindex" etiketi kullanmıyorsanız aşağıdaki gibi gereksiz indexler görebilirsiniz.

Crawl Bütçenizi Analiz Edin

Crawl bütçenizi optimize ettiniz, peki nasıl ölçeceksiniz?

• Googlebot sayfaya ne sıklıkla geliyor
• En çok hangi sayfayı tarıyor
• X sayfasını tararken ne kadar veri indiriyor

Bu analizi ve soruları cevaplayabilmek için sunucunun günlük verilerini analiz etmeniz gerekiyor. Excel'de tablolar oluşturarak anlamlandırabilirsiniz fakat önerim araç kullanmak olacaktır.

Analiz için Splunk, Logentries veya Stackify araçlarını kullanabilirsiniz.

Log analizi kısmı başlı başına bir konu. Sadece bu konu için bir içerik üretilebilir; talep olursa üretebilirim.