Search Console’da yer alan Dizin raporu üzerinden sayfalarınız ve videolarınız için taranabilirlik ve indekslenebilirlik ile ilgili detayları görüntülemek mümkün. Sitenizdeki URL’lerin taranamaması veya indekslenmemesi durumlarına neden olan sebepler, bu rapor içerisinde detaylarıyla birlikte listelenmekte. Hazırladığım bu içerikte, Search Console’daki Dizin bölümünde yer alan Dizin raporu içerisindeki “Sayfa Sayısı” sekmesinde görüntülenebilen taranabilirlik ve indekslenebilirlik uyarılarını, hatalarını ve çözümlerini bir arada derledim.
Dizine Ekleme Nasıl Gerçekleşir?
Googlebot’un bir URL’i keşfetmesi, URL’e istek atarak tarama gerçekleştirmesi ve devamında Google arama sonuçlarından kullanıcılara servis etmek amacıyla dizine eklemesi genel olarak 4 ana aşamada gerçekleşir. Googlebot, bir URL’i harici bir internet sitesinden verilen bağlantı üzerinden ya da ilgili sitenin site haritasını tarar ve dizine ekleme sürecinin ilk aşaması olan Keşfetme (Discovering) süreci başlar. Keşfetme aşamasından sonra herhangi bir hata olmaması durumunda URL’ler tarama sırasına alınır ve ikinci adım olan Tarama (Crawling) süreci başlar. Bir URL’in taramasını engelleyen (sunucu problemleri, Robots.txt engellemeleri, render sorunları vb.) herhangi bir sorun olmaması durumunda da Tarama gerçekleşir ve son adım olarak sayfanın Dizine Ekleme (Indexing) süreci başlar.
Sayfanın dizine eklenmesini engelleyen herhangi bir problem olmaması durumunda da dizine ekleme gerçekleşir. Son adımda da dizine eklenen URL’ler için Servis Etme (Serving) aşaması da tamamlanır ve URL’ler Google arama sonuçları üzerinden kullanıcılara servis edilir.
Search Console Dizin Raporu Ne İşe Yarar?
Search Console’da sol menüdeki “Dizin” başlıklı bölümde yer alan “Sayfa Sayısı” sekmesinde sayfalarınızla ilgili çeşitli taranabilirlik ve indekslenebilirlik verileri yer almaktadır. Tam olarak “Sayfa Sayısı, Video Sayfaları, Site Haritaları ve URL Kaldırma” sekmelerinin yer aldığı Dizin bölümünde görebileceğiniz “Sayfa Sayısı” sekmesinde, sayfalarınızın keşfedilme, taranma ve indekslenme durumlarıyla ilgili uyarı mesajları ve hatalar listelenmektedir. Bu bölümde Google’ın başarıyla taradığı ve dizine eklediği URL’lerinizi görüntüleyebiliyorken aynı zamanda Googlebot’un istek atması sonrasında taranamayan veya tarama gerçekleşse de çeşitli sebeplerden ötürü dizine eklenmeyen sayfalarınızı görüntüleyebilir, sayfalarınızın hangi sebepten dolayı taranamadığını veya indekslenmediğini detaylı bir şekilde inceleyebilirsiniz.
Dizin Raporu’ndaki Uyarılar, Hatalar ve Çözümleri
Dizin raporu içerisinde pek çok farklı kategoride uyarı ve hata görebilirsiniz. Burada farklı kategorilere ayrılmış olan uyarı ve hatalar, sayfalarınızın Googlebot tarafından keşfedildikten veya tarandıktan sonra karşılaşılan durumlara göre değişmektedir. Genel olarak baktığımızda bu rapor üzerinde keşfetme, tarama ve indeksleme konularında uyarı mesajları ve hatalar listelenmektedir. Yazının geri kalanında bu raporda sunulan uyarı mesajlarının ve hataların ne olduğunu ve bu hataların çözümlerini basit ve anlaşılır şekilde anlatmaya çalıştım.
“Sayfalar neden dizine eklenmiyor?” ve “Sayfa görünümünü iyileştirme” başlıklı iki ana bölüme ayrılan “Sayfayı Dizine Ekleme Raporu“nda genel olarak aşağıdaki uyarı ve hatalarlar karşılaşılır. İki bölümde de URL’lerle ilgili taranabilirlik ve indekslenebilirlik sorunları nedenleriyle birlikte alt alta açılır sekmelerle listelenmektedir.
“Sayfalar neden dizine eklenmiyor?” başlığı altında genel olarak aşağıdaki uyarı mesajları listelenmektedir:
Robots.txt tarafından engellendi
Bildiğiniz üzere Robots.txt dosyanızda kullanmış olduğunuz Disallow komutları ile doğrudan bir URL’in, bir dizinin veya birden fazla URL’in Googlebot tarafından taranmasını engelleyebiliyorsunuz. Bu durumda Google da Search Console’daki Dizin raporu üzerinde size bu durumla ilgili “Robots.txt tarafından engellendi” şeklinde bir uyarı mesajı gösteriyor. Uyarı mesajının üzerine tıkladığınızda da hangi URL’lerinizin bu engellemeden dolayı taranamadığını görebiliyorsunuz.
Çözüm: Bu mesaj her zaman için çözülmesi gereken bir hata mesajı değildir. Google burada sadece Robots.txt komutlarınızdan dolayı taranamayan URL’leriniz olduğunu size bildirir. Burada yapmanız gereken tek şey, Robots.txt engellemelerinden etkilenen URL’leriniz arasında hesapta olmayan ve sizin için önemli olan bir URL’inizin olup olmadığını kontrol etmektir. Zira Robots.txt dosyasına eklenen Disallow komutlarının hatalı yazılması oldukça sık karşılaşılan bir sorundur ve bu hata nedeniyle oldukça önemli URL’lerin taranamaması mümkündür. Yaptığınız değişiklik sonrasında URL’lerinizin tekrar değerlendirilmesi için “Düzeltmeyi Doğrula” butonuyla Google’a bir inceleme talebi gönderebilirsiniz.
Başka bir 4xx sorunu nedeniyle engellendi
Bu hatayı gördüğünüz URL’leriniz, Google’ın Search Console’da listelemiş olduğu 4xx hatalarından farklı bir kategoride 4xx sorununa sahip olabilir. Örneğin bir URL’iniz 404 yanıt koduna sahipse bunu Search Console’da görüntüleyebilirsiniz fakat bir URL’iniz 405, 406 veya 408 gibi çeşitli 4xx hatalarına sahipse, Google bunu ayrı olarak Search Console’da göstermez ve bu durumdan etkilenen URL’ler “Başka bir 4xx sorunu nedeniyle engellendi” sekmesinin içerisinde gösterilir.
Çözüm: İlk olarak bu sorundan etkilenen URL’leriniz için URL Denetim Aracı üzerinden yeni bir test yaparak Googlebot’un sayfayı taradığında hangi yanıtı gördüğünü ve bu yanıtın neyden kaynaklandığını tespit etmeniz gerekir. Daha sonrasında da ilgili URL’lerin yeniden 200 HTTP yanıtını vermesi için gerekli aksiyonların alınması gerekmektedir. Buradaki sorundan etkilenen URL’leriniz için aldığınız aksiyonlar sonrasında URL’lerinizdeki sorunları çözdüğünüzü Google’a “Düzeltmeyi Doğrula” butonuyla bildirebilirsiniz.
Keşfedildi – şu anda dizine eklenmiş değil
Googlebot, sitenizdeki URL’leri farklı kaynaklar üzerinden keşfedebilir. Keşfetme aşaması, URL’lerinizin harici sitelerden aldığı bağlantılar yardımıyla, sosyal medya platformlarından sitenize gelen bağlantılar üzerinden veya Search Console’dan Google’a gönderdiğiniz site haritanız üzerinden gerçekleşebilir. Fakat her keşfedilen URL anında tarama sırasına alınmaz ve dizine eklenmez. Keşfedilen URL’lerin Googlebot tarafından taranması bir sonraki aşamada gerçekleşir ve bir URL’in taranması için Googlebot’un beklenmesi gerekir.
Çözüm: Bu uyarı mesajının görülmesi her zaman için bir hata olduğu anlamına gelmemektedir. Google bu mesaj ile birlikte aslında URL’lerinizin keşfedildiğini ve dizine eklemeye giden yoldaki ilk aşamanın tamamlandığını bildirir. Keşfedilen URL’lerinizin taranması ve dizine eklenmesi için yapabileceğiniz net bir aksiyon olmasa da genel olarak sayfalarınızın SEO kriterlerine uyumlu olmasını sağlamak, içerik kalitenizi üst seviyede tutmak ve Google’ın kalite yönergelerine uyumlu sayfalar servis etmek iyi bir adım olabilir.
Tarandı – şu anda dizine eklenmiş değil
Tıpkı keşfedilen URL’lerin anında taranmasının her zaman mümkün olmaması gibi taranan URL’lerinizin de anında dizine eklenmesi de her zaman mümkün değildir. Dizin raporunda görmüş olduğunuz bu mesaj, URL’lerinizin tarandığını fakat henüz Google’da dizine eklenmediği anlamına gelir. Bu uyarı mesajı içerisinde listelenen URL’lerinizin henüz dizine eklenmemesi için birçok sebep olabilir. Genel olarak bakıldığında site geneli tarama bütçesi sorunlarının bulunması, sorundan etkilenen URL’lerdeki içerik kalitesinin yetersiz olması, kopya içerik kullanımı ve bunlardan hariç olarak Googlebot’un sayfayı dizine eklemek için yeteri kadar kaliteli bulmaması olarak değerlendirilir. Eğer yüksek sayıda URL’iniz bu sorundan etkileniyor ve dizine eklenmiyorsa sitenizin organik trafik kazanımına ciddi bir engel demektir.
Çözüm: Site genelinde tarama bütçesi yönetimi aksiyonlarını belirleyerek Googlebot’u verimsiz sayfalar yerine SEO performansınız için önemli olan değerli sayfalarınıza yönlendirmeniz gerekir. Tarama bütçesi yönetimi aksiyonlarınız sonrasında taranıp dizine eklenmeyen sayfalarınız olsa bile bu sayfalar sizin için zaten SEO tarafında bir önemi olmayan sayfalarınız olacak. İkinci olarak sorundan etkilenen URL’leriniz için bir içerik denetimi yapmanız da tavsiye edilir. Sayfalarınızdaki içerik zayıf ve yetersiz seviyedeyse içerikler mutlaka güçlendirilmeli ve zenginleştirilmelidir. Ayrıca sayfalarınızda kopya içerik kullanımı mevcutsa ya da yalnızca Googlebot’u hedeflemek için hazırlanan içeriklere sahipseniz de yine bu sayfalarınız için içeriklerinizi revize etmeniz gerekir.
“noindex” etiketi tarafından hariç tutuldu
Dizin raporunda gördüğünüz bu mesaj, bir hatadan dolayı görünmez ve site sahibini bilgilendirmek için gösterilmektedir. Bildiğiniz üzere noindex etiketi sayfanın arama sonuçlarında listelenmemesi için Googlebot’a bilgi verir ve sayfa daha önceden indekslenmişse arama sonuçlarından kalkması ya da ilk defa indekslenecek durumdaysa da indekslenmesinin önüne geçilmek için kullanılır. Burada önemli olan nokta ““noindex” etiketi tarafından hariç tutuldu” sekmesine tıkladığınızda bu uyarı mesajına dahil olan URL’lerinizin hangi sayfalarınız olduğudur. Bu sekme içerisinde noindex etiketine sahip URL’leriniz arasında SEO performansınız açısından önemli olan bir sayfanız varsa bu ciddi bir sorundur. Önemli sayfalarda belli sebeplerden dolayı noindex etiketi unutmak sık karşılaşılan bir hatadır.
Çözüm: Bu bir uyarı mesajı olduğu için her zaman bir hata olarak sayılmaz ve bir çözüm aksiyonuna da her zaman gerek olmayabilir. Önemli olan tek nokta, ““noindex” etiketi tarafından hariç tutuldu” uyarısı içerisinde yer alan URL’ler arasında önemli URL’lerinizin olup olmadığıdır. Eğer önemli bir URL’iniz bu uyarıdan etkileniyorsa, ilgili URL’inizde yer alan noindex etiketini kaldırmanız gerekmektedir.
Erişim izni verilmemesi (403) nedeniyle engellendi
403 HTTP koduna sahip olan bu hata, bir URL’inize atılan istek sonrasında sunucunuzun ilgili URL’e erişimi yasaklaması durumunda oluşur. 403 hatasıyla gerçek bir kullanıcı da Googlebot da karşılaşabilmektedir ve istenen URL’e erişimin sunucu tarafından yasaklanarak engellendiği bilgisini sağlar. 403 hatasıyla karşılaşan Googlebot, taramak istediği sayfa için erişim izni alamadığından dolayı tarama gerçekleşmez ve ilgili URL Search Console’daki bu uyarının içerisinde gösterilir.
Çözüm: Sunucunuzdaki konfigürasyonlar üzerinden ilgili URL’ler için bir erişim düzenlemesi yapmanız gerekir. Yaptığınız düzenlemenin ardından Search Console’daki URL Denetim Aracı’nı kullanarak Googlebot’un URL’inizi taradığında hangi HTTP yanıtını aldığını kontrol edebilirsiniz. URL’lerinizdeki erişim sorununu düzeltmenizin ardından sorunun çözüldüğünü Google’a bildirmek için “Düzeltmeyi Doğrula” butonunu kullanabilirsiniz.
Bulunamadı (404)
Googlebot, bir URL’inize tarama isteği attığında HTTP yanıtında 404 görmesi durumunda sayfanızın artık bulunamadığını anlar ve başarısız bir tarama gerçekleşir. Dizin raporunda bu sekme içerisinde gördüğünüz URL’ler, dışarıdan verilen bir bağlantı sonrasında Googlebot’un keşfetmesiyle oluşan veya sitenizde daha önceden oluşmuş fakat şu anda bulunmayan URL’leri ifade eder. Herhangi bir ek aksiyon almadığınız sürece, Googlebot bir kere keşfettiği bir 404 URL için belli aralıklarla tekrar tarama gerçekleştirir ve URL’in durumunu kontrol eder. Zaman geçtikçe üst üste 404 yanıtı alınan bir URL için tarama sıklığı düşse de, Googlebot’a bir URL’i artık kalıcı olarak taramaması gerektiğini belirtmenin bir yolu yoktur. Son olarak, bu uyarı içerisinde gördüğünüz URL’leriniz eğer belli bir plan dahilinde 404 olarak bıraktığınız sayfalar ise bu uyarı mesajını göz ardı edebilirsiniz.
Çözüm: Bu sekme içerisinde gördüğünüz 404 URL’ler arasında farklı bir URL’e taşıdığınız sayfalar mevcutsa, 404 URL’lerinizin yeni adreslerine yönlenebilmesi için 301 yönlendirme uygulamanız tavsiye edilir. Yapacağınız 301 yönlendirmeyle birlikte hem gerçek kullanıcıları hem de Googlebot’u yeni ve çalışan bir URL’e yönlendirebilirsiniz. Ayrıca yaptığınız 301 yönlendirme, eski URL’inizin sahip olduğu Google dizinin yeni URL ile değişmesini, otoritenin ve backlink katkısının da yeni URL’e aktarılmasını sağlar. 404 hatasına sahip olan URL’leriniz için gerekli yönlendirme aksiyonlarını tamamladıktan sonra ilgili URL’lerinizin kontrol edilmesi için “Düzeltmeyi Doğrula” butonuyla Google’a bir inceleme talebi gönderebilirsiniz.
Soft 404
Soft 404, 200 yanıtına sahip bir sayfanın içeriğinin boş olması durumunda veya sayfa görünümünün bir 404 sayfasıyla aynı olmasına sahip olması durumunda gösterilen bir uyarıdır. HTTP 200 yanıt koduna sahip bir sayfanın teknik bir hatadan dolayı yüklenememesi, sayfanın Googlebot tarafından render edilememesi, içeriğinin boş olarak yüklenmesi ya da tasarımsal olarak bir 404 sayfası gibi kullanıcılara 404 hata mesajı göstermesi durumlarında Google tarafından Soft 404 olarak işaretlenmesi sağlanır. Soft 404 olarak işaretlenen sayfalar için dizine ekleme gerçekleşmez ve kullanıcılara arama sonuçlarında gösterilmez.
Çözüm: Dizin raporunda Soft 404 olarak işaretlenen URL’lerinizin çalışıp çalışmadığını kontrol ederek başlayabilirsiniz. Eğer bu sayfalar açılmıyorsa, URL’lerinizin içeriğinin yüklenmeme sebebini tespit etmeniz ve buna neden olan teknik/yazılımsal problemlerin giderilmesini sağlamanız gerekir. Eğer sayfalarınız açılıyor fakat sayfaların içeriği boş durumdaysa da bu sayfalarınızı kullanışlı hale getirmeniz gerekir. Son olarak sayfalarınız tıpkı bir 404 sayfası gibi davranarak “Bulunamadı” benzerinde bir hata mesajı gösteriyorsa da buna sebep olan durumu tespit etmeniz ve çözüme kavuşturmanız gerekir. URL’lerinizdeki sorunları çözdükten sonra Search Console üzerinden Soft 404 hatası için “Düzeltmeyi Doğrula” butonu yardımıyla Google’a değerlendirme talebi gönderebilirsiniz.
Sunucu hatası (5xx)
5xx hataları, bir sayfanın sunucu kaynaklı yaşanan problemlerden dolayı yüklenmesinin veya taranmasının mümkün olmadığı durumlarda bir uyarı mesajı olarak gösterilmektedir. Sunucunuzda yaşanan bir sorun, URL’lerinizin çalışmasına ve sayfalarınızın kullanılabilmesine engel olabilir. Bu durumda da sayfanızı tarayan Googlebot, HTTP yanıtı olarak 500 veya buna benzer bir yanıt alır. Sunucu probleminden dolayı taranamayan URL’leriniz dizine eklenmez ve Dizin raporu içerisindeki “Sunucu hatası (5xx)” içerisinde listelenir.
Çözüm: Sunucunuzda sayfalarınızın çalışmasını engelleyen problemin çözülmesi gerekmektedir. Sunucunuzda hatalı bir konfigürasyon dolayı, veritabanı bağlantı problemlerinden dolayı veya buna benzer sunucu kaynaklı sorunlardan dolayı URL’leriniz çalışmıyor olabilir. Bu problemin tespit edilip çözülmesi durumunda –farklı bir durum yaşanmadığı sürece– sayfalarınız HTTP 200 yanıt koduyla çalışır hale gelecektir. Sayfalarınızdaki 5xx sorunlarını çözüme kavuşturduktan sonra Search Console üzerinden “Düzeltmeyi Doğrula” butonunu kullanarak Google’a sorunu çözdüğünüzü bildirebilir ve yeniden incelenmesini sağlayabilirsiniz.
Yönlendirmeli sayfa
Yönlendirmeli sayfa uyarısı, farklı yönlendirme problemlerinin neden olabileceği bir uyarı mesajıdır. Bir URL’e istek atıldıktan sonra ilgili URL sizi başka bir URL’e yönlendirebilir. Eğer bu yönlendirme çok uzunsa ve son URL’e ulaşana kadar arada birçok yönlendirme uygulanıyorsa zincirin sonundaki URL’e ulaşmak zorlaşır ve Googlebot’un tarama işlemini sağlıklı bir şekilde tamamlaması da güçleşir. Bu durumda da tarama gerçekleşmez ve bu sorunun yaşandığı URL, Dizin raporundaki “Yönlendirmeli sayfa” sekmesine yazılır. Bu durumdan hariç olarak, bir URL’in sürekli olarak kendine yönlenerek sonsuz bir yönlendirme döngüsüne girmesi durumunda da yine bu sorunla karşı karşıya kalınabilir. Googlebot bu durumda da taramayı gerçekleştiremez ve ilgili URL yine Dizin raporundaki “Yönlendirmeli sayfa” sekmesinde listelenir.
Çözüm: Yönlendirmeli sayfa sorunundan etkilenen URL’leriniz için genel bir kontrol yapılması ve yönlendirme aşamaları kontrol edilmelidir. Eğer bir URL’iniz yönlendirme çeviriyorsa ve arada birçok yönlendirme varsa, bu durum “redirect chain (yönlendirme zinciri)“e sebep olur ve tarama zorlaşır. Bu nedenle, yönlendirme çeviren URL’lerinizin her zaman tek bir yönlendirmeyle hedef URL’e yönlenmesi gerekmektedir. Ayrıca kendi kendine yönlenen URL’leriniz mevcutsa yine bu URL’lerinizde de yönlendirmenin kaldırılması ve sayfanın çalışıp çalışmadığı ve taranmaya uygun olup olmadığı kontrol edilmelidir. Sorunlarınızı çözüme kavuşturduktan sonra uyarı sayfasında “Düzeltmeyi Doğrula” butonuna tıklayarak Google’dan yeniden değerlendirme yapmasını ve URL’leriniz için tekrar tarama gerçekleştirmesini isteyebilirsiniz.
Yeniden yönlendirme hatası
Yukarıdaki sorundan hariç olarak bir URL’iniz için “Yeniden yönlendirme hatası” uyarı mesajını görüyorsanız, bu durum yaptığınız bir URL yönlendirmesinde hedef sayfanın çalışmadığını belirtmektedir. Örneğin A sayfasını B sayfasına yönlendirdiyseniz ve hedef URL olan B sayfası 404 durumundaysa bu senaryoda A sayfası, Search Console’daki Dizin raporunda “Yeniden yönlendirme hatası” içerisinde listelenecek ve bir uyarı gösterilecektir.
Çözüm: Yaptığınız URL yönlendirmelerinde eğer hedef URL çalışmıyorsa, buradaki yönlendirmeleri kaldırıp başlangıç URL’lerinizi çalışan ve sorunsuz şekilde taranabilen URL’lerinize yönlendirmeniz gerekmektedir. Bu aksiyon sonrasında Dizin raporu üzerinden “Düzeltmeyi Doğrula” butonuna tıklayarak Google’a sorunu çözdüğünüzü bildirebilirsiniz.
Doğru standart etikete sahip alternatif sayfa
Dizin raporu içerisinde görmüş olduğunuz “Doğru standart etikete sahip alternatif sayfa” adlı uyarı mesajı, herhangi bir hata değildir ve ortada çözülmesi gereken bir sorun yoktur. Bu mesaj içerisinde görmüş olduğunuz URL’leriniz için doğru Canonical URL kullanımı yaptığınız bilgisi aktarılmaktadır.
Çözüm: Canlı sitenizde de bu rapor içerisinde yer alan URL’lerinizde hatalı bir Canonical URL kullanımı yoksa herhangi bir problem yoktur. Fakat canlı sitede bu URL’leriniz için Canonical etiketleriniz farklıysa ve bu bir SEO stratejisi dahilinde planlanmadıysa, sayfalarınızın Canonical URL’lerine müdahale etmeniz ve doğru Canonical URL’i kullanacak şekilde düzenleme yapmanız gerekir.
Kullanıcı tarafından seçilen standart sayfa olmadan kopya
Bu uyarı içerisinde listelenen URL’ler, Googlebot’un tarama gerçekleştirdiği fakat içeriğinin kopya olması ya da başka bir sayfayla çok benzer olması durumundan dolayı dizine eklemediği sayfalardır. Eğer URL’lerinizde kopya/benzer içerik durumu yoksa ve halen bu uyarı mesajı içerisinde gösteriliyorsa, URL’lerinizde Canonical etiketinin kullanılmadığı anlamına gelir.
Çözüm: Eğer sayfalarınızdaki içerik kopya veya başka bir sayfa ile çok benzerse, bu sayfalar için içerik düzenlemeleri yapmanız gerekmektedir. Eğer sorun içerik problemlerinden dolayı kaynaklanmıyorsa da sayfalarınızda bir Canonical URL olup olmadığını kontrol etmeniz gerekir. Eğer bu URL’lerinizde bir Canonical URL kullanımı bulunmuyorsa, URL’leriniz için doğru Canonical URL kullanımı yaparak sorunu aşabilirsiniz. Yaptığınız düzenlemeler sonrasında Google’ın URL’lerinizi kontrol etmesi için “Düzeltmeyi Doğrula” butonuna tıklayarak doğrulama sürecini başlatabilirsiniz.
Kopya, Google kullanıcıdan farklı bir standart sayfa seçti
Sitenizdeki URL’lerde geçerli bir Canonical URL kullansanız da bazı durumlarda Googlebot yaptığı taramadan sonra belirttiğiniz Canonical URL’i es geçer ve sitenizdeki başka benzer bir sayfanın daha uygun olduğunu düşünerek davranır. Bu durumda da tarama yaptığı URL yerine kendi tercih etmiş olduğu URL’i dizine ekler. Özellikle içerik benzerliği durumunun olduğu sitelerde karşılaşılan bir uyarı mesajıdır. Örneğin “8 Ekim 2022 Döviz Kuru” ve “9 Ekim 2022 Döviz Kuru” adlı iki sayfanın var olduğunu düşünelim. Bu iki sayfa içerik bakımından çok benzer olacağı için Googlebot yaptığı tarama sonrasında bu iki sayfayı da dizine eklemeyebilir. Bu uyarı mesajında olduğu gibi kendisin bir tercih yaparak uygun gördüğü URL için dizine ekleme gerçekleştirebilir. Ayrıca bu uyarı mesajıyla Canonical URL’lerin doğru tercih edilmediği durumlarda da karşılaşılır ve önemli sayfaların dizine eklenmesine engel olabilir.
Çözüm: Öncelikle URL’lerinizde kullandığınız Canonical URL’lerin sayfalarınız için gerçekten en iyi Canonical URL tercihi olup olmadığını kontrol edebilirsiniz. Eğer bu noktada herhangi bir problem yoksa ve Canonical URL’leriniz olması gerektiği gibiyse, sorunun yaşandığı sayfalarınız için site genelinde inceleme yaparak içerik benzerliği durumunun olup olmadığını kontrol edebilirsiniz. Yaptığınız değişikliklerin ardından sorunun çözüldüğünü Google’a bildirmek için “Düzeltmeyi Doğrula” butonunu kullanabilirsiniz.
“Sayfa görünümünü iyileştirme” başlığı altında genel olarak aşağıdaki uyarı mesajları listelenmektedir:
Robots.txt tarafından engelleniyor olsa da dizine eklendi
Dizin raporunda “Sayfa görünümünü iyileştirme” başlığı altında listenen bu uyarı mesajı, Robots.txt dosyası üzerinden Disallow komutu ile yapılan bir URL engellemesine rağmen URL’in tarandığını ve dizine eklendiğini bildirmektedir. Peki Robots.txt üzerinden Googlebot taramasına izin verilmeyen bir URL, nasıl oluyor da Googlebot tarafından taranabiliyor ve ayrıca dizine de eklenebiliyor? Google, bu durumu şöyle açıklamakta: Robots.txt dosyası üzerinden bir URL için tarama engeli olsa da, harici bir siteden bu URL’e bir bağlantı verildiğinde Googlebot bu bağlantıyı takip eder ve dizine ekleme gerçekleştirir.
Çözüm: Robots.txt üzerinden engellediğiniz URL’lerinizin dizine eklenmemesi için ilgili URL’lere “noindex” etiketi de eklemeniz gerekmektedir. Böylece sayfanızda kullandığınız noindex etiketi, URL’inizin dizine eklenmesinin kesin olarak önüne geçecektir.
Sayfa içerik olmadan dizine eklendi
Özellikle teknik hatalardan dolayı içeriği yüklenemeyen sayfalar için karşılaşılan bu uyarı mesajı, bir sayfanın içeriğinin Googlebot tarafından render edilemediği / okunamadığı durumlarda gösterilmektedir. Sayfa içeriği Googlebot tarafından okunamasa da dizine ekleme gerçekleşir ve kullanıcılara arama sonuçları üzerinden servis edilir.
Çözüm: Bu uyarı mesajı içerisinde gösterilen URL’lerinizdeki yüklenme sorunlarının tespit edilmesi ve çözülmesi gerekmektedir. Yaptığınız düzenlemeler sonrasında sayfa içeriğinizin Googlebot tarafından okunabilir olup olmadığını Search Console’daki URL Denetim Aracı üzerinden kontrol edebilirsiniz. Sayfalarınızdaki yüklenme sorunlarını çözdükten sonra URL’lerinizin tekrar incelenmesi için “Düzeltmeyi Doğrula” butonunu kullanabilirsiniz.
