SEO için Magento 2 robots.txt Dosyasını Yapılandırma

SEO, mağazanızın başarısı için önemli bir faktördür ve uygun şekilde yapılandırılmış bir robots.txt, arama motoru tarayıcılarının işini kolaylaştırmaya küçük bir katkıda bulunmaz.

robots.txt nedir?

Özetle, robots.txt, arama motoru tarayıcılarına neyi tarayabilecekleri ve neyi tarayamayacakları konusunda talimat veren bir dosyadır. Kök dizininizde bir robots.txt olmadan, mağazanıza gelen arama motoru tarayıcıları ellerinden gelen her şeyi tarar ve buna, arama motoru tarayıcılarının tarama bütçelerini boşa harcamasını istemediğiniz yinelenen veya önemsiz sayfalar da dahildir. Bir robots.txt dosyası bu sorunu çözebilmelidir.

Not : robots.txt dosyası, web sayfalarınızı Google'dan gizlemek için kullanılmamalıdır. Bunun yerine noindex meta etiketini bu amaç için kullanmalısınız.

Magento 2'deki varsayılan robots.txt talimatları

Varsayılan olarak, Magento tarafından oluşturulan robots.txt dosyası, web tarayıcısı için yalnızca bazı temel talimatları içerir.

 # Magento tarafından sağlanan varsayılan talimatlar
Kullanıcı aracısı: *
İzin verme: /lib/
İzin verme: /*.php$
İzin verme: /pkginfo/
İzin verme: /rapor/
İzin verme: /var/
İzin verme: /katalog/
İzin verme: /müşteri/
İzin verme: /sendfriend/
İzin verme: /incele/
İzin verme: /*SID=

Bu varsayılan talimatları oluşturmak için, Magento arka ucunuzdaki Arama Motoru Robotları yapılandırmasında Varsayılanlara Sıfırla düğmesine basın.

Magento 2'de neden özel robots.txt talimatları yapmanız gerekiyor?

Magento tarafından sağlanan varsayılan robots.txt talimatları, tarayıcılara sistem tarafından dahili olarak kullanılan belirli dosyaları taramaktan kaçınmalarını söylemek için gerekli olsa da, çoğu Magento mağazası için neredeyse yeterli değildir.

Arama motoru robotları, web sayfalarını taramak için yalnızca sınırlı miktarda kaynağa sahiptir. Taranacak binlerce, hatta milyonlarca URL'si olan bir site için (ki bu düşündüğünüzden daha yaygındır), taranması gereken içerik türüne (bir sitemap.xml ile) öncelik vermeniz ve alakasız içeriklere izin vermemeniz gerekir. sayfaların taranmasını engeller (bir robots.txt ile). İkinci kısım, robots.txt dosyanızda yinelenen, alakasız ve gereksiz sayfaların taranmasına izin verilmeyerek yapılır.

robots.txt yönergelerinin temel biçimi

robots.txt dosyasındaki talimatlar, teknik bilgisi olmayan kullanıcılar için uygun, tutarlı bir şekilde düzenlenmiştir:

 # Kural 1
Kullanıcı aracısı: Googlebot
İzin verme: /nogooglebot/

# Kural 2
Kullanıcı aracısı: *
İzin vermek: /

Site Haritası: https://www.example.com/sitemap.xml

• User-agent : kuralın ilgili olduğu belirli tarayıcıyı belirtir. Bazı yaygın kullanıcı aracıları Googlebot , Googlebot-Image , Mediapartners-Google , Googlebot-Video vb.'dir. Yaygın tarayıcıların kapsamlı bir listesi için Google tarayıcılarına genel bakış bölümüne bakın.

• Allow Ver ve Disallow : belirlenen tarayıcı(lar)ın erişebileceği veya erişemeyeceği yolları belirtin. Örneğin Allow: / , tarayıcının tüm siteye kısıtlama olmaksızın erişebileceği anlamına gelir.

• Sitemap : mağazanız için site haritasının yolunu belirtir. Site Haritası, arama motoru tarayıcılarına hangi içeriğe öncelik verileceğini söylemenin bir yoludur; robots.txt'deki içeriğin geri kalanı ise tarayıcılara hangi içeriği tarayabileceklerini veya tarayamayacaklarını söyler.

Ayrıca robots.txt dosyasında, yol değerleri için aşağıdakiler gibi birkaç joker karakter kullanabilirsiniz:

• * : user-agent girildiğinde, yıldız işareti (*) siteyi ziyaret eden tüm arama motoru tarayıcılarını (AdsBot tarayıcıları hariç) ifade eder. Allow / Disallow yönergelerinde kullanıldığında, herhangi bir geçerli karakterin 0 veya daha fazla örneği anlamına gelir (örneğin, Allow: /example*.css , /example.css ve ayrıca / example12345.css ile eşleşir).
• $ : bir URL'nin sonunu belirtir. Örneğin Disallow: /*.php$ , .php ile biten tüm dosyaları engeller.
• # : tarayıcıların görmezden geleceği bir yorumun başlangıcını belirtir.

Not : sitemap.xml yolu dışında, robots.txt dosyasındaki yollar her zaman görecelidir , bu da yolları belirtmek için tam URL'leri (ör. https://simicart.com/nogooglebot/) kullanamayacağınız anlamına gelir.

Magento 2'de robots.txt'yi yapılandırma

Magento 2 yöneticinizde robots.txt dosya düzenleyicisine erişmek için:

Adım 1 : İçerik > Tasarım > Yapılandırma'ya gidin

Adım 2 : İlk satırda Genel yapılandırmayı düzenleyin

3. Adım : Arama Motoru Robotları bölümünde özel talimatları düzenleyin

Önerilen robots.txt talimatları

İşte genel ihtiyaçlara uyması gereken önerilen talimatlarımız. Tabii ki, her mağaza farklıdır ve en iyi sonuçları elde etmek için ince ayar yapmanız veya birkaç kural eklemeniz gerekebilir.

 Kullanıcı aracısı: *

# Varsayılan talimatlar:
İzin verme: /lib/
İzin verme: /*.php$
İzin verme: /pkginfo/
İzin verme: /rapor/
İzin verme: /var/
İzin verme: /katalog/
İzin verme: /müşteri/
İzin verme: /sendfriend/
İzin verme: /incele/
İzin verme: /*SID=

# Kök dizindeki yaygın Magento dosyalarına izin verme:
İzin verme: /cron.php
İzin verme: /cron.sh
İzin verme: /error_log
İzin verme: /install.php
İzin verme: /LICENSE.html
İzin verme: /LICENSE.txt
İzin verme: /LICENSE_AFL.txt
İzin verme: /STATUS.txt

# Kullanıcı Hesabına İzin Verme & Ödeme Sayfaları:
İzin verme: /checkout/
İzin verme: /onestepcheckout/
İzin verme: /müşteri/
İzin verme: /müşteri/hesap/
İzin verme: /müşteri/hesap/giriş/

# Katalog Arama Sayfalarına İzin Verme:
İzin verme: /catalogsearch/
İzin verme: /catalog/product_compare/
İzin verme: /katalog/kategori/görünüm/
İzin verme: /katalog/ürün/görünüm/

# URL Filtresi Aramalarına İzin Verme
İzin verme: /*?dir*
İzin verme: /*?dir=desc
İzin verme: /*?dir=artan
İzin verme: /*?limit=tümü
İzin verme: /*?mode*

# CMS Dizinlerine İzin Verme:
İzin verme: /app/
İzin verme: /bin/
İzin verme: /dev/
İzin verme: /lib/
İzin verme: /phpserver/
İzin verme: /pub/

# Yinelenen İçeriğe İzin Verme:
İzin verme: /etiket/
İzin verme: /incele/
İzin verme: /*?*product_list_mode=
İzin verme: /*?*product_list_order=
İzin verme: /*?*product_list_limit=
İzin verme: /*?*product_list_dir=

# Sunucu Ayarları
# Bir sunucudaki genel teknik dizinlere ve dosyalara izin verme
İzin verme: /cgi-bin/
İzin verme: /cleanup.php
İzin verme: /apc.php
İzin verme: /memcache.php
İzin verme: /phpinfo.php

# Sürüm kontrol klasörlerine ve diğerlerine izin verme
İzin verme: /*.git
İzin verme: /*.CVS
İzin verme: /*.Zip$
İzin verme: /*.Svn$
İzin verme: /*.Idea$
İzin verme: /*.Sql$
İzin verme: /*.Tgz$

Site Haritası: https://www.example.com/sitemap.xml

Çözüm

Bir robots.txt dosyası oluşturmak, Magento SEO kontrol listesindeki birçok adımdan yalnızca biridir ve bir Magento mağazasını arama motorları için uygun şekilde optimize etmek, çoğu mağaza sahibi için kesinlikle kolay bir iş değildir. Bununla uğraşmak istemiyorsan, senin için her şeyi halledebiliriz. SimiCart'ta mağazanız için en iyi sonuçları garanti eden SEO ve hız optimizasyonu hizmetleri sunuyoruz.