Cara Mengonfigurasi File robots.txt Magento 2 untuk SEO

Diterbitkan: 2021-01-21

Daftar Isi

SEO adalah faktor penting untuk keberhasilan toko Anda, dan robots.txt yang dikonfigurasi dengan benar berkontribusi besar untuk membuat pekerjaan perayap mesin telusur menjadi lebih mudah.

Apa itu robots.txt?

Singkatnya, robots.txt adalah file yang menginstruksikan perayap mesin telusur tentang apa yang dapat atau tidak dapat dirayapi. Tanpa robots.txt di direktori root Anda, perayap mesin telusur yang melintasi toko Anda akan merayapi semua yang mereka bisa, dan ini termasuk laman duplikat atau tidak penting yang Anda tidak ingin perayap mesin telusur membuang anggaran perayapan mereka. Robots.txt seharusnya dapat mengatasi hal ini.

Catatan : File robots.txt tidak boleh digunakan untuk menyembunyikan halaman web Anda dari Google. Anda harus menggunakan tag meta noindex untuk tujuan ini.

Instruksi robots.txt default di Magento 2

Secara default, file robots.txt yang dihasilkan oleh Magento hanya berisi beberapa petunjuk dasar untuk perayap web.

 # Instruksi default disediakan oleh Magento
Agen pengguna: *
Larang: /lib/
Larang: /*.php$
Larang: /pkginfo/
Larang: /laporkan/
Larang: /var/
Larang: /catalog/
Larang: /pelanggan/
Larang: /sendfriend/
Larang: /review/
Larang: /*SID=

Untuk membuat instruksi default ini, tekan tombol Reset to Defaults di konfigurasi Search Engine Robots di backend Magento Anda.

Setel ulang ke instruksi robots.txt default

Mengapa Anda perlu membuat instruksi robots.txt khusus di Magento 2

Meskipun instruksi robots.txt default yang disediakan oleh Magento diperlukan untuk memberi tahu perayap untuk menghindari perayapan file tertentu yang digunakan secara internal oleh sistem, itu tidak cukup untuk sebagian besar toko Magento.

Robot mesin telusur hanya memiliki sumber daya yang terbatas untuk merayapi laman web. Untuk situs dengan ribuan atau bahkan jutaan URL untuk dirayapi (yang lebih umum daripada yang Anda kira), Anda harus memprioritaskan jenis konten yang perlu dirayapi (dengan sitemap.xml) dan melarang yang tidak relevan halaman agar tidak dirayapi (dengan robots.txt). Bagian terakhir dilakukan dengan melarang halaman duplikat, tidak relevan, dan tidak perlu dirayapi di robots.txt Anda.

Format dasar perintah robots.txt

Instruksi di robots.txt ditata secara koheren, ramah bagi pengguna non-teknis:

 # Aturan 1
Agen-pengguna: Googlebot
Larang: /nogooglebot/

# Aturan 2
Agen pengguna: *
Mengizinkan: /

Peta Situs: https://www.example.com/sitemap.xml
  • User-agent : menunjukkan perayap khusus yang menjadi tujuan aturan tersebut. Beberapa agen pengguna umum adalah Googlebot , Googlebot-Image , Mediapartners-Google , Googlebot-Video , dll. Untuk daftar lengkap perayap umum, lihat Ikhtisar perayap Google.
  • Allow & Disallow : tentukan jalur yang dapat atau tidak dapat diakses oleh perayap yang ditunjuk. Misalnya, Allow: / berarti crawler dapat mengakses seluruh situs tanpa batasan.
  • Sitemap : menunjukkan jalur ke peta situs untuk toko Anda. Peta Situs adalah cara untuk memberi tahu perayap mesin telusur konten apa yang harus diprioritaskan, sedangkan konten lainnya di robots.txt memberi tahu perayap konten apa yang bisa atau tidak bisa dirayapi.

Juga di robots.txt, Anda dapat menggunakan beberapa karakter pengganti untuk nilai jalur seperti:

  • * : Ketika dimasukkan ke dalam user-agent , tanda bintang (*) mengacu pada semua crawler mesin pencari (kecuali crawler AdsBot) yang mengunjungi situs. Ketika digunakan dalam perintah Allow / Disallow , itu berarti 0 atau lebih instance dari setiap karakter yang valid (misalnya, Allow: /example*.css cocok dengan /example.css dan juga / example12345.css ).
  • $ : menunjukkan akhir dari sebuah URL. Misalnya, Disallow: /*.php$ akan memblokir semua file yang diakhiri dengan .php
  • # : menunjukkan awal komentar, yang akan diabaikan oleh perayap.

Catatan : Kecuali untuk jalur sitemap.xml, jalur di robots.txt selalu relatif , yang berarti Anda tidak dapat menggunakan URL lengkap (misalnya, https://simicart.com/nogooglebot/) untuk menentukan jalur.

Mengonfigurasi robots.txt di Magento 2

Untuk mengakses editor file robots.txt, di admin Magento 2 Anda:

Langkah 1 : Buka Konten > Desain > Konfigurasi

Langkah 2 : Edit konfigurasi Global di baris pertama

Edit konfigurasi desain global

Langkah 3 : Di bagian Robot Mesin Pencari, edit instruksi khusus

Edit instruksi khusus file robots.txt

Petunjuk robots.txt yang direkomendasikan

Berikut adalah petunjuk yang kami rekomendasikan yang harus sesuai dengan kebutuhan umum. Tentu saja, setiap toko berbeda dan Anda mungkin perlu mengubah atau menambahkan beberapa aturan lagi untuk hasil terbaik. 

 Agen pengguna: *

# Instruksi bawaan:
Larang: /lib/
Larang: /*.php$
Larang: /pkginfo/
Larang: /laporkan/
Larang: /var/
Larang: /catalog/
Larang: /pelanggan/
Larang: /sendfriend/
Larang: /review/
Larang: /*SID=

# Larang file Magento umum di direktori root:
Larang: /cron.php
Larang: /cron.sh
Larang: /error_log
Larang: /install.php
Larang: /LICENSE.html
Larang: /LICENSE.txt
Larang: /LICENSE_AFL.txt
Larang: /STATUS.txt

# Larang Akun Pengguna & Halaman Checkout:
Larang: /checkout/
Larang: /onestepcheckout/
Larang: /pelanggan/
Larang: /pelanggan/akun/
Larang: /pelanggan/akun/login/

# Larang Halaman Pencarian Katalog:
Larang: /catalogsearch/
Larang: /catalog/product_compare/
Larang: /catalog/category/view/
Larang: /catalog/product/view/

# Larang Pencarian Filter URL
Larang: /*?dir*
Larang: /*?dir=desc
Larang: /*?dir=asc
Larang: /*?limit=all
Larang: /*?mode*

# Larang Direktori CMS:
Larang: /app/
Larang: /bin/
Larang: /dev/
Larang: /lib/
Larang: /phpserver/
Larang: /pub/

# Larang Konten Duplikat:
Larang: /tag/
Larang: /review/
Larang: /*?*product_list_mode=
Larang: /*?*product_list_order=
Larang: /*?*product_list_limit=
Larang: /*?*product_list_dir=

# Pengaturan Server
# Larang direktori teknis umum dan file di server
Larang: /cgi-bin/
Larang: /cleanup.php
Larang: /apc.php
Larang: /memcache.php
Larang: /phpinfo.php

# Larang folder kontrol versi dan lainnya
Larang: /*.git
Larang: /*.CVS
Larang: /*.Zip$
Larang: /*.Svn$
Larang: /*.Idea$
Larang: /*.Sql$
Larang: /*.Tgz$

Peta Situs: https://www.example.com/sitemap.xml

Kesimpulan

Membuat file robots.txt hanyalah salah satu dari banyak langkah dalam daftar periksa SEO Magento—dan untuk mengoptimalkan toko Magento dengan benar untuk mesin telusur tentu bukan tugas yang mudah bagi sebagian besar pemilik toko. Jika Anda tidak ingin berurusan dengan ini, kami dapat mengurus semuanya untuk Anda. Di SimiCart, kami menyediakan layanan SEO dan pengoptimalan kecepatan yang menjamin hasil terbaik untuk toko Anda.

BELAJARLAH LAGI