วิธีกำหนดค่าไฟล์ Magento 2 robots.txt สำหรับ SEO

SEO เป็นปัจจัยสำคัญต่อความสำเร็จของร้านค้าของคุณ และ robots.txt ที่กำหนดค่าอย่างเหมาะสมไม่ได้มีส่วนเล็กน้อยในการทำให้งานของโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาง่ายขึ้น

robots.txt คืออะไร

โดยสรุป robots.txt เป็นไฟล์ที่สั่งโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่าสามารถหรือไม่สามารถรวบรวมข้อมูลอะไรได้บ้าง หากไม่มี robots.txt ในไดเร็กทอรีรากของคุณ โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาที่มาในร้านค้าของคุณจะรวบรวมข้อมูลทุกอย่างที่ทำได้ ซึ่งรวมถึงหน้าที่ซ้ำกันหรือไม่สำคัญที่คุณไม่ต้องการให้โปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาใช้งบประมาณในการรวบรวมข้อมูลไปโดยเปล่าประโยชน์ robots.txt ควรจะสามารถแก้ไขปัญหานี้ได้

หมายเหตุ : ไม่ควรใช้ไฟล์ robots.txt เพื่อซ่อนหน้าเว็บของคุณจาก Google คุณควรใช้เมตาแท็ก noindex เพื่อจุดประสงค์นี้แทน

คำสั่งเริ่มต้นของ robots.txt ใน Magento 2

โดยค่าเริ่มต้น ไฟล์ robots.txt ที่สร้างโดย Magento จะมีเพียงคำแนะนำพื้นฐานบางประการสำหรับโปรแกรมรวบรวมข้อมูลเว็บ

 # คำแนะนำเริ่มต้นโดย Magento
ตัวแทนผู้ใช้: *
ไม่อนุญาต: /lib/
ไม่อนุญาต: /*.php$
ไม่อนุญาต: /pkginfo/
ไม่อนุญาต: /รายงาน/
ไม่อนุญาต: /var/
ไม่อนุญาต: /แคตตาล็อก/
ไม่อนุญาต: /ลูกค้า/
ไม่อนุญาต: /sendfriend/
ไม่อนุญาต: /review/
ไม่อนุญาต: /*SID=

ในการสร้างคำแนะนำเริ่มต้นเหล่านี้ ให้กดปุ่ม รีเซ็ตเป็นค่าเริ่ม ต้นในการกำหนดค่า Search Engine Robots ในแบ็กเอนด์ Magento ของคุณ

ทำไมคุณต้องสร้างคำสั่ง robots.txt แบบกำหนดเองใน Magento 2

แม้ว่าคำสั่งเริ่มต้นของ robots.txt ที่จัดทำโดย Magento นั้นจำเป็นต้องบอกโปรแกรมรวบรวมข้อมูลเพื่อหลีกเลี่ยงการรวบรวมข้อมูลไฟล์บางไฟล์ที่ระบบใช้ภายใน แต่ก็ไม่เพียงพอสำหรับร้านค้า Magento ส่วนใหญ่

โรบ็อตของเครื่องมือค้นหามีทรัพยากรจำนวนจำกัดสำหรับการรวบรวมข้อมูลหน้าเว็บเท่านั้น สำหรับเว็บไซต์ที่มี URL นับพันหรือหลายล้านรายการให้รวบรวมข้อมูล (ซึ่งเป็นเรื่องปกติมากกว่าที่คุณคิด) คุณจะต้องจัดลำดับความสำคัญของประเภทเนื้อหาที่จำเป็นต้องรวบรวมข้อมูล (ด้วย sitemap.xml) และไม่อนุญาต หน้าเว็บจากการรวบรวมข้อมูล (ด้วย robots.txt) ส่วนหลังทำได้โดยไม่อนุญาตให้มีการรวบรวมข้อมูลหน้าที่ซ้ำกัน ไม่เกี่ยวข้อง และไม่จำเป็นใน robots.txt ของคุณ

รูปแบบพื้นฐานของคำสั่ง robots.txt

คำแนะนำใน robots.txt มีการจัดวางในลักษณะที่สอดคล้องกัน เป็นมิตรกับผู้ใช้ที่ไม่ใช่ด้านเทคนิค:

 #กฎข้อ 1
ตัวแทนผู้ใช้: Googlebot
ไม่อนุญาต: /nogooglebot/

#กฎข้อ2
ตัวแทนผู้ใช้: *
อนุญาต: /

แผนผังเว็บไซต์: https://www.example.com/sitemap.xml

• User-agent : ระบุโปรแกรมรวบรวมข้อมูลเฉพาะที่ใช้สำหรับกฎ User Agent ทั่วไปบางตัว ได้แก่ Googlebot , Googlebot-Image , Mediapartners-Google , Googlebot-Video เป็นต้น สำหรับรายการโปรแกรมรวบรวมข้อมูลทั่วไปโดยละเอียด โปรดดูภาพรวมของโปรแกรมรวบรวมข้อมูลของ Google

• Allow & Disallow : ระบุเส้นทางที่โปรแกรมรวบรวมข้อมูลที่กำหนดสามารถเข้าถึงได้หรือไม่สามารถเข้าถึงได้ ตัวอย่างเช่น Allow: / หมายความว่าโปรแกรมรวบรวมข้อมูลสามารถเข้าถึงไซต์ทั้งหมดได้โดยไม่มีข้อจำกัด

• Sitemap : ระบุเส้นทางไปยังแผนผังเว็บไซต์สำหรับร้านค้าของคุณ แผนผังเว็บไซต์เป็นวิธีบอกโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาว่าควรจัดลำดับความสำคัญของเนื้อหาใด ในขณะที่เนื้อหาที่เหลือใน robots.txt จะบอกโปรแกรมรวบรวมข้อมูลว่าเนื้อหาใดที่รวบรวมข้อมูลได้หรือไม่สามารถรวบรวมข้อมูลได้

นอกจากนี้ ใน robots.txt คุณยังสามารถใช้ สัญลักษณ์แทน หลายตัวสำหรับค่าเส้นทาง เช่น:

• * : เมื่อใส่ใน user-agent เครื่องหมายดอกจัน (*) หมายถึงโปรแกรมรวบรวมข้อมูลของเครื่องมือค้นหาทั้งหมด (ยกเว้นโปรแกรมรวบรวมข้อมูล AdsBot) ที่เข้าชมเว็บไซต์ เมื่อใช้ในคำสั่ง Allow / Disallow หมายถึง 0 ตัวหรือมากกว่าของอักขระที่ถูกต้อง (เช่น Allow: /example*.css ตรงกับ /example.css และ / example12345.css )
• $ : กำหนดส่วนท้ายของ URL ตัวอย่างเช่น Disallow: /*.php$ จะบล็อกไฟล์ทั้งหมดที่ลงท้ายด้วย .php
• # : กำหนดจุดเริ่มต้นของความคิดเห็น ซึ่งโปรแกรมรวบรวมข้อมูลจะไม่สนใจ

หมายเหตุ : ยกเว้นเส้นทางของ sitemap.xml เส้นทางใน robots.txt จะ สัมพันธ์กัน เสมอ ซึ่งหมายความว่าคุณไม่สามารถใช้ URL แบบเต็มได้ (เช่น https://simicart.com/nogooglebot/) เพื่อระบุเส้นทาง

การกำหนดค่า robots.txt ใน Magento 2

ในการเข้าถึงตัวแก้ไขไฟล์ robots.txt ในผู้ดูแลระบบ Magento 2 ของคุณ:

ขั้นตอนที่ 1 : ไปที่ เนื้อหา > การออกแบบ > การ กำหนดค่า

ขั้นตอนที่ 2 : แก้ไขการกำหนดค่า ส่วนกลาง ในแถวแรก

ขั้นตอนที่ 3 : ในส่วน Search Engine Robots แก้ไขคำแนะนำที่กำหนดเอง

คำแนะนำ robots.txt ที่แนะนำ

นี่คือคำแนะนำที่เราแนะนำซึ่งควรตรงกับความต้องการทั่วไป แน่นอน ทุกร้านมีความแตกต่างกัน และคุณอาจต้องปรับแต่งหรือเพิ่มกฎอีกสองสามข้อเพื่อผลลัพธ์ที่ดีที่สุด

 ตัวแทนผู้ใช้: *

# คำแนะนำเริ่มต้น:
ไม่อนุญาต: /lib/
ไม่อนุญาต: /*.php$
ไม่อนุญาต: /pkginfo/
ไม่อนุญาต: /รายงาน/
ไม่อนุญาต: /var/
ไม่อนุญาต: /แคตตาล็อก/
ไม่อนุญาต: /ลูกค้า/
ไม่อนุญาต: /sendfriend/
ไม่อนุญาต: /review/
ไม่อนุญาต: /*SID=

# ไม่อนุญาตไฟล์ Magento ทั่วไปในไดเรกทอรีราก:
ไม่อนุญาต: /cron.php
ไม่อนุญาต: /cron.sh
ไม่อนุญาต: /error_log
ไม่อนุญาต: /install.php
ไม่อนุญาต: /LICENSE.html
ไม่อนุญาต: /LICENSE.txt
ไม่อนุญาต: /LICENSE_AFL.txt
ไม่อนุญาต: /STATUS.txt

# ไม่อนุญาตบัญชีผู้ใช้ & หน้าชำระเงิน:
ไม่อนุญาต: /checkout/
ไม่อนุญาต: /onestepcheckout/
ไม่อนุญาต: /ลูกค้า/
ไม่อนุญาต: /ลูกค้า/บัญชี/
ไม่อนุญาต: /ลูกค้า/บัญชี/เข้าสู่ระบบ/

# ไม่อนุญาตหน้าค้นหาแคตตาล็อก:
ไม่อนุญาต: /catalogsearch/
ไม่อนุญาต: /catalog/product_compare/
ไม่อนุญาต: /catalog/category/view/
ไม่อนุญาต: /catalog/product/view/

# ไม่อนุญาตการค้นหาตัวกรอง URL
ไม่อนุญาต: /*?dir*
ไม่อนุญาต: /*?dir=desc
ไม่อนุญาต: /*?dir=asc
ไม่อนุญาต: /*?limit=all
ไม่อนุญาต: /*?โหมด*

# ไม่อนุญาตไดเรกทอรี CMS:
ไม่อนุญาต: /app/
ไม่อนุญาต: /bin/
ไม่อนุญาต: /dev/
ไม่อนุญาต: /lib/
ไม่อนุญาต: /phpserver/
ไม่อนุญาต: /pub/

# ไม่อนุญาตให้ทำซ้ำเนื้อหา:
ไม่อนุญาต: /tag/
ไม่อนุญาต: /review/
ไม่อนุญาต: /*?*product_list_mode=
ไม่อนุญาต: /*?*product_list_order=
ไม่อนุญาต: /*?*product_list_limit=
ไม่อนุญาต: /*?*product_list_dir=

# การตั้งค่าเซิร์ฟเวอร์
# ไม่อนุญาตไดเรกทอรีทางเทคนิคทั่วไปและไฟล์บนเซิร์ฟเวอร์
ไม่อนุญาต: /cgi-bin/
ไม่อนุญาต: /cleanup.php
ไม่อนุญาต: /apc.php
ไม่อนุญาต: /memcache.php
ไม่อนุญาต: /phpinfo.php

# ไม่อนุญาตโฟลเดอร์ควบคุมเวอร์ชันและอื่น ๆ
ไม่อนุญาต: /*.git
ไม่อนุญาต: /*.CVS
ไม่อนุญาต: /*.Zip$
ไม่อนุญาต: /*.Svn$
ไม่อนุญาต: /*.Idea$
ไม่อนุญาต: /*.Sql$
ไม่อนุญาต: /*.Tgz$

แผนผังเว็บไซต์: https://www.example.com/sitemap.xml

บทสรุป

การสร้างไฟล์ robots.txt เป็นเพียงหนึ่งในหลายๆ ขั้นตอนในรายการตรวจสอบ Magento SEO และการเพิ่มประสิทธิภาพร้านค้า Magento สำหรับเครื่องมือค้นหานั้นไม่ใช่เรื่องง่ายสำหรับเจ้าของร้านค้าส่วนใหญ่ หากคุณไม่พบว่าตัวเองต้องการจัดการกับเรื่องนี้ เราสามารถดูแลทุกอย่างให้คุณได้ ที่ SimiCart เราให้บริการ SEO และการเพิ่มประสิทธิภาพความเร็วซึ่งรับประกันผลลัพธ์ที่ดีที่สุดสำหรับร้านค้าของคุณ