كيفية تكوين ملف Magento 2 robots.txt لتحسين محركات البحث

يُعد مُحسّنات محرّكات البحث عاملاً مهمًا لنجاح متجرك ، ولا يساهم ملف robots.txt المكوّن بشكل صحيح في جزء كبير من تسهيل مهمة برامج زحف محركات البحث.

ما هو ملف robots.txt؟

باختصار ، ملف robots.txt هو ملف يوجه برامج زحف محركات البحث إلى ما يمكنهم الزحف إليه وما لا يمكنهم الزحف إليه. بدون ملف robots.txt في الدليل الجذر الخاص بك ، ستزحف برامج زحف محرك البحث القادمة عبر متجرك إلى كل ما في وسعها ، وهذا يشمل الصفحات المكررة أو غير المهمة التي لا تريد أن تضيع برامج زحف محرك البحث ميزانيتها الزحف عليها. يجب أن يكون ملف robots.txt قادرًا على معالجة هذا الأمر.

ملاحظة : يجب عدم استخدام ملف robots.txt لإخفاء صفحات الويب الخاصة بك عن Google. يجب عليك استخدام علامة noindex الوصفية لهذا الغرض بدلاً من ذلك.

إرشادات ملف robots.txt الافتراضية في Magento 2

بشكل افتراضي ، يحتوي ملف robots.txt الذي تم إنشاؤه بواسطة Magento فقط على بعض الإرشادات الأساسية لزاحف الويب.

 # التعليمات الافتراضية المقدمة من Magento
وكيل المستخدم: *
Disallow: / lib /
Disallow: /*.php$
Disallow: / pkginfo /
عدم السماح: / تقرير /
Disallow: / var /
Disallow: / كتالوج /
Disallow: / customer /
Disallow: / sendfriend /
Disallow: / review /
عدم السماح: / * SID =

لإنشاء هذه الإرشادات الافتراضية ، اضغط على زر إعادة التعيين إلى الإعدادات الافتراضية في تكوين روبوتات محرك البحث في الواجهة الخلفية لماجينتو.

لماذا تحتاج إلى إنشاء تعليمات robots.txt مخصصة في Magento 2

في حين أن إرشادات robots.txt الافتراضية التي يوفرها Magento ضرورية لإخبار برامج الزحف بتجنب الزحف إلى ملفات معينة يستخدمها النظام داخليًا ، إلا أنها ليست كافية تقريبًا لمعظم متاجر Magento.

تمتلك روبوتات محركات البحث كمية محدودة فقط من الموارد للزحف إلى صفحات الويب. بالنسبة إلى موقع يحتوي على الآلاف أو حتى الملايين من عناوين URL للزحف (وهو أكثر شيوعًا مما تعتقد) ، ستحتاج إلى إعطاء الأولوية لنوع المحتوى المطلوب الزحف إليه (باستخدام ملف sitemap.xml) وعدم السماح بالزحف غير ذي الصلة من الزحف إلى الصفحات (باستخدام ملف robots.txt). يتم تنفيذ الجزء الأخير من خلال عدم السماح للزحف إلى الصفحات المكررة وغير الملائمة وغير الضرورية في ملف robots.txt الخاص بك.

التنسيق الأساسي لتوجيهات robots.txt

تم وضع التعليمات في ملف robots.txt بطريقة متماسكة وسهلة الاستخدام للمستخدمين غير التقنيين:

 # المادة 1
وكيل المستخدم: Googlebot
Disallow: / nogooglebot /

# القاعدة 2
وكيل المستخدم: *
السماح: /

خريطة الموقع: https://www.example.com/sitemap.xml

• User-agent : يشير إلى الزاحف المحدد الذي تستخدمه القاعدة. بعض وكلاء المستخدم الشائعين هم Googlebot و Googlebot-Image و Mediapartners-Google و Googlebot-Video وما إلى ذلك. للحصول على قائمة شاملة من برامج الزحف الشائعة ، راجع نظرة عامة على برامج الزحف من Google.

• Allow & Disallow : حدد المسارات التي يمكن للزاحف (الزاحف) المعين الوصول إليه أو لا يمكنه الوصول إليه. على سبيل المثال ، Allow: / يعني أن الزاحف يمكنه الوصول إلى الموقع بالكامل دون قيود.

• Sitemap : تشير إلى المسار إلى خريطة الموقع لمتجرك. يعد ملف Sitemap طريقة لإخبار برامج زحف محركات البحث بالمحتوى الذي يجب تحديد أولوياته ، بينما يخبر باقي المحتوى في ملف robots.txt برامج الزحف بالمحتوى الذي يمكنهم الزحف إليه أو لا يمكنهم الزحف إليه.

أيضًا في ملف robots.txt ، يمكنك استخدام العديد من أحرف البدل لقيم المسار مثل:

• * : عند وضع user-agent ، تشير العلامة النجمية (*) إلى جميع برامج زحف محركات البحث (باستثناء برامج زحف AdsBot) التي تزور الموقع. عند استخدامه في موجهات Allow / Disallow ، فهذا يعني وجود 0 أو أكثر من مثيلات أي حرف صالح (على سبيل المثال ، Allow: /example*.css يتطابق مع /example.css وأيضًا / example12345.css ).
• $ : يعيّن نهاية عنوان URL. على سبيل المثال ، Disallow: /*.php$ إلى حظر جميع الملفات التي تنتهي بـ .php
• # : يحدد بداية التعليق ، والذي ستتجاهله برامج الزحف.

ملاحظة : باستثناء مسار sitemap.xml ، فإن المسارات في ملف robots.txt تكون دائمًا نسبية ، مما يعني أنه لا يمكنك استخدام عناوين URL كاملة (على سبيل المثال ، https://simicart.com/nogooglebot/) لتحديد المسارات.

تكوين ملف robots.txt في Magento 2

للوصول إلى محرر ملف robots.txt ، في مسؤول Magento 2 الخاص بك:

الخطوة 1 : اذهب إلى المحتوى > التصميم > التكوين

الخطوة 2 : قم بتحرير التكوين العام في الصف الأول

الخطوة 3 : في قسم روبوتات محرك البحث ، قم بتحرير التعليمات المخصصة

يوصى بإرشادات ملف robots.txt

إليك الإرشادات التي نوصي بها والتي يجب أن تناسب الاحتياجات العامة. بالطبع ، يختلف كل متجر وقد تحتاج إلى تعديل أو إضافة بعض القواعد الأخرى للحصول على أفضل النتائج.

 وكيل المستخدم: *

# التعليمات الافتراضية:
Disallow: / lib /
Disallow: /*.php$
Disallow: / pkginfo /
عدم السماح: / تقرير /
Disallow: / var /
Disallow: / كتالوج /
Disallow: / customer /
Disallow: / sendfriend /
Disallow: / review /
عدم السماح: / * SID =

# عدم السماح بملفات Magento الشائعة في الدليل الجذر:
Disallow: /cron.php
Disallow: /cron.sh
Disallow: / error_log
Disallow: /install.php
Disallow: /LICENSE.html
عدم السماح: /LICENSE.txt
عدم السماح: /LICENSE_AFL.txt
عدم السماح: /STATUS.txt

# عدم السماح بحساب المستخدم & amp؛ صفحات الخروج:
Disallow: / الخروج /
Disallow: / onestepcheckout /
Disallow: / customer /
Disallow: / customer / account /
Disallow: / customer / account / login /

# عدم السماح بصفحات البحث في الكتالوج:
Disallow: /atalogsearch /
Disallow: / كتالوج / product_compare /
Disallow: / الكتالوج / الفئة / العرض /
Disallow: / كتالوج / منتج / عرض /

# عدم السماح بالبحث في تصفية عناوين URL
Disallow: / *؟ dir *
Disallow: / *؟ dir = desc
Disallow: / *؟ dir = asc
Disallow: / *؟ limit = all
Disallow: / *؟ mode *

# عدم السماح بدلائل CMS:
Disallow: / app /
Disallow: / bin /
Disallow: / dev /
Disallow: / lib /
Disallow: / phpserver /
Disallow: / pub /

# عدم السماح بالمحتوى المكرر:
Disallow: / tag /
Disallow: / review /
Disallow: / *؟ * product_list_mode =
Disallow: / *؟ * product_list_order =
Disallow: / *؟ * product_list_limit =
Disallow: / *؟ * product_list_dir =

# اعدادات الخادم
# عدم السماح بالدلائل والملفات الفنية العامة على الخادم
Disallow: / cgi-bin /
Disallow: /cleanup.php
Disallow: /apc.php
Disallow: /memcache.php
عدم السماح: /phpinfo.php

# عدم السماح بمجلدات التحكم في الإصدار وغيرها
عدم السماح: /*.git
عدم السماح: /*.CVS
عدم السماح: /*.Zip$
عدم السماح: /*.Svn$
Disallow: /*.Idea$
عدم السماح: /*.Sql$
عدم السماح: /*.Tgz$

خريطة الموقع: https://www.example.com/sitemap.xml

استنتاج

يعد إنشاء ملف robots.txt واحدًا فقط من العديد من الخطوات في قائمة التحقق من Magento SEO - ولتحسين متجر Magento بشكل صحيح لمحركات البحث ، من المؤكد أنها ليست مهمة سهلة لمعظم مالكي المتاجر. إذا كنت لا تجد نفسك ترغب في التعامل مع هذا ، فيمكننا الاهتمام بكل شيء من أجلك. هنا في SimiCart ، نقدم خدمات تحسين محركات البحث وتحسين السرعة التي تضمن أفضل النتائج لمتجرك.