SEO용 Magento 2 robots.txt 파일을 구성하는 방법

게시 됨: 2021-01-21

SEO는 상점의 성공에 중요한 요소이며 적절하게 구성된 robots.txt는 검색 엔진 크롤러의 작업을 더 쉽게 만드는 데 적지 않은 기여를 합니다.

robots.txt는 무엇입니까?

간단히 말해서, robots.txt는 검색 엔진 크롤러에게 크롤링할 수 있는 항목과 크롤링할 수 없는 항목에 대해 지시하는 파일입니다. 루트 디렉토리에 robots.txt가 없으면 상점을 방문하는 검색 엔진 크롤러가 가능한 모든 것을 크롤링합니다. 여기에는 검색 엔진 크롤러가 크롤링 예산을 낭비하지 않기를 바라는 중복되거나 중요하지 않은 페이지가 포함됩니다. robots.txt는 이 문제를 해결할 수 있어야 합니다.

참고 : robots.txt 파일을 사용하여 Google에서 웹페이지를 숨기면 안 됩니다. 대신 이 용도로 noindex 메타 태그를 사용해야 합니다.

Magento 2의 기본 robots.txt 지침

기본적으로 Magento에서 생성한 robots.txt 파일에는 웹 크롤러에 대한 몇 가지 기본 지침만 포함되어 있습니다.

 # Magento에서 제공하는 기본 지침
사용자 에이전트: *
허용하지 않음: /lib/
허용하지 않음: /*.php$
허용하지 않음: /pkginfo/
허용하지 않음: /보고/
허용하지 않음: /var/
허용하지 않음: /카탈로그/
허용하지 않음: /고객/
허용하지 않음: /sendfriend/
허용하지 않음: /검토/
허용하지 않음: /*SID=

이러한 기본 지침을 생성하려면 Magento 백엔드의 검색 엔진 로봇 구성에서 기본값으로 재설정 버튼을 누르십시오.

Magento 2에서 맞춤형 robots.txt 지침을 만들어야 하는 이유

Magento에서 제공하는 기본 robots.txt 지침은 시스템에서 내부적으로 사용되는 특정 파일을 크롤링하지 않도록 크롤러에 지시하는 데 필요하지만 대부분의 Magento 저장소에는 충분하지 않습니다.

검색 엔진 로봇은 웹 페이지를 크롤링하기 위한 제한된 양의 리소스만 가지고 있습니다. 수천 또는 수백만 개의 URL이 크롤링되는 사이트의 경우(생각보다 일반적임) 크롤링해야 하는 콘텐츠 유형(sitemap.xml 사용)의 우선 순위를 지정하고 관련 없는 콘텐츠를 허용하지 않아야 합니다. 페이지가 크롤링되지 않도록 합니다(robots.txt 사용). 후자는 robots.txt에서 중복되고 관련성이 없으며 불필요한 페이지가 크롤링되는 것을 허용하지 않습니다.

robots.txt 지시문의 기본 형식

robots.txt의 지침은 비기술적 사용자에게 친숙한 일관된 방식으로 구성되어 있습니다.

 # 규칙 1
사용자 에이전트: Googlebot
허용하지 않음: /nogooglebot/

# 규칙 2
사용자 에이전트: *
허용하다: /

사이트맵: https://www.example.com/sitemap.xml

User-agent : 규칙이 적용되는 특정 크롤러를 나타냅니다. 일반적인 사용자 에이전트에는 Googlebot , Googlebot-Image , Mediapartners-Google , Googlebot-Video 등이 있습니다. 일반적인 크롤러의 광범위한 목록은 Google 크롤러 개요를 참조하세요.

Allow & Disallow : 지정된 크롤러가 액세스할 수 있거나 액세스할 수 없는 경로를 지정합니다. 예를 들어 Allow: / 는 크롤러가 제한 없이 전체 사이트에 액세스할 수 있음을 의미합니다.

Sitemap : 귀하의 상점에 대한 사이트맵의 경로를 나타냅니다. Sitemap은 검색 엔진 크롤러에게 우선 순위를 지정할 콘텐츠를 알려주는 반면 robots.txt의 나머지 콘텐츠는 크롤러에게 크롤링할 수 있는 콘텐츠와 할 수 없는 콘텐츠를 알려줍니다.

또한 robots.txt에서 다음과 같은 경로 값에 여러 와일드카드 를 사용할 수 있습니다.

* : user-agent 에 넣을 때 별표(*)는 사이트를 방문하는 모든 검색 엔진 크롤러(AdsBot 크롤러 제외)를 나타냅니다. Allow / Disallow 지시문에 사용되는 경우 유효한 문자의 0개 이상의 인스턴스를 의미합니다(예 Allow: /example*.css 는 /example.css 및 /example12345.css 와 일치).
$ : URL의 끝을 지정합니다. 예를 들어 Disallow: /*.php$ 는 .php 로 끝나는 모든 파일을 차단합니다.
# : 크롤러가 무시할 주석의 시작을 지정합니다.

참고 : sitemap.xml 경로를 제외하고 robots.txt의 경로는 항상 상대 경로이므로 전체 URL(예: https://simicart.com/nogooglebot/)을 사용하여 경로를 지정할 수 없습니다.

Magento 2에서 robots.txt 구성하기

robots.txt 파일 편집기에 액세스하려면 Magento 2 관리자에서:

1단계 : 콘텐츠 > 디자인 > 구성 으로 이동합니다.

2단계 : 첫 번째 행의 전역 구성 편집

3단계 : 검색 엔진 로봇 섹션에서 맞춤 지침 수정

권장 robots.txt 지침

다음은 일반적인 요구 사항에 맞는 권장 지침입니다. 물론 상점마다 다르며 최상의 결과를 얻으려면 몇 가지 규칙을 더 조정하거나 추가해야 할 수도 있습니다.

 사용자 에이전트: *

# 기본 지침:
허용하지 않음: /lib/
허용하지 않음: /*.php$
허용하지 않음: /pkginfo/
허용하지 않음: /보고/
허용하지 않음: /var/
허용하지 않음: /카탈로그/
허용하지 않음: /고객/
허용하지 않음: /sendfriend/
허용하지 않음: /검토/
허용하지 않음: /*SID=

# 루트 디렉토리에서 일반적인 Magento 파일을 허용하지 않습니다:
허용하지 않음: /cron.php
허용하지 않음: /cron.sh
허용하지 않음: /error_log
허용하지 않음: /install.php
허용하지 않음: /LICENSE.html
허용하지 않음: /LICENSE.txt
허용하지 않음: /LICENSE_AFL.txt
허용하지 않음: /STATUS.txt

# 사용자 계정 허용 안함 &amp; 결제 페이지:
허용하지 않음: /checkout/
허용하지 않음: /onestepcheckout/
허용하지 않음: /고객/
허용하지 않음: /customer/account/
허용하지 않음: /customer/account/login/

# 카탈로그 검색 페이지를 허용하지 않습니다:
허용하지 않음: /catalogsearch/
허용하지 않음: /catalog/product_compare/
허용하지 않음: /catalog/category/view/
허용하지 않음: /catalog/product/view/

# URL 필터 검색을 허용하지 않음
허용하지 않음: /*?dir*
허용하지 않음: /*?dir=desc
허용하지 않음: /*?dir=asc
허용하지 않음: /*?limit=all
허용하지 않음: /*?모드*

# CMS 디렉토리 허용 안함:
허용하지 않음: /app/
허용하지 않음: /bin/
허용하지 않음: /dev/
허용하지 않음: /lib/
허용하지 않음: /phpserver/
허용하지 않음: /pub/

# 중복 콘텐츠 금지:
허용하지 않음: /태그/
허용하지 않음: /검토/
허용하지 않음: /*?*product_list_mode=
허용하지 않음: /*?*product_list_order=
허용하지 않음: /*?*product_list_limit=
허용하지 않음: /*?*product_list_dir=

# 서버 설정
# 서버의 일반 기술 디렉토리 및 파일 허용 안 함
허용하지 않음: /cgi-bin/
허용하지 않음: /cleanup.php
허용하지 않음: /apc.php
허용하지 않음: /memcache.php
허용하지 않음: /phpinfo.php

# 버전 관리 폴더 및 기타 허용 안 함
허용하지 않음: /*.git
허용하지 않음: /*.CVS
허용하지 않음: /*.Zip$
허용하지 않음: /*.Svn$
허용하지 않음: /*.Idea$
허용하지 않음: /*.Sql$
허용하지 않음: /*.Tgz$

사이트맵: https://www.example.com/sitemap.xml

결론

robots.txt 파일을 만드는 것은 Magento SEO 체크리스트의 여러 단계 중 하나일 뿐이며 검색 엔진에 대해 Magento 스토어를 적절하게 최적화하는 것은 대부분의 스토어 소유자에게 쉬운 일이 아닙니다. 이 문제를 처리하고 싶지 않다면 저희가 모든 것을 처리해 드릴 수 있습니다. 여기 SimiCart에서 우리는 귀하의 상점에 대한 최상의 결과를 보장하는 SEO 및 속도 최적화 서비스를 제공합니다.

더 알아보기