페이지를 색인화하지 않는 올바른 방법

게시 됨: 2022-12-02

직관에 반하는 것처럼 보일 수 있지만 웹사이트의 모든 페이지가 검색 결과에 나타나야 하는 것은 아닙니다. 검색 엔진 최적화(SEO)는 검색 가시성과 유기적 트래픽을 증가시키기 위해 노력하며 때로는 검색 결과에 표시될 수 있는 콘텐츠를 제한하여 이러한 목표를 가장 잘 달성할 수 있습니다.

머리를 긁적이거나 허세를 부리는 경우 페이지 또는 하위 디렉토리를 색인화하지 않는 것의 가치와 색인을 생성하지 않는 태그를 구현하는 방법을 알아보세요.

NOINDEX는 무엇을 의미합니까?

"NOINDEX"라는 용어는 검색 엔진 결과 페이지(SERP)에서 페이지를 제외하도록 검색 크롤러에 지시하는 로봇 메타 태그의 특수 지시어입니다. 즉, 검색자는 검색을 통해 페이지에 액세스할 수 없습니다.

기술적 SEO 전략의 중요한 부분인 로봇 메타 태그를 사용하면 검색자에게 가치를 제공하지 않거나 다음과 같이 검색 결과에 표시하고 싶지 않은 정보가 포함된 페이지를 제외할 수 있습니다.

  • 확인 및 감사 페이지
  • 로그인 페이지
  • 개인 정보 보호 정책 또는 서비스 약관 페이지
  • 제한 콘텐츠
  • 오류 메시지

로봇 메타 태그 vs. Robots.txt vs. X-Robots 태그

로봇 메타 태그는 종종 robots.txt 파일 및 x-robots 태그와 혼동됩니다. 세 가지 모두 페이지에 대한 검색 크롤러에 대한 지침을 제공하며 REP(로봇 제외 프로토콜)의 일부입니다. 더 간단하게 말하자면, Google에 Google 검색에 넣을 항목과 제외할 항목, 크롤링해야 하는 페이지를 알려줍니다. 그러나 서로 바꿔서 사용할 수도 없고 사용해서도 안 됩니다.

로봇 메타 태그

로봇 메타 태그는 특정 웹 페이지의 <head> 섹션에 추가되며 해당 특정 페이지에 대한 지침만 전달합니다. NOINDEX 태그 또는 NOINDEX 메타 태그라고도 하는 로봇 메타 태그는 검색 크롤러에게 페이지 색인을 생성하지 말라고 지시하는 것 이상을 수행할 수 있습니다.

또한 크롤러에게 링크를 따르지 말라고 요청하거나, 페이지를 번역하거나, 특정 검색 봇을 차단하거나, 캐시된 링크가 SERP에 표시되지 않도록 하는 데 사용할 수 있습니다.

일반적인 로봇 메타 태그 지시문은 다음과 같습니다.
  • Noindex, nofollow — <meta name=”robots” content=”noindex, nofollow”>
    Googlebot 및 기타 웹 크롤러는 페이지에 액세스할 수 있지만 색인을 생성하거나 링크를 따라가서는 안 됩니다.
  • Noindex, 팔로우 — <meta name=”robots” content=”noindex”>
    Googlebot 및 기타 웹 크롤러는 페이지에 액세스하고 링크를 따라갈 수 있지만 페이지 자체의 색인을 생성해서는 안 됩니다. 메타 태그에 "follow"가 기본값이므로 포함할 필요가 없습니다.

로봇.txt

robots.txt는 사이트 소유자가 크롤링을 원하지 않는 사이트 부분을 검색 엔진에 알릴 수 있는 파일입니다. 도메인 또는 하위 도메인의 루트 디렉터리에 있는 웹사이트에 대한 개인 방해 금지 표시와 같습니다.

robots.txt 파일은 개별 페이지가 아닌 전체 하위 디렉토리가 액세스 및 크롤링되는 것을 차단하는 데 가장 적합합니다. 이를 사용하여 검색 크롤러가 액세스하고 인덱싱하지 못하도록 차단합니다.

  • 내부 검색 페이지
  • URL 매개변수
  • 사용자 생성 스팸이 문제를 일으킬 수 있는 포럼
  • 직원 전용 디렉토리와 같은 내부 하위 디렉토리

다음 단계에 따라 robots.txt 파일을 만들고 XML 사이트맵에 연결해야 합니다.

robots.txt 파일에 포함된 페이지에 링크하는 경우 로봇 메타 태그를 추가하여 검색 결과에 표시되지 않도록 할 수 있습니다. 기억하십시오. robots.txt는 크롤러가 페이지에 액세스하는 것을 차단할 뿐 색인을 생성하는 것은 차단하지 않습니다. robots.txt 지시어에 포함된 페이지가 외부 링크를 수신하는 경우 검색 엔진이 해당 페이지의 색인을 생성할 수 있습니다. 이를 방지하려면 robots.txt 파일과 함께 robots 메타 태그를 사용하십시오.

X-로봇 태그

PDF, 비디오 또는 이미지가 SERP에 나타나지 않도록 차단하려면 x-robots 태그를 사용하십시오. 로봇 메타 태그에 지정된 것과 동일한 지시문이 x-robots에 사용됩니다. 그러나 페이지의 HTML 헤더에 있는 로봇 메타 태그와 달리 x-robots 태그는 HTTP 헤더 응답에 배치됩니다.

지시어는 다음과 같습니다.

 X-Robots-Tag: noindex

페이지를 색인화하지 않는 경우

커브 인덱스 팽창

색인 팽창은 Google이 검색자에게 거의 또는 전혀 가치가 없는 페이지의 색인을 생성할 때 발생합니다. 이러한 관련 없는 페이지는 더 가치 있는 페이지에서 리소스를 떨어뜨립니다. 로봇 메타 태그를 사용하여 검색 결과에 표시되는 페이지를 관리합니다.

키워드 잠식 근절

키워드 잠식은 두 페이지가 유사한 키워드와 검색 의도를 공유하여 SERP에서 서로 경쟁하게 할 때 발생합니다.

서로 잠식하는 두 페이지가 있고 내용을 변경하지 않고 두 페이지를 모두 유지하려면 noindex one을 사용하십시오. 즉, 색인을 생성하지 않는 페이지가 다른 페이지에서 유도하지 않는 키워드의 트래픽을 유도하지 않는 경우에만 이 작업을 수행해야 합니다. 이와 같은 상황에서는 자기잠식 문제를 해결하기 위해 페이지 중 하나 또는 둘 다에서 콘텐츠를 재작업해야 할 수 있습니다.

게이트 랜딩 페이지 보호

고객에게 연락처 정보를 제공하는 대가로 가치가 높은 리소스를 제공할 때는 다른 방법으로 액세스할 수 없도록 해야 합니다. 로봇 메타 태그를 추가하여 페이지를 색인화하지 않고 SERP에 표시되지 않도록 합니다.

검색에서 인기 없는 제품 제외

전자 상거래 사이트는 특정 고객에 대한 수요가 많지 않더라도 특정 고객에게 서비스를 제공하기 위해 제품을 취급하는 경우가 많습니다. 예를 들어, 자동차 부품 소매업체나 다른 기술 회사는 특정 모델이나 희귀 장비에 대한 제품을 보유하고 있을 수 있습니다. 이러한 제품 또는 카테고리 페이지가 유기적 트래픽을 유도하지 않는 경우 일반적으로 색인이 생성되지 않을 수 있습니다.

웹 페이지를 색인화하지 않는 방법

noindex 메타 태그는 페이지 HTML의 헤더에 들어갑니다. 코드는 대소문자를 구분하지 않으며 다음과 같습니다.

 <meta name="robots" content="noindex">

'로봇'은 지침이 모든 크롤러에 적용됨을 의미하지만 '로봇'을 'Googlebot' 또는 'bingbot'과 같은 알려진 크롤러 이름으로 바꾸면 크롤러를 식별할 수 있습니다.

nofollow 명령을 추가하지 않는 한 크롤러는 페이지의 링크를 계속 따라갑니다. 링크 자산이 페이지를 통과하는 것을 방지하거나 크롤러가 제어된 콘텐츠에 대한 링크를 따라가는 것을 방지하기 위해 이렇게 할 수 있습니다.

nofollow 값을 추가하려면 쉼표로 noindex 지시문과 구분하십시오.

 <meta name="robots" content="noindex, nofollow">

참고: 페이지를 색인화하지 않기 전에 Google Search Console에서 수신되는 유기적 트래픽이 있는지 확인하세요. 그렇다면 페이지를 인덱싱하지 않기 전에 사이트에서 이 트래픽을 계속 캡처할 수 있는 방법을 결정하십시오.

HTML 코드에 로봇 메타 태그를 추가하는 방법

  1. 색인을 생성하지 않으려는 페이지의 소스 코드를 엽니다.
  2. 페이지 상단에서 헤더를 찾습니다. <head>로 시작하여 </head>로 끝납니다. 헤더에 다른 코드도 있을 수 있습니다.
  3. 로봇 메타 태그를 새 줄에 추가하여 <head> 및 </head> 태그 사이에 표시되도록 합니다.

그게 다야! 페이지의 색인이 이미 생성된 경우 해당 URL을 URL 검사 도구에 붙여넣어 Google에 다시 크롤링하도록 요청할 수 있습니다.

이미 색인이 생성되었나요? URL 제거 도구 사용

새 콘텐츠 페이지에 noindex 태그를 추가하면 Googlebot이 페이지를 크롤링할 때 지시문을 보고 색인을 생성하지 않습니다.

그러나 이미 색인이 생성된 페이지에 태그를 추가하는 경우 페이지는 다시 크롤링되고 봇이 새로운 NOINDEX 지침을 볼 때까지 검색 결과에 계속 표시됩니다. URL 검사 도구를 통해 Google 검색 콘솔에서 URL을 다시 크롤링하도록 Google에 요청할 수 있지만 SERP에서 페이지를 즉시 제거하지는 않습니다.

SERP에서 페이지를 즉시 제거해야 하는 경우 Google Search Console의 제거 도구를 사용하세요. 이렇게 하면 약 6개월 동안 페이지가 Google 검색 결과에 표시되지 않습니다. 그때까지 noindex 메타 태그가 작동해야 합니다.

WordPress에서 페이지를 색인 생성하지 않는 방법

WordPress의 모든 페이지는 기본적으로 색인이 생성됩니다. Yoast SEO 플러그인을 사용하여 코드를 작성하지 않고 WordPress에서 페이지를 색인화하지 않을 수 있습니다. 방법은 다음과 같습니다.

Yoast SEO 메타 박스에서 '고급' 탭을 클릭합니다.

페이지를 색인화하지 않으려면 yoast seo 플러그인에서 '고급'을 선택하세요.

질문 아래에 '검색 엔진이 이 게시물을 검색 결과에 표시하도록 허용하시겠습니까?' 드롭다운 상자에서 '아니요'를 선택합니다.

워드프레스의 비인덱싱 페이지

이 설정은 Google에 게시물의 색인을 생성하지 않도록 지시하지만 봇은 여전히 ​​자동으로 페이지의 링크를 따라 다른 페이지를 크롤링합니다.

nofollow 지시문을 추가하려면 '검색 엔진이 이 게시물의 링크를 따라가야 합니까?'라는 질문 아래에서 '아니요' 버튼을 선택하세요.

로봇 메타 태그 FAQ

모든 검색 엔진이 NOINDEX 지침을 준수합니까?

Google, Bing 및 기타 합법적인 검색 엔진이 로봇 메타 태그를 준수할 것으로 기대할 수 있습니다.

색인이 생성되지 않은 페이지에 연결할 수 있나요?

예. noindex 태그는 검색 봇에게 크롤링 및 인덱싱할 때 페이지를 처리하는 방법을 알려줍니다. 페이지에 링크하는 기능에는 영향을 미치지 않습니다. 이것은 블로그의 카테고리 페이지에 유용할 수 있습니다. 이 페이지는 검색 결과에 표시되어서는 안 되지만 봇에게 표시되어야 하는 중요한 페이지에 대한 링크를 제공할 수 있습니다.

언제 로봇 메타 태그를 사용해야 하나요?

감사 페이지나 인쇄용 페이지와 같이 검색자에게 어떤 가치도 제공하지 않는 페이지가 있는 경우 로봇 메타 태그로 색인을 생성하지 않아 SERP에 표시되지 않습니다.

언제 NOINDEX 지시문을 사용하면 안 됩니까?

noindex 명령을 사용하여 중복 콘텐츠 문제와 일부 크롤링 예산 문제를 기술적으로 해결할 수 있지만 이것이 최선의 방법은 아닙니다. 중복 콘텐츠는 중복 콘텐츠의 링크 자산을 표준 페이지에 집중시키는 표준 태그를 사용하여 가장 잘 처리됩니다. 크롤링 예산을 절약하려면 robots.txt 파일을 사용하여 사이트의 해당 섹션에 대한 크롤링을 금지해야 합니다.

색인이 생성되지 않은 페이지는 링크 자산을 전달합니까?

예. 페이지가 인덱싱되지 않더라도 여전히 구축된 순위 권한을 공유할 수 있습니다. 그러나 검색 크롤러는 링크 자산이 흐르도록 페이지의 링크를 따라갈 수 있어야 합니다. 페이지가 noindex 및 nofollow로 설정된 경우 링크 자산을 전달할 수 없습니다.

색인을 생성하지 않으면 페이지가 Google SERP에서 자동으로 제거되나요?

페이지의 색인이 이미 생성된 경우 로봇 메타 태그를 추가해도 검색 결과에서 페이지가 자동으로 삭제되지 않습니다. 이미 인덱싱된 페이지가 SERP에서 사라지려면 시간이 걸립니다. noindex 태그를 보려면 검색 봇이 페이지를 다시 크롤링해야 합니다. 더 빠른 결과를 얻으려면 Google이 페이지를 다시 크롤링하도록 요청하고 URL 제거 도구를 사용하세요.

SEO 감사를 통해 문제가 있는 페이지 발견

빈약하거나 중복된 콘텐츠가 검색 가시성에 영향을 주지 않도록 하세요. 귀하의 페이지에 순위를 매길 수 있는 최고의 기회를 제공하고 있는지 확인하십시오. 200개 이상의 포인트 SEO 감사는 중복 콘텐츠, 누락된 robots.txt 파일, 잘못 적용된 로봇 메타 태그, 색인 팽창 등과 같은 문제에 플래그를 지정합니다. 무료 SEO 상담에 등록하여 SEO 감사 서비스가 온라인 가시성을 극대화하고 비즈니스 성장을 돕는 방법을 확인하십시오.