테크니컬 SEO & 웹 인프라

noindex Directive

내용 검토

noindex는 robots 메타 태그나 X-Robots-Tag 응답 헤더로 전달할 수 있다. 지원하는 검색엔진이 해당 응답을 읽어야 처리되므로 적용 직후 모든 검색결과에서 즉시 사라진다는 뜻은 아니다.

실무 예시#

검색 노출이 필요 없는 공개 테스트 페이지라면 noindex의 적용 범위와 크롤링 가능 여부를 점검한다. 개인정보나 비공개 문서는 검색 설정에만 의존하지 않고 인증과 접근 권한으로 보호한다.

구현 가이드 및 한계#

robots.txt로 같은 URL을 차단하면 검색엔진이 noindex를 읽지 못할 수 있다. 크롤러가 받은 실제 HTML·응답 헤더와 Search Console 상태를 확인한다. noindex는 nofollow와 별개이며, 이 용어를 설명하는 문서 자체에 적용할 필요는 없다.

robots.txt

Robots Exclusion Standard

사이트 루트의 robots.txt 파일로 협조적인 크롤러의 URL 접근 범위를 안내하는 크롤링 제어 방식

robots meta tag

Robots Meta Tag

페이지 HTML 헤더 내에서 검색 로봇의 페이지 수집 및 링크 추적을 세부 제어하는 태그

색인

Indexing

검색엔진이 수집한 웹페이지를 분석하여 검색 후보 데이터베이스에 체계적으로 저장하는 과정

크롤링

Crawling

검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정

캐노니컬 태그

Canonical Tag (rel=canonical)

중복되거나 매우 유사한 페이지 중 선호하는 대표 URL을 검색엔진에 알리는 신호인 rel=canonical 표기