robots.txt
Robots Exclusion Standard
사이트 루트의 robots.txt 파일로 협조적인 크롤러의 URL 접근 범위를 안내하는 크롤링 제어 방식
noindex는 지원하는 검색엔진이 페이지를 읽은 뒤 검색 색인에서 제외하도록 하는 메타 태그 또는 HTTP 헤더 지시입니다. 적용 예시와 크롤링 가능 여부를 확인하고, robots.txt와 함께 사용할 때의 주의사항을 살펴보세요. 즉시 삭제나 비공개 접근 통제를 보장하지 않습니다.
noindex Directive
noindex는 robots 메타 태그나 X-Robots-Tag 응답 헤더로 전달할 수 있다. 지원하는 검색엔진이 해당 응답을 읽어야 처리되므로 적용 직후 모든 검색결과에서 즉시 사라진다는 뜻은 아니다.
검색 노출이 필요 없는 공개 테스트 페이지라면 noindex의 적용 범위와 크롤링 가능 여부를 점검한다. 개인정보나 비공개 문서는 검색 설정에만 의존하지 않고 인증과 접근 권한으로 보호한다.
robots.txt로 같은 URL을 차단하면 검색엔진이 noindex를 읽지 못할 수 있다. 크롤러가 받은 실제 HTML·응답 헤더와 Search Console 상태를 확인한다. noindex는 nofollow와 별개이며, 이 용어를 설명하는 문서 자체에 적용할 필요는 없다.
Robots Exclusion Standard
사이트 루트의 robots.txt 파일로 협조적인 크롤러의 URL 접근 범위를 안내하는 크롤링 제어 방식
Robots Meta Tag
페이지 HTML 헤더 내에서 검색 로봇의 페이지 수집 및 링크 추적을 세부 제어하는 태그
Indexing
검색엔진이 수집한 웹페이지를 분석하여 검색 후보 데이터베이스에 체계적으로 저장하는 과정
Crawling
검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정
Canonical Tag (rel=canonical)
중복되거나 매우 유사한 페이지 중 선호하는 대표 URL을 검색엔진에 알리는 신호인 rel=canonical 표기