테크니컬 SEO & 웹 인프라

Robots Exclusion Standard

내용 검토

robots.txt는 어떤 URL을 크롤링할 수 있는지 안내한다. 검색 색인 제외나 비공개 정보의 접근 통제를 대신하지 않는다. 차단된 URL도 외부 링크 등을 통해 검색결과에 주소가 나타날 수 있다.

실무 예시#

매개변수로 생성되는 반복 URL의 접근을 제한하기 전에 실제 요청량과 필요한 페이지·리소스를 구분한다. 민감한 관리자 화면은 robots.txt에만 의존하지 않고 로그인 등 서버의 접근 통제로 보호한다.

구현 가이드 및 한계#

검색 제외가 목적이라면 크롤러가 읽을 수 있는 noindex 등 적절한 수단을 검토한다. 페이지 렌더링에 필요한 CSS·JavaScript를 일괄 차단하지 않는다. 효과는 실제 크롤링 기록과 색인 상태로 확인하며 크롤 예산 절감이나 순위 상승을 보장하지 않는다.

크롤링

Crawling

검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정

색인

Indexing

검색엔진이 수집한 웹페이지를 분석하여 검색 후보 데이터베이스에 체계적으로 저장하는 과정

노인덱스

noindex Directive

지원하는 검색엔진이 페이지를 크롤링할 때 읽고 검색 색인에서 제외하도록 하는 메타 태그 또는 HTTP 헤더 지시

robots meta tag

Robots Meta Tag

페이지 HTML 헤더 내에서 검색 로봇의 페이지 수집 및 링크 추적을 세부 제어하는 태그

크롤 버짓

Crawl Budget

검색 로봇이 사이트 서버 성능을 고려해 일정 기간 동안 크롤링할 수 있는 페이지 수의 한도