크롤링
Crawling
검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정
robots.txt는 사이트 루트에서 협조적인 크롤러의 URL 접근 범위를 안내하는 파일입니다. 크롤링 제어와 검색 색인 제외의 차이를 이해하고, 필요한 페이지와 리소스의 접근을 점검하세요. 비공개 정보를 보호하는 수단이 아니라는 한계와 noindex의 관계도 설명합니다.
Robots Exclusion Standard
robots.txt는 어떤 URL을 크롤링할 수 있는지 안내한다. 검색 색인 제외나 비공개 정보의 접근 통제를 대신하지 않는다. 차단된 URL도 외부 링크 등을 통해 검색결과에 주소가 나타날 수 있다.
매개변수로 생성되는 반복 URL의 접근을 제한하기 전에 실제 요청량과 필요한 페이지·리소스를 구분한다. 민감한 관리자 화면은 robots.txt에만 의존하지 않고 로그인 등 서버의 접근 통제로 보호한다.
검색 제외가 목적이라면 크롤러가 읽을 수 있는 noindex 등 적절한 수단을 검토한다. 페이지 렌더링에 필요한 CSS·JavaScript를 일괄 차단하지 않는다. 효과는 실제 크롤링 기록과 색인 상태로 확인하며 크롤 예산 절감이나 순위 상승을 보장하지 않는다.
Crawling
검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정
Indexing
검색엔진이 수집한 웹페이지를 분석하여 검색 후보 데이터베이스에 체계적으로 저장하는 과정
noindex Directive
지원하는 검색엔진이 페이지를 크롤링할 때 읽고 검색 색인에서 제외하도록 하는 메타 태그 또는 HTTP 헤더 지시
Robots Meta Tag
페이지 HTML 헤더 내에서 검색 로봇의 페이지 수집 및 링크 추적을 세부 제어하는 태그
Crawl Budget
검색 로봇이 사이트 서버 성능을 고려해 일정 기간 동안 크롤링할 수 있는 페이지 수의 한도