크롤 버짓
Crawl Budget
검색 로봇이 사이트 서버 성능을 고려해 일정 기간 동안 크롤링할 수 있는 페이지 수의 한도
실제 콘텐츠가 없거나 빈 페이지임에도 서버가 200 정상 코드를 반환하는 현상입니다. 정의와 상세 설명을 통해 기술적 원리를 이해하고, 비즈니스에 미치는 영향과 실무 적용 방법, 구현 시 고려할 주의사항을 관련 용어와 함께 확인하세요.
Soft 404
소프트 404는 실제로는 콘텐츠가 없거나 ‘찾을 수 없음’이라는 텍스트만 있는 빈 페이지인데 서버가 정상 200 코드를 반환하는 상태로, 검색엔진 입장에서는 이 페이지가 진짜 유효한지 없는지 판단하기 어려워 혼란을 겪는다. 재고가 소진된 상품 페이지를 그냥 빈 화면으로 두거나, 프레임워크의 기본 에러 처리 로직이 200을 반환하도록 설정된 경우 자주 발생한다. 서치 콘솔의 ‘페이지’ 보고서에서 ‘소프트 404’로 분류된 URL을 주기적으로 점검해, 실제로 없는 페이지라면 정확한 404/410 코드를 반환하도록 서버 설정을 고쳐야 한다.
검색 크롤러의 크롤 버짓을 낭비시키고 저품질 색인으로 전체 사이트 평가 저하
없는 페이지는 반드시 정확한 HTTP 404 또는 410 상태 코드를 반환하도록 서버 구성
Crawl Budget
검색 로봇이 사이트 서버 성능을 고려해 일정 기간 동안 크롤링할 수 있는 페이지 수의 한도
Indexing
검색엔진이 수집한 웹페이지를 분석하여 검색 후보 데이터베이스에 체계적으로 저장하는 과정
301 Redirect
페이지가 새 URL로 영구 이동했음을 알리고 링크 가치를 새 주소로 온전히 전달하는 HTTP 코드
302 Redirect
요청한 자원이 일시적으로 다른 URL에 있음을 알리는 HTTP 응답 코드
404 Not Found
요청 URL에 해당하는 리소스가 서버에 없음을 알리는 클라이언트 HTTP 오류 코드
hreflang Attribute
다국어 및 다지역 사이트에서 언어와 국가별 적합한 버전을 검색엔진에 안내하는 HTML 태그