크롤링
Crawling
검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정
대량의 아티클이나 상품 목록을 페이지 번호(1 2 3 등)로 나누어 탐색할 수 있게 한 구조입니다. 정의와 상세 설명을 통해 기술적 원리를 이해하고, 비즈니스에 미치는 영향과 실무 적용 방법, 구현 시 고려할 주의사항을 관련 용어와 함께 확인하세요.
Pagination
페이지네이션은 상품 목록이나 아카이브 글 목록을 1페이지, 2페이지처럼 나누어 사용자와 크롤러 모두가 순차적으로 탐색할 수 있게 하는 구조다. 무한 스크롤만으로 구현하면 자바스크립트 스크롤 이벤트에 의존하게 되어 크롤러가 두 번째 페이지 이후 콘텐츠를 아예 발견하지 못하는 경우가 많으므로, 무한 스크롤을 쓰더라도 페이지 번호가 명시된 링크(예: ?page=2)를 함께 제공하는 하이브리드 구현이 권장된다. 각 페이지네이션 URL에는 self-referencing 캐노니컬을 지정하고, view-all 페이지가 있다면 이를 캐노니컬로 지정하는 방법도 고려할 수 있다.
크롤러가 사이트 깊은 곳의 콘텐츠까지 누락 없이 크롤링할 수 있도록 경로 제공
단순 무한 스크롤 구현 시 검색 크롤러가 하위 글을 읽지 못하므로 대체 링크 마련
Crawling
검색엔진 로봇이 링크를 따라 웹을 탐색하며 새 페이지와 갱신된 정보를 수집하는 과정
301 Redirect
페이지가 새 URL로 영구 이동했음을 알리고 링크 가치를 새 주소로 온전히 전달하는 HTTP 코드
302 Redirect
요청한 자원이 일시적으로 다른 URL에 있음을 알리는 HTTP 응답 코드
404 Not Found
요청 URL에 해당하는 리소스가 서버에 없음을 알리는 클라이언트 HTTP 오류 코드
hreflang Attribute
다국어 및 다지역 사이트에서 언어와 국가별 적합한 버전을 검색엔진에 안내하는 HTML 태그
HTTP Status Code
웹 서버가 클라이언트의 요청에 반환하는 세 자리 숫자 형태의 통신 상태 응답 코드