크롤링은 검색엔진 로봇이 이미 알고 있는 페이지의 링크를 따라 새로운 URL을 발견하고 그 내용을 가져오는 발견 단계로, 색인·랭킹보다 앞서 일어나는 첫 관문이다. robots.txt로 특정 경로가 차단되어 있거나, 사이트 내부에 해당 페이지로 향하는 링크가 하나도 없는 ‘고아 페이지’ 상태라면 아무리 좋은 콘텐츠라도 크롤러가 영영 발견하지 못할 수 있다. 서치 콘솔의 크롤링 통계 보고서로 구글봇의 일일 크롤링 요청 수와 응답 시간을 확인하면 크롤링 관련 병목을 조기에 진단할 수 있다.
