AI는 왜 우리 사이트에 오는가? 247컴패스의 7일간 봇 데이터 읽기

247컴패스의 2026년 11월 4일~10일 봇 요청 72,578건 분석. Clarity 분류와 공식 문서를 대조해 검색·학습·사용자 요청·광고 확인 봇의 역할과 요청 분포를 구분한다.

AI는 왜 우리 사이트에 방문하는가? 247컴패스의 7일간 봇 데이터 읽기 — AI Crawler·AI Search·AI Assistant·Search Engine Crawler

웹사이트에는 사람의 방문과 별도로 자동화 프로그램의 요청이 기록된다. 검색 색인을 만드는 크롤러, AI 답변에 필요한 정보를 수집하는 봇, 사용자의 요청을 대신 수행하는 프로그램이 그 예다. 어떤 봇이 어떤 목적으로 콘텐츠에 접근하며, 그 요청은 무엇을 의미할까?

247컴패스의 Cloudflare 데이터를 Microsoft Clarity에 연동해 확인한 2026년 11월 4일~11월 10일의 봇 요청은 72,578건이다. 검색용 수집, 모델 개발에 사용될 수 있는 콘텐츠 수집, 사용자 요청에 따른 페이지 가져오기, 광고 페이지 확인 등 서로 다른 역할의 접근이 관측됐다.

이 글은 Clarity의 분류를 유지한 상태에서 각 봇의 공식 역할과 실제 집계 수치를 대조한다. 분석 대상은 요청의 분포와 역할의 차이다. 요청 기록으로 확인되는 사실과 인용·방문·전환처럼 추가 자료가 필요한 성과를 구분한다.

자료 범위: 데이터 기간은 2026년 11월 4일~11월 10일이며, 공식 자료 확인일은 2026년 11월 11일이다. 아래 비중의 분모는 이 기간의 봇 요청 72,578건이다. 사람을 포함한 사이트 전체 트래픽 대비 비율과는 구분한다.

전체 봇 93개 분류·역할표로 이동 →

먼저, 이 숫자는 무엇을 세고 있을까?#

Clarity의 Bot Activity는 세션 리플레이나 히트맵과 측정 단위가 다르다. CDN이나 서버에서 전달한 로그를 바탕으로 봇의 요청을 집계 하며, Cloudflare 연동에서는 LogPush를 통해 HTTP 요청 로그를 Clarity에 전달 한다.

요청 한 건은 사람 한 명이나 방문 한 번과 같지 않다. 한 봇이 같은 페이지를 반복 요청하거나 본문 외에 이미지·JSON·XML 같은 자원을 요청할 수 있다. 요청 기록만으로 콘텐츠의 전달 성공 여부가 확정되지는 않는다. Clarity는 성공·리디렉션·실패 같은 요청 상태를 구분 하지만, 이번 분석 자료에는 상태별 수치가 포함되지 않았다.

따라서 72,578건의 직접적인 의미는 사이트에 기록된 봇의 접근 시도 규모다. AI 답변의 인용 횟수나 AI 서비스에서 넘어온 사람의 방문 수로 환산할 수는 없다.

Clarity의 분류로 본 7일간의 봇 요청#

가장 큰 범주는 AI Crawler로, 32,924건과 45.36%의 비중을 기록했다. 이어 AI Search가 14,925건, AI Assistant가 12,637건으로 집계됐다. 세 범주의 합계는 60,486건으로 전체 봇 요청의 83.34%다.

아래 차트와 표는 Clarity의 분류명과 소속을 유지한다. GoogleBot과 BingBot은 AI Crawler에, OAI-SearchBot은 Search Engine Crawler에 포함돼 있다. 운영사 공식 문서의 역할 설명은 별도 항목으로 대조하며, 이를 이유로 분류별 합계를 재편하지 않는다.

Clarity 원본 분류별 봇 요청 2026년 11월 4일~11월 10일의 봇 요청 72,578건을 Clarity 원본 분류로 비교한 결과. 분모는 사이트 전체 트래픽이 아닌 봇 요청이다. 자료: 247컴패스 Clarity·Cloudflare 봇 연산자·봇 활동 데이터. 범주와 소속은 원본 유지.
Clarity 원본 분류별 요청 수와 전체 봇 요청 대비 비중
Clarity 분류요청 수전체 봇 요청 대비
AI Crawler32,924건45.36%
AI Search14,925건20.56%
AI Assistant12,637건17.41%
Search Engine Crawler7,011건9.66%
Search Engine Optimization2,550건3.51%
Advertising & Marketing2,070건2.85%
Automation & Tooling295건0.41%
Monitoring & Analytics83건0.11%
Page Preview54건0.07%
Security21건0.03%
Academic Research5건0.01% 미만
Aggregator3건0.01% 미만
합계72,578건100%

83.34%는 이 자료에서 AI라는 이름이 붙은 세 범주의 비중이다. ‘사이트 방문의 83.34%가 AI였다’거나 ‘콘텐츠의 83.34%가 AI 학습에 사용됐다’는 의미는 아니다. 분류는 기록을 묶는 기준이고, 개별 요청의 최종 사용은 별도로 확인할 정보다.

같은 운영사 봇의 역할 다양성: OpenAI 사례#

이번 집계에서 가장 큰 운영사 표기는 OpenAI이며, 합계는 8,285건이다. 이 합계는 네 가지 봇의 요청으로 구성된다. OpenAI의 공식 크롤러 문서 는 검색, 모델 개발, 사용자 요청, 광고 확인을 구분한다.

OpenAI 8,285건을 구성하는 네 가지 봇 OAI-SearchBot 2,125건, ChatGPT-User 2,101건, OAI-AdsBot 2,067건, GPTBot 1,992건. 요청 수와 별도로 검색·사용자 요청·광고 확인·모델 개발의 역할을 구분한다. 요청 수: 247컴패스 봇 집계 · 역할: OpenAI 공식 문서
OpenAI 봇별 요청 수, Clarity 원본 분류와 공식 역할
원본 봇 이름요청 수Clarity 분류공식 문서가 설명하는 역할
OAI-SearchBot2,125건Search Engine CrawlerChatGPT 검색 결과를 위한 수집
ChatGPT-User2,101건AI Assistant사용자가 요청한 특정 동작에 따른 페이지 가져오기
OAI-AdsBot2,067건Advertising & MarketingChatGPT 광고로 제출된 페이지의 안전성·관련성 확인
GPTBot1,992건AI Crawler기초 모델 학습에 사용될 수 있는 콘텐츠 수집

역할에 따라 점검 대상도 구분된다. OAI-SearchBot은 검색을 위한 수집 경로, ChatGPT-User는 사용자 요청에 따른 정보 접근, GPTBot은 학습 관련 콘텐츠 이용 정책과 연결된다. OpenAI는 검색용과 학습용 봇의 제어를 독립적으로 설명한다.

OAI-AdsBot의 공식 용도는 광고로 제출된 페이지의 확인이며, 수집 데이터는 기초 모델 학습에 사용하지 않는다고 명시돼 있다. 이번 2,067건은 검색 노출 성과와 구분해야 한다. 집계만으로 247컴패스의 광고 집행 여부를 판단할 수 없으며, 광고 제출 이력과 요청 경로·검증 상태를 대조해야 한다.

OpenAI의 총요청 수만으로는 네 기능의 차이를 설명할 수 없다. 운영사 합계에 봇별 역할을 붙여야 어떤 기능을 위한 접근이 기록됐는지 구분할 수 있다.

Anthropic과 Perplexity에서 관찰되는 역할 구분#

Anthropic의 합계는 6,225건, Perplexity는 4,194건이다. Anthropic 은 ClaudeBot·Claude-SearchBot·Claude-User를, Perplexity 는 검색용 PerplexityBot과 사용자 요청형 Perplexity-User를 구분한다.

Anthropic·Perplexity의 봇별 요청과 역할
원본 봇 이름요청 수Clarity 분류역할 설명
Claude2,130건AI Crawler공식 ClaudeBot은 잠재적 모델 학습용 수집. 원본 표시 이름과 정확한 UA의 대응은 확인 필요
Claude-SearchBot2,010건AI SearchClaude 검색 품질을 위한 수집
Claude-User2,085건AI Assistant사용자 요청에 따른 페이지 가져오기
PerplexityBot2,182건AI SearchPerplexity 검색용 수집. 공식 문서는 기초 모델 학습용 수집과 구분
Perplexity-User2,012건AI Assistant사용자 동작에 따른 페이지 가져오기

ChatGPT-User·Claude-User·Perplexity-User 세 항목의 합계는 6,198건으로 전체의 8.54%다. 사용자 요청에 대응하는 봇의 접근이 기록됐다는 관찰이다. 한 사용자가 여러 요청을 만들 수 있고 운영자의 테스트도 포함될 수 있으므로, 6,198명의 독자나 그만큼의 자발적인 추천으로 환산하지 않는다.

검색봇·AI 검색봇·미리보기 봇의 활동 포착#

검색 수집 봇에서는 GoogleBot이 5,047건으로 개별 봇 중 가장 많았고, BingBot은 2,792건이었다. 두 항목의 합계는 7,839건으로 전체 봇 요청의 10.80%다.

Clarity에서는 두 봇 모두 AI Crawler에 포함돼 있다. 이 분류와 별도로 Google은 Googlebot의 검색 수집 역할 을, Bing은 Bingbot의 색인 수집 역할 을 설명한다. 검색 색인을 위한 접근 기록은 특정 AI 답변에 인용됐다는 증거와 구분한다.

NAVER의 Yeti는 351건으로 집계됐으며, Clarity 분류는 Search Engine Crawler다. 이 기간의 NAVER 요청은 검색엔진 크롤러 범주에만 집계됐다. NAVER의 공식 안내 는 Yeti를 검색용 웹문서 수집 로봇으로 설명한다.

다음 표는 검색·AI·공개 데이터 수집 경로에서 관측된 주요 봇의 역할을 대조한 결과다.

검색·AI·공개 데이터 수집에 걸친 주요 봇의 역할
원본 봇 이름요청 수Clarity 분류공식 설명으로 읽는 역할
GoogleOther988건AI CrawlerGoogle 제품팀의 범용 수집·연구개발 등에 사용 가능
Amazonbot2,419건AI CrawlerAmazon 서비스 개선과 모델 학습 등을 포함한 넓은 용도
ShapBot2,378건AI SearchParallel 웹 API의 검색 색인 구축
Applebot2,317건AI SearchApple 검색 경험 지원. 수집 자료는 AI 학습·응답 맥락에도 사용 가능
DuckAssistbot2,074건AI AssistantAI 지원 검색 답변용 정보 수집. 공식 문서는 모델 학습에 사용하지 않는다고 설명
CCBot2,032건AI SearchCommon Crawl의 공개 웹 크롤 저장소 수집
KimiBot2,124건AI CrawlerKimi 기초 모델 학습에 사용될 수 있는 콘텐츠 수집
Kimi-SearchBot1,941건AI SearchKimi 검색 색인 수집
Yeti (NAVER)351건Search Engine CrawlerNAVER 검색용 웹문서 수집. 이번 기간에는 검색엔진 크롤러 범주로만 집계

출처: Google , Amazon , Parallel , Apple , DuckDuckGo , Common Crawl , Kimi , NAVER .

CCBot의 AI Search는 Clarity의 분류이고, 공개 웹 크롤 저장소 수집은 운영사의 역할 설명이다. 수집한 자료가 이후 어떤 모델이나 서비스에서 사용됐는지는 이번 요청 기록으로 확인할 수 없다. Applebot처럼 공식 설명이 여러 용도를 포함하는 경우도 있으므로 봇 하나를 목적 하나에만 대응시키지 않는다.

Google-Extended와 Applebot-Extended는 각각의 공식 문서에서 robots.txt를 통한 수집 데이터의 이용 제어 항목으로 설명된다. 별도의 웹 수집 봇은 아니므로, 관측 목록에 없다는 사실만으로 관련 데이터 이용 여부를 판단하지 않는다.

Meta의 수집·사용자 요청·검색·미리보기 역할 구분#

Meta의 공식 문서 는 수집, 사용자 요청, AI 검색, 링크 미리보기를 구분한다.

Meta 봇의 Clarity 분류와 공식 역할을 함께 읽기
원본 봇 이름요청 수Clarity 분류Meta가 설명하는 역할
Meta-ExternalAgent2,510건AI Crawler기초 모델 학습·제품 색인 등을 위한 수집
Meta-ExternalFetcher2,007건AI Assistant사용자가 요청한 개별 링크 가져오기
FacebookExternalHit37건Page Preview공유 링크의 제목·설명·썸네일 가져오기
Meta-WebIndexer16건Page PreviewMeta AI 검색 품질과 인용·링크 지원

Meta-WebIndexer의 Clarity 분류는 Page Preview로 유지했다. 공식 문서의 AI 검색 역할은 별도 열에 기재했다. 분류별 합계는 원본을 보존하고, 기능 설명은 운영사 문서에 근거해 대조하는 방식이다.

247컴패스의 7일 데이터에서 확인되는 사실#

운영사별 요청 분포와 집중도#

운영사 표기별로는 OpenAI, Google, Anthropic, Meta, Perplexity가 상위 다섯 항목이다. 이들의 합계는 29,599건으로 전체의 40.78%이며, 나머지 58개 운영사 표기가 59.22%를 차지한다.

원본의 운영사 표기에는 기업 이름 외에 범용 도구·라이브러리 이름이 포함돼 있다. Moonshot AI와 Kimi처럼 관련 서비스가 서로 다른 이름으로 표시된 항목도 있다. 따라서 63개 표기를 63개 독립 기업이나 AI 서비스로 셈하지 않는다.

상위 5개 운영사 표기의 요청 비중 OpenAI·Google·Anthropic·Meta·Perplexity의 합계 29,599건은 전체의 40.78%다. 나머지 58개 표기는 59.22%다. 기업 수나 AI 시장점유율과는 구분한다. 자료: 247컴패스 봇 집계. 개별 봇과 운영사 합계의 중복 합산 제외.
운영사 표기 상위 5개와 나머지 항목의 요청 수
운영사 표기요청 수전체 봇 요청 대비
OpenAI8,285건11.42%
Google6,325건8.71%
Anthropic6,225건8.58%
Meta4,570건6.30%
Perplexity4,194건5.78%
나머지 운영사 표기 58개42,979건59.22%

집계상 요청은 한두 주체에만 집중되지 않고 여러 운영사 표기에 분포한다. 운영 점검에서는 주요 검색·AI 경로별 요청 URL과 응답 상태를 대조할 필요가 있다. 이 비중 자체가 플랫폼의 시장점유율이나 247컴패스에 대한 선호도를 측정한 결과는 아니다.

학습·검색·사용자 요청의 구분과 점검 항목#

봇의 역할별로 필요한 점검 항목을 구분하면 다음과 같다.

  • 검색을 위한 접근: 공개 페이지의 수집 가능 여부와 주요 페이지의 오류 응답.
  • 학습 관련 접근: 콘텐츠 이용 정책과 운영사별 제어 방법.
  • 사용자 요청형 접근: 요청한 정보에 대한 접근 가능 여부와 접근 제어의 동작.
  • 미리보기·SEO 점검·자동화 도구: 공유 정보의 정확성과 반복 요청의 운영상 영향.

Search Engine Optimization으로 집계된 ClarityBot/은 850건이었다. seoClarity의 설명 에 따르면 이 봇은 고객이 요청한 사이트 감사를 수행하며, Microsoft Clarity 분석 도구와는 구분된다. Semrush의 봇 은 백링크 그래프·사이트 감사·페이지 점검 등을, Majestic의 MJ12Bot 은 사이트 간 링크 관계 수집을 지원한다. 이 기록으로 분석을 요청한 주체까지 특정할 수는 없다.

curl, python-requests, Go-http-client 같은 범용 도구 이름만으로는 운영사나 사용 목적을 특정할 수 없다. 요청의 유용성이나 악성 여부도 이름만으로 판단하지 않는다. Google의 크롤러 검증 문서 나 Bing의 검증 도구 처럼 발신자 확인 수단이 있는 경우 실제 로그와 대조할 수 있다.

한 구간의 분포와 추세 분석의 구분#

이번 자료는 7일 합계 한 구간의 분포다. 이전 주 비교와 일별 요청 수가 없으므로 ‘AI 봇이 급증했다’, ‘새 글 발행 뒤 수집이 늘었다’, ‘검색봇이 AI 봇으로 대체됐다’는 주장은 검증할 수 없다.

요청 URL과 언어별 구분이 없어 글별 수집량을 확인할 수 없고, 상태 코드와 응답 크기가 없어 수집 성공률이나 서버 부담도 계산할 수 없다. 여러 봇의 건수가 비슷하다는 사실만으로 수요가 같다고 판단할 수도 없다. 관측된 접근 분포와 추가 관측이 필요한 추세·성과를 구분해야 한다.

요청 이후에 확인할 대상: 응답·인용·방문#

247컴패스의 7일 기록은 운영사·서비스의 목적에 따른 콘텐츠 접근을 관측한 자료다. 여기에는 자동 수집뿐 아니라 사용자의 요청을 처리하기 위한 봇 접근도 포함된다. 이 요청이 콘텐츠 전달, AI 답변의 인용, 사람의 방문으로 이어졌는지는 각각 별도 자료로 확인해야 한다.

봇 로그는 GEO를 위한 콘텐츠 접근·전달 과정의 오류를 점검하는 데 활용할 수 있다. 사용자 트래픽으로 분류된 Analytics 데이터는 사이트에 도착한 콘텐츠와 방문 이후의 선택·행동을 관찰하는 자료다. 두 자료 사이에 실제 AI 답변의 인용 확인을 별도 단계로 두면 측정 대상이 명확해진다.

콘텐츠의 제공과 선택: 서로 다른 세 가지 관측 대상 봇 요청, 답변의 출처 인용, 사용자 방문은 각각의 기록으로 확인한다.

1. 서비스의 콘텐츠 접근

봇 트래픽 · Cloudflare → Clarity

어떤 봇이 요청했고, 콘텐츠는 정상적으로 전달됐는가?

  • 운영사의 수집·검색·사용자 요청 처리 목적
  • 요청한 봇·URL·시각
  • 응답 상태·차단·반복 요청

콘텐츠 제공 경로의 오류 점검

2. AI 답변의 출처 인용

실제 답변과 출처의 직접 관찰

어떤 콘텐츠가 실제 답변의 출처로 제시됐는가?

  • 답변에 표시된 출처 URL
  • 질문·서비스·관측일
  • 인용 문맥과 링크의 형태

실제 인용 여부와 맥락 확인

3. 사용자의 선택과 방문

사용자 트래픽 · Analytics

어떤 콘텐츠에 도착했고, 이후 어떤 행동을 선택했는가?

  • 방문한 페이지와 식별 가능한 유입 경로
  • 세션과 설정된 행동 이벤트
  • 문의·다운로드 등 측정된 전환

선택된 콘텐츠와 방문 이후 행동 확인

봇 요청 수·인용 횟수·사용자 방문 수는 서로 다른 지표다. 봇 요청만으로 인용을, Analytics의 방문 기록만으로 실제 인용 여부를 확정할 수 없다. 식별 가능한 AI 서비스 유입 경로와 실제 답변의 출처를 대조해야 한다.

Analytics의 유입 경로와 첫 도착 페이지는 Google의 트래픽 획득 보고서 와 방문 페이지 보고서 의 정의에 따라 구분한다. 실제 인용 여부는 답변과 출처를 직접 관찰해 대조한다.

요청 URL과 응답 상태를 추가하면 주요 봇이 어떤 페이지에서 오류나 접근 제한을 만났는지 점검할 수 있다. 이번 7일 합계에는 이 상세 로그가 없으므로 오류율을 계산하거나 특정 페이지의 제공 실패를 단정하지 않는다. 마찬가지로 이 글에서 별도의 Analytics 방문 수나 전환 수를 추정하지 않는다.

이는 AI 검색 가시성과 실제 유입의 차이 와도 관련된다. 봇 통계는 콘텐츠 접근 경로를 파악하는 자료다. 독자에게 전달된 정보와 실제 행동까지 평가하려면 인용된 페이지, 유입 경로, 방문 이후의 행동을 추가로 관찰해야 한다.

자료와 해석 기준#

  • 자료: 247컴패스의 Cloudflare 데이터를 Microsoft Clarity에 연동한 봇 연산자·봇 활동 데이터.
  • 기간: 2026년 11월 4일~11월 10일.
  • 공식 자료 확인일: 2026년 11월 11일.
  • 집계 범위: 봇 이름 93개, 운영사 표기 63개, 요청 72,578건.
  • 비중 기준: 전체 봇 요청 72,578건. 운영사·개별 봇의 중복 합산 제외, 소수 둘째 자리 반올림.
  • 역할 근거: 운영사 공식 문서. 이름 대응이나 역할이 불명확한 항목은 부록에 별도 표기.
  • 분석 범위 밖의 지표: 요청별 응답 결과, 실제 AI 답변 인용, 사용자 방문·전환.

부록: 관측된 봇별 분류와 역할#

봇별 요청 수, Clarity 분류, 공식 역할과 근거를 대조한 목록이다.

전체 봇 93개 분류·역할 대조표봇별 요청 수 · Clarity 분류 · 공식 역할과 출처 전체 목록 펼치기목록 접기
2026년 11월 4일~11월 10일 봇별 요청 수·Clarity 분류·역할 대조표
봇 이름 / 운영사 표기요청 수Clarity 분류역할 설명과 근거
OAI-SearchBot
OpenAI
2,125건Search Engine CrawlerChatGPT 검색 결과용 수집. 요청만으로 인용・노출을 입증하지 않는다.
OpenAI Crawlers · 공식 설명과 표시 이름 대조
ChatGPT-User
OpenAI
2,101건AI Assistant특정 사용자 요청에 따른 페이지 가져오기. 자동 웹 크롤링용이 아니며 사용자 수와 동일하지 않다.
OpenAI Crawlers · 공식 설명과 표시 이름 대조
OAI-AdsBot
OpenAI
2,067건Advertising & MarketingChatGPT 광고로 제출된 페이지의 안전성・관련성 확인. 기초 모델 학습용이 아니다. 제출 이력・IP・경로 대조 필요.
OpenAI Crawlers · 공식 설명과 표시 이름 대조
GPTBot
OpenAI
1,992건AI Crawler기초 모델 학습에 쓰일 수 있는 콘텐츠 수집. 개별 요청의 학습 반영은 미확인.
OpenAI Crawlers · 공식 설명과 표시 이름 대조
GoogleBot
Google
5,047건AI CrawlerGoogle 검색용 크롤러. 원본의 AI Crawler 분류는 유지하며 이 요청을 학습용으로 확정하지 않는다.
Google common crawlers · 공식 설명과 표시 이름 대조
GoogleOther
Google
988건AI CrawlerGoogle 제품팀의 범용 수집・내부 연구개발 등에 쓰일 수 있다. 개별 사용 목적 미확인.
Google common crawlers · 공식 설명과 표시 이름 대조
Chrome-Lighthouse
Google
177건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Google-Agent
Google
78건AI Assistant원본상 AI Assistant로 분류. 이름만으로 개별 사용자 요청이나 사람 수를 단정하지 않는다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Google Images
Google
22건Search Engine CrawlerGoogle 이미지 검색 관련 표시 이름. 공식 UA 식별명 Googlebot-Image와의 대응은 전체 UA 대조 필요.
Google common crawlers · 공식 설명과 표시 이름 대조
HeadlessChrome
Google
10건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Google-Apps-Script
Google
1건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Google Site Verification
Google
1건Security원본상 보안 범주. 취약점・공격 발생을 뜻하는 기록은 아니다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Google Image Proxy
Google
1건Page Preview원본상 페이지 미리보기 범주. 정확한 동작은 공식 문서 추가 대조 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Claude
Anthropic
2,130건AI Crawler공식 문서의 ClaudeBot은 잠재적 모델 학습용. 원본 표시 Claude와 정확한 UA의 대응은 확인 필요.
Anthropic crawler controls · 공식 설명과 표시 이름 대조
Claude-User
Anthropic
2,085건AI Assistant사용자 요청에 따른 페이지 가져오기. 사람 수・추천 횟수로 환산할 수 없다.
Anthropic crawler controls · 공식 설명과 표시 이름 대조
Claude-SearchBot
Anthropic
2,010건AI SearchClaude 검색 품질을 위한 수집.
Anthropic crawler controls · 공식 설명과 표시 이름 대조
Meta-ExternalAgent
Meta
2,510건AI Crawler기초 모델 학습・제품 색인 등을 위한 수집. 단일 용도로 고정하지 않는다.
Meta Web Crawlers · 공식 설명과 표시 이름 대조
Meta-ExternalFetcher
Meta
2,007건AI Assistant사용자가 요청한 개별 링크를 가져와 제품 기능을 지원한다.
Meta Web Crawlers · 공식 설명과 표시 이름 대조
FacebookExternalHit
Meta
37건Page PreviewMeta 앱에 공유된 링크의 제목・설명・썸네일을 가져오는 미리보기용.
Meta Web Crawlers · 공식 설명과 표시 이름 대조
Meta-WebIndexer
Meta
16건Page PreviewMeta AI 검색 품질과 인용・링크 지원. 원본 Page Preview 범주를 AI Search로 옮기지 않는다.
Meta Web Crawlers · 공식 설명과 표시 이름 대조
PerplexityBot
Perplexity
2,182건AI SearchPerplexity 검색용 수집. 기초 모델 학습 수집과 구분한다.
Perplexity crawlers · 공식 설명과 표시 이름 대조
Perplexity-User
Perplexity
2,012건AI Assistant사용자 동작에 따른 가져오기. 자동 크롤링이나 학습 수집용으로 설명되지 않는다.
Perplexity crawlers · 공식 설명과 표시 이름 대조
KimiBot
Moonshot AI
2,124건AI CrawlerKimi 기초 모델 학습에 쓰일 수 있는 콘텐츠 수집.
Kimi Crawlers · 공식 설명과 표시 이름 대조
Kimi-SearchBot
Moonshot AI
1,941건AI SearchKimi 검색 색인 수집.
Kimi Crawlers · 공식 설명과 표시 이름 대조
BingBot
Microsoft
2,792건AI CrawlerBing 색인용 신규・갱신 페이지 수집. 기록만으로 Copilot 인용을 확정하지 않는다.
Bing crawlers · 공식 설명과 표시 이름 대조
Amazonbot
Amazon
2,419건AI CrawlerAmazon 서비스 개선・정확한 정보 제공・모델 학습 등에 쓰일 수 있다. 별도 Amzn-SearchBot이나 Amzn-User와 혼동하지 않는다.
Amazon web search crawlers · 공식 설명과 표시 이름 대조
ShapBot
Parallel
2,378건AI SearchParallel 웹 API의 검색 색인 구축. 서명・IP 검증 방법이 공개되어 있다.
Parallel ShapBot · 공식 설명과 표시 이름 대조
Applebot
Apple
2,317건AI SearchSpotlight・Siri・Safari 등 검색 경험 지원. 데이터는 AI 학습・응답 맥락에 사용될 수 있으나 개별 요청 용도는 미확인.
About Applebot · 공식 설명과 표시 이름 대조
ChatGLM-Spider
Other Operators
2,027건AI Crawler원본 플랫폼의 운영사・범주 표기를 보존했다. 이번 조사에서 이 정확한 이름의 운영사 1차 역할・제어 문서는 확인하지 못했다. 학습 반영 확정 불가.
Cloudflare 봇 참조 · 공식 설명과 표시 이름 대조
Operator
Other Operators
203건AI Assistant원본상 AI Assistant로 분류. 이름만으로 개별 사용자 요청이나 사람 수를 단정하지 않는다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
ExaUser
Other Operators
39건AI Assistant원본상 AI Assistant로 분류. 이름만으로 개별 사용자 요청이나 사람 수를 단정하지 않는다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Google-NotebookLM
Other Operators
20건AI Assistant원본상 AI Assistant로 분류. 이름만으로 개별 사용자 요청이나 사람 수를 단정하지 않는다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Baiduspider
Baidu
2,097건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
DuckAssistbot
DuckDuckGo
2,074건AI AssistantAI 지원 검색 답변의 실시간 정보 수집. 모델 학습용이 아니다. 원본 AI Assistant 분류는 유지한다.
DuckAssistBot · 공식 설명과 표시 이름 대조
DuckDuckBot
DuckDuckGo
14건Search Engine CrawlerDuckDuckGo 검색용 수집. AI 답변용 DuckAssistBot과 구분한다.
DuckDuckBot · 공식 설명과 표시 이름 대조
Hunyuan
Tencent
2,076건AI Crawler공식 HySpider는 잠재적 학습 수집용이나 원본 Hunyuan 표시와의 대응은 확인되지 않았다.
Tencent Hunyuan crawler · 공식 설명과 표시 이름 대조
YouBot
You.com
2,074건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
MoonshotBot
Kimi
2,049건AI Crawler원본 운영사는 Kimi. 공식 Kimi 크롤러 문서에서 이 정확한 이름의 역할・대응은 확인되지 않았다. KimiBot과 합치지 않는다.
Kimi Crawlers · 공식 설명과 표시 이름 대조
CCBot
Common Crawl Foundation
2,032건AI SearchCommon Crawl 공개 웹 크롤 저장소 수집. 원본 AI Search 분류 유지. 특정 모델 학습이나 직접 인용을 증명하지 않는다.
Common Crawl CCBot · 공식 설명과 표시 이름 대조
QwenBot
Alibaba
2,024건AI Crawler원본 플랫폼의 운영사・범주 표기를 보존했다. 이번 조사에서 이 정확한 이름의 운영사 1차 역할・제어 문서는 확인하지 못했다. 학습 반영 확정 불가.
Cloudflare 봇 참조 · 공식 설명과 표시 이름 대조
cohere-ai
Cohere
2,017건AI Assistant현재 공식 문서는 기초 모델 학습을 위한 Cohere 봇 크롤링을 하지 않는다고 설명한다. 표시 이름만으로 실제 역할 확정 불가.
Cohere web crawlers · 공식 설명과 표시 이름 대조
DeepSeekBot
DeepSeek
2,006건AI Crawler공식 자료의 DeepseekBot은 모델 학습・출처 교차 검증 수집을 설명한다. 전체 UA・IP 인증은 추가 확인 필요.
DeepSeek training-content summary · 공식 설명과 표시 이름 대조
Bravebot
Brave Software, Inc.
2,002건AI Search공식 문서는 검색 크롤러가 별도 식별 UA를 쓰지 않는다고 설명한다. 이 표시의 실제 발신자・역할은 확인 필요.
Brave Search crawler · 공식 설명과 표시 이름 대조
Bytespider
ByteDance
2,000건AI Crawler원본 플랫폼의 운영사・범주 표기를 보존했다. 이번 조사에서 이 정확한 이름의 운영사 1차 역할・제어 문서는 확인하지 못했다. 학습 반영 확정 불가.
Cloudflare 봇 참조 · 공식 설명과 표시 이름 대조
ClarityBot/
Seoclarity
850건Search Engine OptimizationseoClarity 고객의 요청・일정에 따른 페이지・사이트 감사. Microsoft Clarity 분석 도구와 구분한다. 요청 주체를 이 표로 특정할 수 없다.
seoClarity ClarityBot · 공식 설명과 표시 이름 대조
SemrushBotBacklinks
Semrush
774건Search Engine Optimization공식 SemrushBot은 백링크 분석용 링크 그래프를 수집한다. 원본의 연결된 표시 이름과 정확한 UA의 대응은 대조 필요.
Semrush Bot · 공식 설명과 표시 이름 대조
SemrushBotBacklinkAudit
Semrush
8건Search Engine Optimization공식 SemrushBot-BA는 Backlink Audit 도구용이다. 원본 표시 이름과 정확한 UA는 대조 필요.
Semrush Bot · 공식 설명과 표시 이름 대조
SiteAuditBot
Semrush
3건Search Engine Optimization기술・SEO 문제를 찾는 사이트 감사용 봇.
Semrush Bot · 공식 설명과 표시 이름 대조
SemrushBotSI
Semrush
3건Search Engine Optimization공식 SemrushBot-SI는 On Page SEO Checker 등 도구용이다. 원본 표시 이름과의 대응은 대조 필요.
Semrush Bot · 공식 설명과 표시 이름 대조
PetalBot
Huawei
635건AI Crawler공식 검색 발췌상 Petal Search 색인・Huawei 추천・AI Search 지원. 공식 전체 본문은 확인하지 못했다. 원본 AI Crawler 분류 유지.
PetalBot (공식 검색 발췌만 확인) · 공식 설명과 표시 이름 대조
Go-http-client
Golang
219건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
YandexBot
Yandex
216건Search Engine CrawlerYandex의 주 검색 색인 수집용 봇.
Yandex robots verification · 공식 설명과 표시 이름 대조
SERankingBacklinksBot
SE Ranking
133건Search Engine Optimization공개 링크 수집으로 링크 구조 분석을 지원한다.
SE Ranking Backlinks crawler · 공식 설명과 표시 이름 대조
SE Ranking Bot
SE Ranking
18건Monitoring & Analytics공식 SEBot-WA는 사이트 감사・On-Page SEO 점검용. 이 표시 이름과의 대응은 확인 필요. 원본 Monitoring & Analytics 분류를 유지한다.
SE Ranking crawler FAQ · 공식 설명과 표시 이름 대조
DataForSEO Bot
DataForSEO
139건Search Engine Optimization백링크 분석을 위해 발견한 링크를 저장한다. 공식 UA DataForSeoBot과 원본 표시 이름의 대응은 대조 필요.
DataForSEO Link Bot · 공식 설명과 표시 이름 대조
DataForSEO
DataForSEO
3건Search Engine OptimizationDataForSEO의 백링크 수집 역할이 공식 문서에 있으나 이 단독 표시 이름의 정확한 UA・역할은 확인 필요.
DataForSEO Link Bot · 공식 설명과 표시 이름 대조
MJ12Bot
Majestic
133건Search Engine Optimization사이트 간 링크 관계를 수집해 Majestic 백링크 색인을 만든다.
Majestic MJ12Bot · 공식 설명과 표시 이름 대조
AhrefsBot
Ahrefs
102건Search Engine Optimization공식 검색 발췌상 외부 링크를 데이터베이스에 기록하고 주기적으로 재수집한다. 공식 본문 열람은 제한되어 발췌만 확인.
AhrefsBot (공식 검색 발췌만 확인) · 공식 설명과 표시 이름 대조
Barkrowler
Babbar
96건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Chrome Privacy Preserving Prefetch Proxy
Datadome
88건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
NetAPI
Datadome
4건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
HappyWing
Datadome
3건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Lightpanda
Grok-adjacent
85건AI Crawler원본상 AI Crawler로 분류. 정확한 봇별 역할・최종 사용은 공식 문서와 원본 요청 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
nbot
NBot
63건AI Search원본상 AI Search로 분류. 정확한 색인・답변 사용 방식은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
KeenableBot
Keenable
41건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Keenable-User
Keenable
1건AI Assistant원본상 AI Assistant로 분류. 이름만으로 개별 사용자 요청이나 사람 수를 단정하지 않는다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
HubSpot Crawler
HubSpot
37건Monitoring & Analytics원본상 모니터링・분석 범주. 요청의 세부 목적은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
curl
Haxx
34건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
ibou-search
ibou
27건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
HaloBot
Haloscan
26건Monitoring & Analytics원본상 모니터링・분석 범주. 요청의 세부 목적은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Moz dotbot
Moz
24건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
CensysInspect/
Censys
20건Security원본상 보안 범주. 취약점・공격 발생을 뜻하는 기록은 아니다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Reflectionbot
Reflection AI
20건AI Crawler원본상 AI Crawler로 분류. 정확한 봇별 역할・최종 사용은 공식 문서와 원본 요청 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
python-requests
python-requests
13건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Cốc Cốc
Coccoc
12건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Qwantbot
Qwant
11건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
SofyaBot
Sofya
9건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
ALittle Client
Udger
9건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
ZoomInfo
ZoomInfo
8건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
ICBot/
Ideasandcode
5건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
TurnitinBot
Turnitin
4건Academic Research원본상 학술 연구 범주. 세부 연구 프로젝트와 실제 이용 방식은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
YisouSpider
Yisou
4건Search Engine Crawler원본상 검색 수집 범주. 개별 서비스의 공식 목적・UA 인증은 추가 확인 필요.
제공 파일의 분류 · 세부 공식 역할 확인 보류
httpx
Python-httpx
4건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
GeedoShopProductFinder
Geedo SIA
3건Aggregator원본상 정보 집계 범주. 정확한 수집 목적은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
BrightEdge Bot
BrightEdge
3건Advertising & Marketing원본상 광고・마케팅 범주. 광고 집행이나 성과를 뜻하지 않는다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Python-urllib
Python-urllib
3건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
okhttp
okhttp
2건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Wordpress Namecheap
Namecheap
2건Monitoring & Analytics원본상 모니터링・분석 범주. 요청의 세부 목적은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Observer
Obsrvr
2건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
SeobilityBot
Seobility
2건Search Engine Optimization원본상 SEO 범주. 감사・백링크 등 봇별 세부 동작은 이번 조사에서 운영사 문서 대조 전.
제공 파일의 분류 · 세부 공식 역할 확인 보류
trafilatura
Github
1건Automation & Tooling원본상 자동화・도구 범주. 범용 클라이언트 이름만으로 실제 운영사나 목적을 특정할 수 없다.
제공 파일의 분류 · 세부 공식 역할 확인 보류
ResearchBot
Kaust
1건Academic Research원본상 학술 연구 범주. 세부 연구 프로젝트와 실제 이용 방식은 확인 보류.
제공 파일의 분류 · 세부 공식 역할 확인 보류
Yeti
NAVER
351건Search Engine CrawlerNAVER 검색용 웹문서 수집. 이번 기간의 NAVER 요청 351건은 검색엔진 크롤러 범주로만 집계됐다.
Clarity 집계 · NAVER 공식 안내

247컴패스의 관점#

AI 인용과 검색 노출의 출발점은 봇이 우리 콘텐츠에 접근하고 수집할 수 있는 기술적 기반입니다. 봇의 활동 이후에도 실제 노출과 인용은 각 플랫폼의 색인·알고리즘·정책에 따라 결정됩니다.

이것이 Technical SEO가 중요한 이유입니다. 콘텐츠는 그 기술적 기반 위에 얹힙니다. 피자에 비유하면 Technical은 도우이고, 콘텐츠는 토핑입니다.

여러분의 도우는 맛있는 토핑을 얹을 준비가 되어 있나요?

작성자


파운더 · 대표이사

247COMPASS의 설립자이자 대표인 정상원입니다. 콘텐츠 마케팅을 시작으로 검색엔진 최적화(SEO), 브랜드 콘텐츠 전략, 미디어 플래닝을 제공하며, 브랜드와 고객 간의 연결을 탐구하고 강화하는 역할을 수행하고 있습니다.

Next step

브랜드의 다음 방향을 함께 이야기하세요

검색, 콘텐츠, 미디어 전략이 필요한 순간 247COMPASS와 함께하세요.