AI는 우리 사이트를 얼마나 읽고 있나요? — 46일 크롤러 기록 9,449회

무엇을 쟀나

나비랑 사이트는 요청마다 사용자 에이전트(UA)를 보고 AI·검색 크롤러를 분류해 기록합니다. 이 글은 그 기록 중 2026년 8월 15일부터 9월 29일까지 46일(한국 시간, 하루가 끝난 날만)을 집계한 것입니다.

항목	값
요청	9,449회
봇	18종 (11개 회사)
경로	462개 (robots.txt·사이트맵 포함)
Cloudflare 검증	6,301회 (66.7%) — 나머지는 UA 문자열로만 판정
뺀 것	자격증명 탐색 같은 공격성 요청 735회, 기록 장치 점검용 테스트 요청

뺀 735회 중 724회는 자동 분류 규칙이 걸렀고, 11회는 규칙이 놓친 것(/%2eenv처럼 인코딩된 .env 탐색 등)을 이 글을 쓰며 손으로 뺐습니다. 8월 25일 이전 요청에는 Cloudflare 검증값 자체가 없으므로, 검증 비율이 낮다고 “대부분 가짜”로 읽으면 안 됩니다.

4일치(352건)를 다룬 이전 기록은 그대로 둡니다. 새로 잰 값은 새 글로 냅니다.

누가 얼마나 왔나

회사	요청	주요 봇
Microsoft	2,118	bingbot
OpenAI	2,061	ChatGPT-User 1,175 · OAI-SearchBot 825 · GPTBot 61
Perplexity	1,558	PerplexityBot 1,553
Google	1,471	Googlebot 1,089 · GoogleOther 374
Anthropic	910	ClaudeBot 870 · Claude-User 39
네이버	576	Yeti
Meta	421	meta-externalagent
기타	334	Applebot 253 · Amazonbot 74 등

PerplexityBot 1,553회에는 Cloudflare 검증값이 붙은 요청이 하나도 없었습니다. UA 문자열로만 판정한 수치라는 뜻입니다.

ChatGPT가 대화 중에 가져간 1,175회

가장 눈여겨본 것은 ChatGPT-User입니다. 색인을 만들려고 미리 돌아다니는 봇이 아니라, ChatGPT 사용자가 대화하는 도중에 페이지를 실시간으로 가져갈 때 찍히는 이름입니다(크롤러 종류별 역할). 1,175회 중 927회가 Cloudflare 검증을 통과했습니다.

그런데 절반이 한 페이지에 몰려 있습니다.

구분	요청	경로
홈(/)	597	1
홈 외	578	158

홈 597회는 관심의 근거로 쓰지 않습니다

홈 조회는 8월 26일까지 하루 05회였다가 **8월 27일부터 하루 1123회로 올라 주말 없이 일정하게** 이어졌습니다. 시간대도 한국 시간 새벽 0~2시가 낮과 비슷할 만큼 고르게 퍼져 있습니다. 한국 사용자의 질문이 만드는 모양으로 보기 어렵습니다. 누가 왜 반복 조회하는지는 로그로 알 수 없습니다.

게다가 이 기간에 저희가 ChatGPT에 직접 물어본 테스트 조회도 섞여 있습니다. 두 요인을 걸러낼 방법이 없으므로 홈 597회는 수요의 근거로 쓰지 않습니다.

홈 밖 578회 — 영어판 논문 정리가 가장 많았습니다

영역	요청
영어판 전체	331
└ 영어판 논문 라이브러리	185
한국어 인사이트	88
지역 페이지	33
한국어 논문 라이브러리	10

많이 가져간 페이지는 이렇습니다.

페이지	요청
영어판 ChatGPT 검색 가이드	70
영어판 논문 정리 — AI 검색과 퍼블리셔 유입 실험	64
영어판 논문 라이브러리 목록	50
영어판 논문 정리 — SAGEO Arena	21
영어판 논문 정리 — 구글 AI 개요 측정	15
영어판 논문 정리 — 인용 흡수	14
한국어 — AEO·GEO 업체 선정 기준	10

저희는 영어로 논문 관련 질문을 테스트한 적이 없습니다. 그래서 이 부분이 기록에서 가장 깨끗한 신호입니다. 영어권 ChatGPT 사용자의 AI 검색 연구 질문에 저희 논문 요약이 실시간 재료로 불려 가고 있습니다. 논문 라이브러리를 원문을 읽고 조건과 한계를 붙여 정리한 레퍼런스로 만든 방향이 적어도 “가져가는” 단계까지는 작동하고 있다는 관측입니다.

이 기록이 말하지 않는 것

• 인용 여부 — 가져간 뒤 답변에 썼는지, 출처로 링크했는지는 서버 로그에 남지 않습니다. 인용은 답변을 직접 보고 기록해야 합니다(성과 측정 방법)
• 질문 내용 — 어떤 질문 때문에 가져갔는지 알 수 없습니다
• 사람 수 — 한 사람이 여러 번 물었을 수도, 자동화된 도구일 수도 있습니다
• 순위 — 다른 회사의 로그가 없으므로 “우리가 가장 많이 읽힌다”고 말할 수 없습니다. 페이지가 많고 자주 갱신되는 사이트는 크롤러가 더 자주 오기도 합니다

“크롤러가 N만 번 방문했다”며 성과를 말하는 자료를 보시면 위 네 가지를 물어보시면 됩니다. 조건 없는 수치를 읽는 법은 대행사가 말하는 성과 수치, 어디까지 믿을 수 있나에 정리했습니다.

원본 데이터

ai-crawler-2026-08-15-to-09-29.csv 내려받기 — 2,272행 (봇 × 경로)

열은 봇 계열·봇 이름·봇 분류·경로·요청 수·Cloudflare 검증 요청 수·집계 구간입니다. 개별 요청 시각과 IP는 넣지 않았습니다. 2026년 9월 29일까지의 동결 스냅샷이며, 다음 집계는 새 파일로 냅니다.

우리 사이트에 AI 크롤러가 오고 있는지, 온다면 무엇을 가져가는지 확인하고 싶으시면 무료 AEO 진단에서 함께 봐 드립니다.