AI 크롤러가 다녀갔는데 왜 인용되지 않나요?

크롤러 방문과 답변 인용은 다른 단계입니다. 크롤러마다 목적이 나뉘어 학습용 봇의 방문은 검색 답변 노출과 무관하고, 공식 문서도 색인과 게재를 보장하지 않는다고 밝히고 있습니다.

방문 기록을 성과로 읽게 되는 이유

서버 로그에 GPTBot, PerplexityBot 같은 이름이 찍히면 “AI가 우리 사이트를 읽고 있다”는 신호로 보입니다. 그 다음 기대는 자연스럽게 “그러면 곧 답변에도 나오겠구나”로 이어집니다.

이 연결이 성립하지 않는 이유는 단순합니다. 방문한 봇이 하는 일이 서로 다르기 때문입니다. 나비랑 로그를 실제로 센 기록과 그 한계는 AI 크롤러란 무엇이고, GPTBot·ClaudeBot 방문 로그는 무엇을 말해주는가?에 따로 있습니다.

봇마다 역할이 나뉘어 있습니다

OpenAI는 크롤러를 용도별로 구분해 두었습니다. GPTBot은 생성형 AI 기반 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 용도이고, OAI-SearchBot은 ChatGPT의 검색 기능에서 사이트를 노출시키는 용도입니다. 공식 문서는 두 설정이 서로 독립적이라고 적고 있습니다. 학습용 봇을 막고 검색용 봇만 허용하는 조합이 가능하다는 뜻이고, 반대로 학습용 봇이 다녀간 기록은 검색 답변 노출과 직접 연결되지 않는다는 뜻이기도 합니다.

ChatGPT-User는 또 다른 경우입니다. 사용자가 질문했을 때 페이지를 방문하는 사용자 개시 조회이고, 검색에 콘텐츠가 나타날지를 판단하는 데 쓰이지 않습니다.

Perplexity도 같은 구조입니다. PerplexityBot은 검색 결과에 사이트를 노출하고 링크하기 위한 것이고, Perplexity-User는 사용자가 질문했을 때 정확한 답을 만들기 위해 페이지를 방문하는 것입니다. 여기서도 각 설정은 독립적으로 동작한다고 명시돼 있습니다.

즉 로그에 남은 한 줄만 보고는 그 방문이 어느 단계의 일이었는지 알 수 없습니다. user-agent 이름을 확인하지 않은 “AI 크롤러 방문 수”는 해석할 수 없는 숫자입니다.

크롤링됐다고 게재가 보장되지도 않습니다

방문한 봇이 검색용이었다고 해도 다음 단계가 자동으로 따라오는 것은 아닙니다.

Google은 AI 기능 관련 문서에서 AI Overviews나 AI Mode에 링크로 나타나려면 페이지가 색인되어 있고 스니펫과 함께 검색에 노출될 수 있어야 한다고 설명하면서, 별도의 추가 기술 요건은 없다고 덧붙입니다. 그리고 같은 문서가 이렇게 못 박습니다. 요건과 모범사례를 모두 충족하고 정책을 지켜도 구글이 콘텐츠를 크롤링하거나 색인하거나 게재한다는 뜻은 아니며, 색인과 게재는 보장되지 않는다는 것입니다.

정리하면 방문 → 색인 → 노출 후보 → 실제 인용은 각각 별개의 관문이고, 앞 단계를 통과했다는 것이 뒤 단계를 약속하지 않습니다.

그러면 무엇을 확인해야 하나

방문 로그는 접근이 막히지 않았는지를 확인하는 자료로 쓰는 것이 정확합니다. 다음 순서로 보면 해석이 어긋나지 않습니다.

1. user-agent를 구분해 기록합니다. 검색용 봇과 학습용 봇을 한 칸에 합쳐 세면 뒤 단계와 연결할 수 없는 숫자가 됩니다.
2. 검색용 봇이 robots.txt와 방화벽에서 막히지 않았는지 확인합니다. OpenAI와 Perplexity 모두 검색 노출을 원한다면 해당 봇을 robots.txt에서 허용할 것을 권고합니다. 서버와 robots.txt 쪽 점검 항목은 AI 크롤러 최적화에 정리돼 있습니다.
3. 색인 상태를 따로 확인합니다. 방문 기록은 색인 여부를 알려주지 않습니다.
4. 답변에서의 언급과 인용을 별도로 측정합니다. 이것만이 “답변에 나왔는가”에 답하는 지표입니다. 나비랑은 이 단계를 인용 모니터링으로 다룹니다.

언급과 인용도 같은 것이 아닙니다

답변 안에서 회사 이름이 문장으로 언급되는 것과, 출처 링크로 인용되는 것은 다른 사건입니다. 측정할 때 두 가지를 한 칸에 합치면 “좋아졌다/나빠졌다”를 말할 수는 있어도 무엇을 고쳐야 하는지는 나오지 않습니다.

방문·색인·언급·인용을 각각 따로 기록해 두면, 문제가 생겼을 때 어느 관문에서 막혔는지 바로 좁힐 수 있습니다.

근거

• Overview of OpenAI Crawlers — OpenAI. GPTBot(학습용)과 OAI-SearchBot(검색 노출용)을 분리하고 각 설정이 서로 독립적임을 명시.
• AI features and your website — Google Search Central. 요건을 충족해도 크롤링·색인·게재는 보장되지 않는다고 명시.
• Perplexity Crawlers — Perplexity. PerplexityBot(검색 노출)과 Perplexity-User(사용자 요청 조회)를 분리하고 각 설정이 독립적으로 동작함을 명시.