CLAUDE

Claude 인용 레퍼런스 —
검색용 크롤러를
따로 열어야 합니다

Anthropic 도 크롤러를 용도별로 나눠 두었습니다. 학습용 ClaudeBot 만 열어 두고 검색용 Claude-SearchBot 을 막아 두면 웹 검색 답변에서 빠집니다.

직답

Claude(클로드)는 Anthropic 이 운영하는 답변엔진입니다. 웹 검색 기능을 쓸 때 참조한 문서를 출처로 표시하며, 크롤러는 용도별로 세 개로 나뉩니다 — 학습용 ClaudeBot, 검색 색인용 Claude-SearchBot, 사용자가 링크를 요청했을 때 조회하는 Claude-User 입니다. 검색 답변에 등장하려면 Claude-SearchBot 이 열려 있어야 합니다.

크롤러 3종 분리검색은 Claude-SearchBot학습만 선별 차단 가능

SPEC

Claude 사양

확인 가능한 항목만 적었습니다. 오른쪽에 확인 방법이 있는 행은 직접 재현해 보실 수 있습니다.

운영사: Anthropic
크롤러: ClaudeBot(학습 데이터 수집) · Claude-SearchBot(검색 색인) · Claude-User(사용자 요청 시 조회) 서버 접근 로그의 User-Agent 에서 확인합니다.
검색 노출의 관문: Claude-SearchBot. 학습용만 열어 두면 웹 검색 답변에서 빠질 수 있습니다 robots.txt 에 Claude-SearchBot 그룹이 있는지, 있다면 Allow 인지 확인합니다.
학습만 막고 검색은 열기: 가능합니다. 이름이 분리돼 있어 선별 설정이 가능합니다
인용 표기: 웹 검색을 사용한 답변에서 참조한 문서를 출처로 표시합니다
한국어: 지원합니다
흔한 설정 실수: robots.txt 에 ClaudeBot 만 적고 Claude-SearchBot 을 빠뜨리는 경우. UA 별 그룹은 * 그룹을 대체하므로 각각 명시해야 합니다

CONDITIONS

Claude에 인용되려면

이 엔진에서 특히 갈리는 항목입니다. 모든 엔진에 공통인 원칙은 답변엔진 허브에 정리했습니다.

Claude-SearchBot 이 열려 있어야 합니다

ClaudeBot 만 허용하고 검색용을 빠뜨리면 웹 검색 기반 답변의 후보에서 빠집니다. 이름이 비슷해 놓치기 쉬운 항목입니다.

UA 별 그룹을 각각 명시해야 합니다

robots.txt 에서 특정 User-Agent 그룹은 `*` 그룹을 대체합니다. `*` 에만 규칙을 써 두면 명시된 크롤러에게는 적용되지 않습니다.

문단이 근거와 함께 완결돼야 합니다

잘라 인용해도 뜻이 남고 근거가 함께 남는 문단이 인용 단위가 됩니다. 근거 없이 결론만 있는 문장은 쓰이기 어렵습니다.

MYTHS

흔한 오해

진단에서 반복해서 만나는 것만 적었습니다.

“ClaudeBot 을 막으면 Claude 답변에서 완전히 사라진다”

학습용을 막아도 검색용이 열려 있으면 웹 검색 답변에는 등장할 수 있습니다. 반대로 검색용만 막으면 그 경로가 닫힙니다. 용도별로 나눠 판단해야 합니다.
“Claude 는 검색을 안 하니 AEO 대상이 아니다”

웹 검색 기능을 사용한 답변에서는 출처를 표시합니다. 나비랑이 7개 엔진 세트에 포함해 같은 조건으로 재고 있는 이유입니다.

HOW TO CHECK

직접 확인하는 방법

나비랑 진단에서도 같은 순서로 봅니다. 내부에서 먼저 해보셔도 됩니다.

01
robots.txt 에서 ClaudeBot · Claude-SearchBot · Claude-User 세 그룹이 각각 어떻게 설정돼 있는지 확인합니다.
02
`*` 그룹에만 규칙을 써 두지 않았는지 확인합니다(UA 별 그룹이 `*` 를 대체합니다).
03
웹 검색을 사용하는 조건에서 대상 질문을 던지고 출처 표시에 자사 도메인이 있는지 기록합니다.
04
서버 로그에서 Claude-SearchBot 의 방문 여부를 확인합니다.

FAQ

Claude 관련 질문

각 답은 그대로 인용하셔도 됩니다.

ClaudeBot과 Claude-SearchBot은 무엇이 다른가요?

용도가 다릅니다. ClaudeBot 은 학습 데이터를 수집하는 크롤러이고, Claude-SearchBot 은 검색 색인을 만드는 크롤러입니다. 웹 검색 기반 답변에 등장하는 경로는 후자입니다. 이름이 비슷해 robots.txt 에 하나만 적고 다른 하나를 빠뜨리는 실수가 흔합니다. 나비랑의 진단에서는 세 개(사용자 요청용 Claude-User 포함)를 각각 확인합니다.

학습에는 쓰이기 싫은데 인용은 되고 싶습니다.

가능합니다. Anthropic 은 크롤러 이름을 용도별로 분리해 두었기 때문에 ClaudeBot 만 Disallow 하고 Claude-SearchBot 은 Allow 하는 설정이 됩니다. 콘텐츠 자체가 상품인 매체에서 자주 선택하는 절충안입니다. 다만 모든 회사가 이렇게 나눠 두지는 않았으므로 엔진마다 따로 확인해야 합니다.

robots.txt에 `*`로 전부 허용해 두면 되지 않나요?

되지 않는 경우가 있습니다. robots.txt 에서 특정 User-Agent 그룹이 존재하면 그 크롤러는 `*` 그룹을 무시하고 자기 그룹만 읽습니다. 예를 들어 `*` 에 Allow 를 써 두고 어딘가에 ClaudeBot 그룹이 Disallow 로 남아 있으면 Claude 쪽만 막힌 상태가 됩니다. 나비랑 사이트의 robots.txt 도 이 때문에 그룹마다 규칙을 반복해 적어 두었습니다.