llms.txt와 AI 크롤러: Google 공식 입장과 4일 서버 로그로 본 한계

llms.txt는 사이트 루트에 두는 마크다운 파일로, AI 에이전트가 사이트를 이해하도록 간결한 배경 설명과 링크를 제공하자는 제안입니다. 공식 웹 표준이 아니라 커뮤니티 의견을 받는 중인 제안이고, 구글은 Google 검색이 이 파일을 쓰지 않는다고 밝히고 있습니다.

llms.txt는 무엇을 위해 제안됐나

llms.txt는 Answer.AI의 Jeremy Howard가 2024년 9월에 처음 공개한 제안입니다. 사이트 루트(또는 하위 경로)에 /llms.txt라는 마크다운 파일을 두고, 그 안에 간결한 배경 설명과 안내, 그리고 상세 마크다운 문서로 가는 링크를 담자는 내용입니다.

문제의식은 이렇습니다. 웹 페이지는 사람을 위해 만들어져서 정보가 내비게이션과 광고, 자바스크립트에 둘러싸여 있습니다. 이것을 깨끗한 텍스트로 되돌리는 일은 어렵고 부정확하며, 맥락 창(context window)은 사이트 전체를 담기에 여전히 작습니다. 그래서 에이전트에게는 한곳에 모인 간결한 정보가 낫다는 것이 제안의 출발점입니다.

제안은 2026년 8월에 v2로 갱신됐습니다.

llms.txt는 표준인가

아닙니다. 제안(proposal)입니다.

원문 자체가 명세를 “커뮤니티 의견을 받는 중(open for community input)“이라고 밝히고 있고, 깃허브 저장소가 호스팅하는 문서를 “informal overview”라고 부릅니다. 공식 웹 표준 기구가 채택한 규격이 아닙니다.

다만 제안이 무시되고 있다는 뜻도 아닙니다. 크롬의 Lighthouse는 llms.txt를 “부상 중인 관례(emerging convention)“로 설명하고 에이전틱 브라우징 감사 항목에 넣었습니다. 파일이 없어 404가 나면 감사 결과를 Not Applicable로 처리하는데, 현재로서는 파일 제공이 선택 사항이기 때문이라고 명시합니다.

“제안이지만 일부 도구가 확인하기 시작한 상태” — 이것이 지금의 정확한 위치입니다.

Google Search는 llms.txt를 사용하나

사용하지 않습니다. 구글은 생성형 AI 최적화 가이드에서 llms.txt를 “Google 검색에서 무시해도 되는 것” 목록에 넣었습니다.

구글의 설명은 세 가지입니다. Google 검색(생성형 AI 기능 포함)에 나타나기 위해 별도의 기계 판독 파일이나 마크다운을 만들 필요가 없고, Google 검색 자체가 그것을 쓰지 않으며, 만들어 두어도 Google 검색의 노출이나 순위에 도움도 불이익도 없다는 것입니다.

다른 서비스나 시스템을 위해 만들어 유지하는 것은 괜찮다고도 덧붙입니다. 즉 “만들지 말라”가 아니라 “Google 검색을 위해서라면 만들 이유가 없다”입니다.

OpenAI 쪽은 어떨까요. 공식 크롤러 문서는 자사 문서 색인용으로 llms.txt를 제공한다고 안내할 뿐이고, OpenAI 크롤러가 다른 사이트의 llms.txt를 읽는지에 대해서는 언급이 없습니다. 그 문서가 다루는 제어 수단은 robots.txt의 OAI-SearchBot·GPTBot 태그입니다. 언급이 없다는 것은 “지원하지 않는다”가 아니라 “확인되지 않았다”입니다.

나비랑에서는 AI 크롤러가 실제로 어떻게 방문했나

나비랑 사이트 서버 로그를 완료된 4일 구간(2026-08-14T15:00:00Z 이상 2026-08-18T15:00:00Z 미만, 한국시간 8월 15일 0시부터 19일 0시 전까지)으로 집계했습니다.

AI·검색 크롤러 UA로 온 요청은 352건, 크롤러 계열은 8개, 접근한 경로는 53개였습니다.

크롤러 이름별로는 ClaudeBot이 89회(경로 17개)로 가장 많았고, ChatGPT-User 62회(경로 31개), Yeti 49회(경로 25개) 순이었습니다. 같은 회사의 크롤러라도 이름별로 방문량과 경로 수가 다르게 나타났습니다.

두 가지를 분명히 해 둡니다.

• 이 수치는 UA 문자열 기준 관측입니다. 역방향 DNS나 IP 대조를 하지 않았으므로 검증 비율은 **0%**입니다. 요청을 보낸 주체가 실제로 그 크롤러인지는 확인하지 않았습니다.
• 방문 기록은 답변 인용과 다른 지표입니다.

이 로그로 llms.txt 효과를 판단할 수 없는 이유

나비랑은 llms.txt를 운영하고 있고 위 로그도 실측입니다. 그런데 이 둘을 이어 붙여 “llms.txt가 효과가 있다/없다”고 말할 수는 없습니다.

이 데이터로 확인되는 것은 어떤 UA로 몇 번, 몇 개 경로에 요청이 왔는지뿐입니다. 확인되지 않는 것은 이렇습니다.

• llms.txt 때문에 방문이 늘었는지
• 크롤러가 llms.txt를 실제로 읽었는지
• llms.txt 때문에 인용이 늘었는지
• llms.txt 적용 전후로 무엇이 달라졌는지

비교 대상(적용 전 구간이나 미적용 사이트)이 없고, 다른 변수를 통제하지도 않았습니다. 방문량이 많다고 해서 그 원인이 llms.txt라고 말할 근거가 이 데이터 안에 없습니다.

로그를 공개하는 이유는 효과를 증명하기 위해서가 아니라, 크롤러 접근이 막히지 않았는지 확인하는 자료로서 그리고 “AI 크롤러 방문”이라는 말이 실제로 어떤 모습인지 보여 주기 위해서입니다.

그러면 지금 웹사이트 운영자는 어떻게 해야 하나

llms.txt를 AEO·GEO의 만능 수단처럼 다루지 않는 것이 먼저입니다. 확인된 사실만 놓고 보면 판단은 단순합니다.

• Google 검색 노출만이 목적이라면 llms.txt를 별도로 만들 필요는 없습니다. 구글이 쓰지 않는다고 명시했고, 노출이나 순위에 도움도 불이익도 없다고 밝혔습니다.
• 만들고 싶다면 만들어도 됩니다. 구글도 다른 시스템을 위해 유지하는 것은 괜찮다고 했고, 크롬 Lighthouse는 확인 항목에 넣었습니다. 다만 구글이 밝힌 범위는 Google 검색의 노출·순위에 도움도 불이익도 없다는 것까지입니다. 제작·유지 비용이나 그 밖의 영향은 이 근거가 말해 주지 않습니다.
• 다만 우선순위를 착각하지 않아야 합니다. llms.txt보다 먼저 robots.txt의 크롤링 설정, 사이트맵을 통한 URL 발견, 페이지의 접근 가능성과 색인 가능성(indexability) 같은 기본 기술 요소를 점검해야 합니다. 그리고 색인은 그 자체가 별도 단계이며 보장되지 않습니다 — 구글도 요건을 모두 충족해도 크롤링·색인·게재가 보장되지는 않는다고 밝히고 있습니다.

무엇보다 파일 하나를 두는 것과 답변에 인용되는 것은 다른 층위의 일입니다. 지금까지 확인한 근거만으로는 llms.txt 하나가 답변 인용을 만든다고 볼 수 없습니다.

참고 자료

• The /llms.txt file, v2 — Jeremy Howard(Answer.AI). 제안의 정의·목적과 open for community input 상태의 1차 출처 (2026-08-20 확인)
• Google 검색 센트럴 — 생성형 AI 기능 최적화 가이드 — Google 검색이 LLMS.txt 를 쓰지 않으며 노출·순위에 도움도 불이익도 없다는 1차 출처
• Google 검색 센트럴 — AI features and your website — 요건을 충족해도 크롤링·색인·게재가 보장되지 않는다는 서술
• llms.txt — Lighthouse Agentic browsing audits — emerging convention 표현과 파일 제공이 선택 사항이라는 서술 (Chrome for Developers)
• Overview of OpenAI Crawlers — OAI-SearchBot·GPTBot 구분. 타 사이트 llms.txt 소비 여부는 이 문서에 언급이 없다
• 나비랑 서버 로그 — 2026-08-14T15:00:00Z 이상 2026-08-18T15:00:00Z 미만(한국시간 8/15~8/19, 완료된 4일). UA 기준 관측이며 역방향 DNS·IP 대조는 하지 않았다