PAPER

출처는 진짜인데 내용이 어긋난다 — 인용 실패의 구조

AI가 실제로 존재하는 출처를 인용했다면, 그 인용은 믿을 만한가?

Verified Misguidance: Measuring Structural Citation Failures in Search-Augmented LLMs

저자: Yongsik Seo · Wooseok Jeong · Eunyoung Kim · Hyeonseo Jang · Dongha Lee
소속: ParamitaAI · 건국대학교 컴퓨터공학과 · 이화여자대학교 · 연세대학교 인공지능학과 · 인천국제공항공사
게재: arXiv 프리프린트 (CC-BY-SA 4.0)
제출: 2026-05-28
arXiv: arXiv:2605.28565
나비랑 확인일: 2026-08-24

이 논문이 말하는 것

믿을 만하지 않은 경우가 상당했습니다. 저자들은 '모델이 실제로 접근 가능한 진짜 출처를 인용하면서도 여러 차원에서 실패하는' 현상을 정의하고, 5개 제공사의 10개 모델에서 인용 쌍 761,495건을 검증했습니다. 인용의 30.6%가 출처를 왜곡했고, 27.1%는 그 도메인에 적합하지 않은 출처였습니다. 최대 96%의 이용자가 응답 하나당 최소 한 건의 구조적으로 오도하는 인용을 만났습니다.

원문 보기 (arXiv) ↗

METHOD

어떻게 쟀나

수치를 읽기 전에 조건을 먼저 봅니다. 같은 숫자도 표본과 환경이 다르면 다른 뜻입니다.

질의: 28개 Stack Exchange 커뮤니티의 실제 질문 11,200건
대상 시스템: 5개 제공사(OpenAI · Anthropic · Google · xAI · Perplexity)의 LLM 10종
수집: 응답 112,000건 · 평가 가능한 인용 쌍 761,495건
데이터 기준: Stack Exchange 아카이브 2025-12-31 시점

FINDINGS

무엇이 나왔나

충실도 실패: 인용의 30.6%가 출처를 왜곡한다(Fidelity Failure Rate)
적합성 실패: 27.1%가 그 도메인에 부적합한 출처에서 왔다(Suitability Failure Rate)
사용자 노출: 최대 96%의 이용자가 응답 하나당 최소 한 건의 구조적으로 오도하는 인용을 만난다
의도–목적 정렬 실패: 5.1%
제공사 차이: 인용 품질 분산의 88~96%를 제공사 수준의 차이가 설명한다 — 어느 엔진을 쓰느냐가 결과를 크게 가른다
⚠️ 이 수치들의 방향: 저자들은 크롤 실패 편향(특히 포럼·Q&A 출처) 때문에 보고한 실패율이 보수적 하한이라고 밝혔다. 즉 실제는 이보다 높을 수 있다

LIMITATIONS

논문이 스스로 밝힌 한계

우리가 지적한 것이 아니라 저자들이 논문에 적어 둔 내용입니다.

보고된 실패율은 크롤 실패 편향 탓에 보수적 하한이다 — 특히 포럼·Q&A 출처에서 그렇다.
판정에 LLM 심판(LLM-judge)을 썼기 때문에 심판 모델의 오차가 결과에 섞인다.
실패 유형을 사전에 정의한 매트릭스로 나눴고 그 구분에는 주관이 들어간다.
언어·문화 범위가 제한적이다.
특정 시점의 스냅샷이라 모델이 바뀌면 결과가 달라진다.

나비랑의 해석 — 논문의 결론이 아닙니다

이 자료실에서 가장 불편한 숫자입니다. 우리는 진단에서 '언급'과 '인용'을 나눠 세는데, 이 논문은 그다음을 묻습니다 — **인용됐다는 사실이 정확하다는 뜻인가.** 30.6%가 출처를 왜곡한다면 아닙니다. 실무적으로 두 가지가 따라옵니다. 첫째, 브랜드가 인용됐다고 안심할 수 없습니다. 인용됐는데 우리 문서에 없는 말이 우리 출처로 붙어 있을 수 있고, 그건 오정보 정정 대상입니다. 둘째, 제공사 차이가 분산의 88~96%를 설명한다는 것은 엔진별로 따로 재야 하는 이유를 강화합니다 — 우리가 7개 엔진을 각각 한 칸으로 세는 근거입니다. 다만 데이터가 Stack Exchange 기반 기술 질의이고 한국어가 아닙니다. 국내 업종 질의에서 같은 비율이 나온다는 보장은 없습니다.

IN COMPARISON