PAPER

질문한 언어의 문서가 인용된다 — 다국어 AI의 정보 격차

같은 질문을 다른 언어로 물으면 AI는 다른 문서를 찾아 다른 답을 하는가?

Faux Polyglot: A Study on Information Disparity in Multilingual Large Language Models

저자: Nikhil Sharma · Kenton Murray · Ziang Xiao
소속: 존스홉킨스대학교 음성·언어처리센터(Center for Speech and Language Processing)
게재: NAACL 2025 게재
제출: 2024-07-07 · 개정 2025-02-11 (v3)
arXiv: arXiv:2407.05502
나비랑 확인일: 2026-08-24

이 논문이 말하는 것

그렇습니다. 검색·생성 두 단계 모두에서 질의와 같은 언어의 문서를 체계적으로 선호했습니다. 상위 10건 검색 결과에서 68%가 질의와 같은 언어였고, 생성 단계에서 같은 언어 문서를 인용한 비율은 42%로 외국어 29.58%보다 높았습니다. 외국어 문서만 쓸 때는 고자원 언어(영어·독일어)를 저자원 언어(힌디어·아랍어)보다 선호했습니다. 저자들은 이것이 언어별 정보 고치(cocoon)를 강화해 저자원 언어의 관점을 더 주변화할 수 있다고 경고했습니다.

원문 보기 (arXiv) ↗

METHOD

어떻게 쟀나

수치를 읽기 전에 조건을 먼저 봅니다. 같은 숫자도 표본과 환경이 다르면 다른 뜻입니다.

언어: 영어(en) · 힌디어(hi) · 독일어(de) · 아랍어(ar) · 중국어(zh) 5개 — 문자체계 4종, 고자원(en·de·zh)과 저자원(ar·hi) 혼합. 한국어는 없다
검색 모델: 8종 — OpenAI(ada-002, embedding-3-small/large) · Cohere(multilingual-light-v3.0, v3.0) · Voyage(voyage-2, large-2, large-2-instruct)
생성 모델: 5종 — gpt-3.5-turbo · gpt-4o · aya-23-8B · aya-23-35B · claude-3-opus
질의: 사실형 27개 + 의견형 16개, 각각 5개 언어로 번역
문서: 합성 문서 170건 — 핵심 사실 10개를 수동 작성 후 확장해 만들고 기계 번역

FINDINGS

무엇이 나왔나

검색 단계: 상위 10건 중 68% 가 질의와 같은 언어의 문서였다. 같은 언어 문서의 평균 z-점수 1.03 vs 외국어 -0.25
생성 단계: 같은 언어 문서 인용 42% vs 외국어 29.58%. 양쪽 모두 인용 8.55% · 둘 다 안 씀 19.8%
외국어 안에서의 서열: 외국어 문서만 쓸 때 영어 49.28% > 독일어 44.48% > 중국어 42.05% > 힌디어 40.77% > 아랍어 39.77% — 고자원 언어 쪽으로 기운다
저자들의 경고: 다국어 능력이 오히려 언어별 정보 고치(information cocoon)와 필터 버블을 강화해 저자원 언어의 관점을 더 주변화할 수 있다
⚠️ 한국어에 대해: 이 연구에 한국어는 포함되지 않았다. 한국어를 고자원·저자원 어디에 놓을지도 다루지 않는다. 방향은 참고하되 한국어 수치를 여기서 끌어내면 안 된다

LIMITATIONS

논문이 스스로 밝힌 한계

우리가 지적한 것이 아니라 저자들이 논문에 적어 둔 내용입니다.

언어를 5개만 다뤘다 — 문자체계·어족 간 상호작용을 보려면 훨씬 큰 언어 풀이 필요하다. 스와힐리어처럼 매우 저자원인 언어는 문서 집합을 만들기 어려워 제외했다.
실증 데이터가 아니라 통제된 합성 과제를 썼다. 교란 요인(모델의 파라미터 지식)을 분리하려는 선택이지만 실제 데이터와는 상충관계가 있다.
사전학습의 영향을 깊이 들여다보지 않았다.
언어 차이만 봤고 문화 차이는 보지 않았다 — 같은 언어를 쓰는 다른 문화권의 서사 차이가 결과에 섞였을 수 있다.
RAG 구조를 코사인 유사도 기반 검색 한 가지만 평가했다. 요약·재순위 등 다른 구조는 다루지 않았다.

나비랑의 해석 — 논문의 결론이 아닙니다

여기 실린 다른 논문은 전부 영어권 데이터인데 우리 고객은 한국에서 한국어로 묻습니다. 그동안 '이 결과가 한국어에서도 같다는 보장은 없다' 는 단서를 각 항목에 붙여 왔지만 그건 우리 추정이었고, 이 논문이 그 추정에 근거를 줍니다 — 질의 언어와 같은 언어의 문서가 검색·생성 양쪽에서 체계적으로 선호됩니다. 실무적으로 두 방향입니다. 유리한 쪽은 **한국어 질의에는 한국어 문서가 걸린다**는 것이고, 그래서 자사 도메인의 한국어 자산이 값어치가 있습니다. 불리한 쪽은 영어 자료만 갖춘 브랜드가 한국어 질의에서 밀린다는 것, 그리고 한국어 문서가 적은 주제에서는 AI가 영어권 관점을 그대로 옮겨 올 수 있다는 것입니다. 다만 **한국어는 이 실험에 없습니다.** 방향만 가져오고 숫자는 우리 측정으로 대체해야 합니다.

IN COMPARISON