영어 자료만 있으면 한국어로 묻는 AI 답변에서 불리한가요?

같은 질문도 언어가 바뀌면 다른 문서를 찾습니다

AEO·GEO 논문은 대부분 영어 데이터로 쟀습니다. 그런데 한국 고객은 한국어로 묻습니다. “영어권 결과가 한국어에서도 같은가”라는 질문에 방향을 준 연구가 존스홉킨스대 연구진의 Faux Polyglot(NAACL 2025 게재)입니다.

연구진은 같은 질문을 5개 언어로 바꿔 AI의 검색과 답변 생성을 관찰했습니다.

항목	조건
언어	영어 · 힌디어 · 독일어 · 아랍어 · 중국어 — 한국어는 없음
검색 모델	8종 (OpenAI · Cohere · Voyage 임베딩)
생성 모델	5종 (gpt-3.5-turbo · gpt-4o · aya-23 두 종 · claude-3-opus)
질문	사실형 27개 + 의견형 16개, 각각 5개 언어로 번역
문서	합성 문서 170건 — 핵심 사실을 사람이 쓰고 확장한 뒤 기계 번역

결과 — 두 단계 모두 같은 언어 쪽으로 기울었습니다

단계	결과
검색	상위 10건 중 **68%**가 질문과 같은 언어의 문서
생성	같은 언어 문서 인용 42% vs 외국어 29.58%
외국어 문서만 있을 때	영어 49.28% > 독일어 44.48% > 중국어 42.05% > 힌디어 40.77% > 아랍어 39.77%

외국어 문서만 쓸 수 있을 때는 자료가 많은 언어(영어·독일어) 쪽으로 기울었습니다. 저자들은 다국어 능력이 오히려 언어별로 정보가 갇히는 현상을 강화해, 자료가 적은 언어의 관점을 더 밀어낼 수 있다고 경고했습니다.

조건 — 한국어는 이 실험에 없습니다

• 한국어가 포함되지 않았습니다. 한국어를 자료가 많은 언어로 볼지 적은 언어로 볼지도 이 연구는 답하지 않습니다
• 통제된 합성 과제입니다. 실제 웹 데이터가 아니라 연구진이 만든 문서 170건으로 쟀습니다
• 검색 구조를 코사인 유사도 기반 한 가지만 평가했습니다. 재순위나 요약을 거치는 실제 서비스 구조는 다루지 않았습니다
• 언어 차이만 봤고 같은 언어를 쓰는 다른 문화권의 차이는 보지 않았습니다

그래서 이 연구에서 가져올 것은 방향입니다. 한국어 수치를 여기서 끌어내면 안 됩니다. 세부는 논문 정리에 있습니다.

한국 기업에 뜻하는 것

유리한 쪽 — 한국어로 묻는 질문에는 한국어 문서가 걸리기 쉽습니다. 영어권 대기업의 자료가 아무리 많아도, 한국어로 된 우리 문서가 그 질문에 답하고 있다면 후보가 될 여지가 있습니다. 자사 도메인의 한국어 자산이 값어치를 갖는 이유입니다.

불리한 쪽 — 두 가지입니다. 영어 자료만 갖춘 해외 브랜드나 수출 기업의 국내 법인은 한국어 질문에서 밀릴 수 있습니다. 그리고 한국어 문서가 적은 주제에서는 AI가 영어권 자료의 관점을 그대로 옮겨 올 수 있습니다. 국내 사정과 다른 설명이 한국어 답변에 섞이는 경로입니다.

무엇을 하면 되나

1. 고객이 묻는 언어로 답하는 문서를 둡니다 — 번역문이 있느냐보다, 그 언어의 질문에 바로 답하는 문서가 있느냐가 중요합니다
2. 검색 의도가 있는 페이지만 번역합니다 — 나비랑도 영어판을 만들 때 지역 페이지 18장과 약관·개인정보처리방침은 번역하지 않았습니다. 지역 질문은 영어로 검색 의도가 성립하지 않고, 법적 문서는 번역본이 정본처럼 보이면 위험하기 때문입니다
3. 국내 엔진을 측정 세트에 넣습니다 — 한국어 질문의 결과는 영어권 데이터로 추정할 수 없습니다. 나비랑이 자사 측정 엔진 세트에 네이버 AI 검색을 넣어 둔 이유입니다. 네이버 쪽은 네이버 AI 브리핑에 인용되려면에 정리했습니다

한국어 질문에서 우리 브랜드가 어떻게 보이는지는 무료 AEO 진단에서 실제 질문으로 확인해 드립니다.