PAPER

AI가 검색에 들어오면 유입이 준다 — 사용자 만족도도 함께

AI 답변이 검색에 들어오면 사이트로 오는 클릭이 실제로 줄어드는가? 대신 사용자는 더 만족하는가?

AI in Search Reduces Publisher Referrals Without Improving User Experience: Experimental Evidence

저자: Stephanie T. Wang(교신) · Jeffrey Gleason · Yakov Bart · Christo Wilson · Danaé Metaxa
소속: 펜실베이니아대학교 · 노스이스턴대학교 (미국 국립과학재단 NSF IIS-2442711 지원)
게재: arXiv 프리프린트 (사전등록 현장실험)
제출: 2026-08-18
arXiv: arXiv:2608.18352
나비랑 확인일: 2026-08-24

이 논문이 말하는 것

줄어들었고, 사용자 만족도도 함께 떨어졌습니다. 사전등록된 현장실험(N=1,100)에서 AI Mode 에 배정된 이용자의 퍼블리셔 클릭률은 18.8%p 낮았고, 반대로 AI 개요를 화면에서 제거하자 클릭률이 8.8%p 올랐습니다. 같은 조건에서 신뢰·유용성·만족도·통제감이 모두 통계적으로 유의하게 낮아졌습니다 — '클릭은 줄지만 사용자 경험은 좋아진다'는 통념이 이 실험에서는 성립하지 않았습니다.

원문 보기 (arXiv) ↗

METHOD

어떻게 쟀나

수치를 읽기 전에 조건을 먼저 봅니다. 같은 숫자도 표본과 환경이 다르면 다른 뜻입니다.

설계: 사전등록(preregistered) 현장실험 — 이 자료실에서 인과 추정이 가능한 유일한 논문이다
표본: 1,444명 모집(Prolific 1,387 · 노스이스턴대 57) → 분석 대상 N=1,100(7일 중 최소 1회 검색)
기간: 2026-03-17~19 모집 후 7일 처치
조건: AI Mode 배정 · AI 개요 제거 · 통합(대조)
표본 특성: 75% 45세 이하 · 87% 대학 이상 · 58% 민주당 / 20% 공화당 · 68% 백인 — 미국 일반인구보다 젊고 고학력이며 좌파적

FINDINGS

무엇이 나왔나

퍼블리셔 클릭률: AI Mode 배정 시 -18.8%p (95% CI -22.2, -15.3 · p<0.001). AI 개요 제거 시 +8.8%p (95% CI 2.3, 15.3 · p=0.008)
도메인별 클릭 감소(AI Mode): 광고 -42.7%p · Reddit -21.2%p · 뉴스 사이트 -12.5%p · Wikipedia -9.9%p
사용자 인식(AI Mode): 신뢰도 -0.34점(7점 척도) · 유용성 -0.59 SD · 만족도 -0.73 SD · 통제감 -0.66 SD (모두 p<0.001)
이용량: AI Mode 배정 시 일일 세션 -0.92회(p<0.001). AI 개요 제거는 유의한 변화 없음

LIMITATIONS

논문이 스스로 밝힌 한계

우리가 지적한 것이 아니라 저자들이 논문에 적어 둔 내용입니다.

AI 개요 제거 조건에서 인터페이스 변경 탓에 순응도가 약 50% 로 떨어져 LATE(국소 평균 처치효과) 추정치를 보고했다 — 인터페이스 변경이 경험을 널리 바꿨다면 배제 제약이 성립하지 않는다.
표본이 미국 일반인구보다 젊고 교육 수준이 높으며 좌파적이다.
7일 처치라 단기 변화만 잡았고 장기 적응 효과는 보지 못했다.
기저 AI Mode 사용률이 0.6% 로 매우 낮아 이 연구는 **강제 전면 도입 시나리오**를 반영한다. 자발적 채택의 효과는 다를 수 있다.

나비랑의 해석 — 논문의 결론이 아닙니다

이 자료실에서 무게가 가장 다른 논문입니다. 나머지가 '무엇이 인용되나' 를 관측한 것이라면, 이건 조건을 무작위로 배정해 '그래서 유입이 어떻게 되나' 를 인과로 잰 것입니다. 실무적으로 두 대목이 큽니다. 첫째, 광고 클릭이 -42.7%p 로 가장 크게 빠졌습니다 — 광고 예산으로 유입을 사던 구조가 먼저 흔들린다는 뜻입니다. 둘째, 사용자 만족도까지 같이 떨어졌다는 것은 'AI가 사용자에게 더 좋으니 클릭 감소는 감수해야 한다'는 흔한 변론이 최소한 이 실험에서는 성립하지 않았다는 뜻입니다. 다만 미국 표본 7일 실험이고 한국어·네이버 환경은 다룬 적이 없습니다. 나비랑은 이 결과를 '유입 감소는 실재한다'는 근거로만 쓰고, 감소폭 수치를 국내 고객의 예상치로 옮기지 않습니다.

IN COMPARISON