같은 질문을 다시 물으면 답이 달라집니다 — 측정은 어떻게 설계하나

변동은 고장이 아니라 구조입니다

AI 답변은 한 번에 만들어지지 않습니다. 질문이 들어오면 내부 검색어로 다시 쓰이고, 그 검색어로 문서를 모으고, 그중 일부를 골라 답을 합성합니다. 단계마다 결과가 갈립니다.

단계	무엇이 달라지나
질의 재작성	같은 질문이 다른 검색어로 바뀜 — 후보 문서 집합 자체가 달라짐
문서 수집	그 시점의 색인 상태. 새 글·삭제·재크롤이 반영됨
출처 선택	비슷한 문서가 여럿이면 어느 것이 뽑힐지 흔들림
답변 합성	모델 갱신, 샘플링. 표현과 인용 개수가 바뀜
개인화·지역	계정·언어·지역 설정에 따른 차이

그래서 “어제는 됐는데 오늘은 안 된다”는 관측 자체로는 아무것도 말해 주지 않습니다. 사이트가 그대로여도 답은 바뀔 수 있습니다.

한 번의 관측이 만드는 두 가지 착각

• 좋아졌다는 착각 — 마침 인용된 한 번을 보고 조치의 효과라고 결론 냅니다
• 나빠졌다는 착각 — 마침 빠진 한 번을 보고 되돌립니다. 효과가 있던 변경을 되돌리는 쪽이 더 비쌉니다

두 착각 모두 비교 대상이 없는 관측에서 나옵니다. 측정 설계는 비교 대상을 만드는 일입니다.

설계의 최소 조건 넷

1. 질문 세트를 고정한다 — 매번 다른 질문으로 물으면 변화를 잴 수 없습니다. 세트를 정하고 바꾸지 않습니다
2. 반복한다 — 한 질문당 여러 번. 인용 여부를 0/1이 아니라 비율로 기록합니다
3. 엔진을 나눈다 — 수집 경로가 다르므로 합치면 의미가 사라집니다
4. 조건을 적는다 — 날짜, 계정 상태, 지역, 사용한 문장 그대로. 조건 없는 수치는 재현되지 않습니다

세트를 어떻게 고르는지는 질문 목록과 키워드 조사의 차이에, 기록 틀은 AI Visibility 측정 방법에 정리해 두었습니다.

변동을 없애려 하지 말고 함께 기록합니다

측정의 목적은 흔들림을 없애는 것이 아니라 흔들림의 크기를 아는 것입니다. 같은 조건에서 10번 물어 3번 인용됐다면, 다음 달에 6번이 되었을 때 비로소 변화라고 말할 수 있습니다. 한 번씩 본 결과로는 그 말을 할 수 없습니다.

연구 쪽에서도 같은 경고가 나옵니다. 방법 하나로 인용이 크게 오른다는 실험 결과가 현실 파이프라인에서 재현되지 않는 사례를 GEO 연구 비판적 검토에 정리했습니다.

나비랑이 자사에 적용 중인 측정 규약은 측정 방법 문서에 전부 공개돼 있습니다. 같은 틀로 시작하고 싶으시면 무료 AEO 진단에서 질문 세트 설계부터 함께 잡아 드립니다.