AI 가시성, 하루 7회·2~4주는 측정해야 믿을 수 있다 — 세인트갈렌 대학이 내놓은 통계적 기준

핵심 요약: AI 답변 속 브랜드 가시성은 검색 순위처럼 "한 번 확인"으로 판단할 수 있는 값이 아닙니다. 세인트갈렌 대학 연구진이 ChatGPT·Perplexity·Gemini·Google AI Mode를 45일간 반복 측정한 결과, 인용 출처는 하루 사이 약 65%가 교체됐고, 같은 순간에 같은 질문을 다시 던져도 겹침은 3243%에 그쳤습니다(arXiv:2604.07585). 연구진의 수렴 분석이 내놓은 기준은 명확합니다 — 브랜드 탐지율을 신뢰하려면 프롬프트당 하루 7회, 브랜드별 추이를 신뢰하려면 **24주 롤링 집계**가 필요합니다. "우리가 3위"라는 순위 스크린샷 한 장은 노이즈 안의 한 점일 수 있습니다(기준일: 2026-07-12).

3줄 요약

1. AI 검색의 가시성 변동은 대부분 시간이 아니라 LLM 자체의 확률성에서 나옵니다 — 같은 순간 동시 재실행에서도 인용 출처 겹침은 32~43%였습니다.
2. 통계적으로 신뢰 가능한 최소선은 프롬프트당 하루 7회 측정(브랜드 기준), 2~4주 롤링 집계 — 그 전의 순위·수치 비교는 노이즈일 가능성이 큽니다.
3. 실무 결론은 "AI 가시성을 순위가 아니라 분포와 추이로 보라"는 것 — 다양한 프롬프트 포트폴리오, 엔진별 기준선 분리, 기간 대표값 보고가 그 방법입니다.

검색 순위와 다르다 — 있다가 통째로 사라지는 게임

전통 검색에서 순위는 비교적 안정적인 값입니다. 오늘 5위였던 페이지가 내일 7위로 밀릴 수는 있어도, 결과 목록에서 통째로 사라지는 일은 드뭅니다. AI 검색은 다릅니다. 세인트갈렌 대학 연구진은 이 차이를 "포함–배제(inclusion–exclusion) 동학"이라고 부릅니다 — 브랜드와 출처가 한 응답에는 등장했다가 다음 응답에서는 아예 존재하지 않는 구조입니다.

연구진은 스위스 SEO 환경의 4개 버티컬(통신·부동산·스포츠용품·가전)에서 캠페인당 8개 프롬프트를 ChatGPT·Perplexity·Gemini·Google AI Mode에 2026년 1월 24일부터 3월 20일까지 매일 던졌습니다. 결과는 인용 출처의 하루 간 자카드 유사도 평균 약 0.35 — 하루 사이에 인용 출처의 약 65%가 다른 것으로 바뀐다는 뜻입니다. 순서까지 고려한 지표(RBO)는 0.210.26으로 더 낮아, 남아 있는 출처들의 등장 순서도 함께 뒤섞였습니다. 브랜드 언급은 그보다 안정적이었지만(하루 간 겹침 4559%) 여전히 절반 가까이가 교체됐습니다.

시간 탓이 아니다 — 같은 순간에 다시 물어도 32~43%만 겹친다

"하루 사이에 바뀌었다"면 모델 업데이트나 소스 갱신 같은 시간 요인을 의심할 수 있습니다. 연구진은 이를 분리하기 위해 같은 시점에 같은 프롬프트를 엔진·프롬프트당 최대 10회 동시 재실행해 3,409쌍을 비교했습니다.

"Even when identical prompts are executed simultaneously under controlled conditions, cited sources and brand mentions vary substantially." — Schulte, Bleeker & Kaufmann, arXiv:2604.07585

동시 재실행에서도 인용 출처의 겹침은 평균 0.32~0.43 — 하루 간격 측정과 사실상 같은 범위였습니다. 즉 관찰되는 불안정의 대부분은 시간의 흐름이 아니라 LLM 출력의 확률적 성격 그 자체에서 나옵니다. 어제와 오늘의 순위가 다른 것은 무언가 "바뀌어서"가 아니라, 원래 매번 다르게 나오는 값을 한 번씩만 떠서 비교했기 때문일 가능성이 큽니다. 2026년 7월 Search Engine Journal 보도가 "AI 가시성 순위 변동의 상당 부분은 통계적 노이즈"라고 정리한 것도 같은 지점입니다.

그래서 몇 번 측정해야 하나 — 하루 7회, 그리고 2~4주

이 연구의 실질적 기여는 "반복하라"에서 멈추지 않고 얼마나 반복해야 하는지를 수렴 분석으로 계산했다는 데 있습니다.

신뢰하려는 값	필요한 측정량	근거 (표준오차 기준)
브랜드 탐지율 (그날의 등장 확률)	프롬프트당 하루 7회	SE < 0.10 도달 (95% CI ±0.158)
인용 출처 커버리지	프롬프트당 하루 8회	출처 수준 변동이 더 커서 1회 추가 필요
브랜드별 추이 (기간 비교)	롤링 10일 이상, 권장 2~4주	10일에 SE < 0.10, 24일에 SE < 0.05

여기에 두 가지 조건이 더 붙습니다. 첫째, 프롬프트를 다양하게 — 프롬프트별 안정성은 0.2 미만부터 0.8 초과까지 크게 갈려서, 한두 개 프롬프트만 추적하면 캠페인의 가시성이 아니라 그 프롬프트의 개성을 측정하게 됩니다. 둘째, 엔진별 기준선을 분리 — 인용 집중도(지니계수)가 Google AI Mode 0.782, Perplexity 0.671로 엔진마다 달라, 하나의 임계값을 모든 AI 검색에 적용하면 잘못된 결론이 나옵니다.

실무 적용 — 순위 스크린샷 대신 분포·추이·기간 대표값

이 결과를 실무 언어로 옮기면 세 가지입니다.

1. "한 번 떴다/안 떴다"로 의사결정하지 않습니다. 연구진의 표현대로 AI 가시성은 "단일 값이 아니라 분포"입니다. 스크린샷 한 장으로 "우리가 1위" 또는 "우리가 빠졌다"고 보고하는 것은 동전을 한 번 던져 앞면 확률을 단정하는 것과 같습니다.
2. 비교는 같은 조건의 반복 측정끼리, 보고는 기간 대표값으로 합니다. 일간 등락에 반응하기보다 주 단위 추이와 월 단위 대표값으로 변화를 판단해야, 노이즈가 아닌 신호에 대응하게 됩니다. 연구가 권고한 2~4주 롤링 집계는 임원 보고 주기(월간)와도 자연스럽게 맞습니다.
3. 개선 활동의 효과 판정도 같은 규칙을 따릅니다. 콘텐츠를 보강한 다음 날 순위가 오르내렸다고 효과를 단정할 수 없습니다. 개선 전후를 같은 프롬프트 세트의 반복 측정으로 비교해야 인과에 가까운 판단이 가능합니다.

측정 도구를 쓸 때도 판단 기준은 같습니다. RanketAI의 AI 브랜드 가시성 분석은 여러 질의를 여러 LLM에 반복 실행해 언급·인용을 확인하고, 대시보드의 추이와 월간 보고서는 단일 시점이 아닌 기간 기준으로 변화를 보여주는 구조입니다 — 이 논문이 권고하는 "분포와 추이로 보기"와 같은 방향입니다. Semrush AI Visibility, Ahrefs Brand Radar 등 반복 추적을 제공하는 다른 도구를 쓰더라도, "며칠·몇 회를 집계한 값인가"를 먼저 확인하는 습관이 이 연구의 핵심 교훈입니다.

자주 묻는 질문

어제 ChatGPT에서 우리 브랜드가 1위로 나왔는데, 이것으로 보고해도 되나요?

권하지 않습니다. 같은 순간에 같은 질문을 다시 던져도 인용 출처의 겹침이 32~43%에 그친다는 것이 이 연구의 측정 결과입니다. 그 1위는 반복 측정했을 때의 평균적 위치일 수도, 노이즈 안의 한 점일 수도 있습니다. 최소한 같은 프롬프트를 여러 차례 반복한 등장률로, 가능하면 2주 이상 추이로 확인한 뒤 보고하는 것이 안전합니다.

매일 확인하는데 순위가 계속 바뀝니다. 우리 콘텐츠에 문제가 생긴 건가요?

꼭 그렇지 않습니다. 시간 요인을 제거한 동시 재실행에서도 변동 폭이 하루 간격 측정과 같은 범위였다는 것이 이 연구의 핵심 발견입니다 — 즉 일간 등락의 상당 부분은 콘텐츠나 모델의 변화가 아니라 확률적 노이즈입니다. 문제 여부는 하루 단위가 아니라 2~4주 롤링 추이가 방향성 있게 꺾였는지로 판단하는 것이 정확합니다.

하루 7회씩 직접 돌리기는 어렵습니다. 현실적인 대안이 있나요?

우선순위를 좁히는 방법이 있습니다. 모든 질의를 매일 7회 돌리는 대신, 전환에 가까운 핵심 질의 몇 개를 정해 주기적으로 반복 측정하고 나머지는 주간·월간 추이로 관리하는 방식입니다. 반복 실행과 기간 집계를 자동화한 측정 도구(RanketAI, Semrush AI Visibility 등)를 쓰는 것도 같은 문제를 푸는 방법입니다. 중요한 것은 횟수 자체보다 "단일 측정으로 결론 내리지 않는다"는 원칙입니다.

이 수치를 한국어 시장에 그대로 적용해도 되나요?

절대값은 조심해야 합니다. 이 연구는 스위스 시장·4개 버티컬·2026년 1~3월 조건의 측정이고, 동료검토 전 preprint이며 제1저자의 벤더(Aurora Intelligence) 겸직도 명시돼 있습니다. 다만 "변동의 대부분이 LLM 확률성에서 나온다", "단일 측정은 신뢰할 수 없다", "기간 집계가 필요하다"는 구조는 방법론상 언어·시장과 무관하게 성립합니다. 필요한 반복 횟수와 집계 기간의 실제 값은 자기 브랜드·한국어 질의로 직접 확인하는 것이 정확합니다.

함께 읽으면 좋은 글

• AI 브랜드 추천은 후속 질문 한 번에 62%가 사라진다 — 일회성 노출이 아니라 지속 가시성을 측정하라 — 이번 글이 "같은 질문의 반복 노이즈"를 다뤘다면, 이 글은 "질문이 구체화될 때의 재편"을 다룹니다.
• AI 셸프 셰어 측정 가이드 — 표본 크기·상대 비율·추세선 등 측정 설계의 기초를 정리했습니다.
• AI 브랜드 가시성에 대한 27가지 질문 — 가시성 측정 전반의 FAQ 모음입니다.