GEO 점수는 무엇을 측정하나 — 질문 모음·측정 모델·판정 방식이 점수를 바꾸는 구조 (2026)

핵심 요약: GEO 점수를 비교하기 전에 먼저 확인할 것은 그 점수를 만든 조건입니다. 2026년 9월 6일 공개된 방법론 논문(Martinez, arXiv:2609.06811, preprint)은 GEO 가시성 점수가 질문 모음·질문 표현·실행 조건·가중치·판정 규칙의 조합으로 정해지며, 판정 지시문만 바꿔도 같은 답변의 점수가 달라질 수 있다고 정리했습니다. RanketAI(랭킷AI)가 같은 질문 묶음을 같은 날 모델만 바꿔 측정했을 때도 자사 브랜드 언급률은 ChatGPT에서 43%와 5%, Gemini에서 74%와 40%로 크게 벌어졌습니다. GPT-6가 막 출시된 지금, 측정 조건을 확인하는 기준을 정리합니다.

---

3줄 요약

• GEO 점수는 AI 답변에 대한 하나의 사실이 아니라 측정 설계의 결과입니다. 어떤 질문을 모았는지, 어떤 모델로 언제 물었는지, 무엇을 언급·인용으로 판정했는지가 모두 점수에 반영됩니다.
• 자사 실측에서는 측정 모델 하나만 바꿔도 언급률이 몇 배씩 달라졌습니다. 그래서 측정 모델은 최신 여부가 아니라 대표하려는 사용자가 실제로 보는 모델인가로 판단해야 합니다. 2026년 9월 22일 GPT-6 Sol·Luna가 출시됐지만, 9월 24일 무료 사용자 일반 채팅의 기본 모델은 GPT-5.6 Luna였습니다.
• 논문은 새 실험이 없는 방법론 서베이라 수치 근거로 인용하기는 어렵습니다. 대신 측정 도구와 리포트를 검토할 때 무엇을 물어야 하는지에 대한 기준으로 활용할 수 있습니다.

같은 질문, 같은 날 — 모델만 바꿨더니 언급률이 달라졌습니다

측정 조건이 점수를 얼마나 바꾸는지는 자사 실측에서 먼저 확인했습니다. RanketAI는 2026년 9월 4일 측정 조건을 점검하면서, 브랜드명을 포함하지 않은 카테고리 질문 묶음을 같은 날 모델만 바꿔 여러 회차 반복 측정했습니다. 측정 대상은 자사 브랜드이고, 분야는 AI 검색 가시성 진단입니다.

AI 서비스	측정 모델 조건	자사 브랜드 언급률
ChatGPT	모델 A	43%
ChatGPT	모델 B (더 가벼운 모델)	5%
Gemini	버전 A	74%
Gemini	버전 B (더 새로운 버전)	40%

ChatGPT에서의 차이는 검색 깊이와 함께 움직였습니다. 답변당 평균 웹 검색 호출이 모델 A는 4.3회, 모델 B는 1.2회였고, 자사 브랜드가 언급된 답변은 모두 자사 페이지 인용을 동반했습니다. 검색을 더 깊게 할수록 더 많은 출처를 확인하고, 그만큼 후보 목록이 넓어진다는 해석이 가능합니다.

Gemini 결과는 다른 점을 보여줍니다. 새 버전으로 바꾼다고 점수가 오른다는 보장도 없습니다. 이 측정에서는 이전 버전의 언급률이 더 높았습니다. 두 값 모두 실제 AI 답변이므로 무엇이 "맞는" 값인지는 이 표만으로 정할 수 없고, 무엇을 대표하려는 측정인지가 먼저 정해져야 합니다.

이 수치에는 한계가 분명합니다. 자사 브랜드 하나, 분야 하나, 소표본, 하루 측정입니다. 언급률의 크기를 다른 브랜드나 분야로 일반화하면 안 되고, 이 표가 보여주는 것은 크기가 아니라 방향입니다. 측정 모델 선택만으로 같은 브랜드의 점수가 몇 배씩 달라질 수 있다는 점입니다.

논문이 정리한 GEO 점수의 5가지 구성 요소

이 현상을 체계로 정리한 것이 2026년 9월 6일 공개된 방법론 논문입니다. 저자 Olivier Martinez는 7월에 GEO 연구 45편을 증거 등급으로 분류한 비판적 서베이를 낸 연구자입니다. 이번 논문은 "GEO 기법이 효과가 있는가"에서 한 걸음 물러나 **"GEO 점수는 무엇을 측정하는가"**를 다룹니다.

논문은 GEO 가시성 점수를 만드는 측정 도구를 다섯 요소로 나눕니다.

구성 요소	정하는 것	바뀌면 생기는 일
상황 정의	질문이 대표하는 사용 상황과 그 분류 규칙	어떤 상황을 측정했는지에 따라 같은 점수의 의미가 달라집니다
질문 표현	그 상황을 어떤 문장으로 물을지	문장 표현이 검색 결과, 경쟁 출처, 답변 자체를 바꿉니다
실행 조건	모델·버전, 날짜·시각, 인터페이스, 이전 대화, 설정값	같은 질문도 모델이 바뀌면 다른 답변이 나옵니다(위 실측)
가중치	상황별 상대적 중요도	가중치에 따라 두 브랜드의 순위가 뒤집힐 수 있습니다
판정 규칙	답변에서 언급·인용을 식별하는 방식, LLM 판정이면 모델·기준·지시문	같은 답변도 판정 지시문이 바뀌면 점수가 달라질 수 있습니다

이 표의 요지는 간단합니다. 점수가 다르다는 사실만으로는 가시성이 다르다고 말할 수 없습니다. 다섯 요소 가운데 하나라도 다르면 두 점수는 서로 다른 대상을 측정한 값일 수 있습니다.

"답변 시장" — 질문 모음이 측정 대상을 정합니다

논문의 핵심 개념은 '답변 시장(answer market)'입니다. 측정에 사용한 질문과 그 가중치가 곧 측정 대상 시장을 구성한다는 뜻입니다.

"We call this weighted set of answer opportunities an “answer market.” This constructed market does not necessarily represent actual user demand." (가중치가 붙은 이 답변 기회의 집합을 '답변 시장'이라 부른다. 이렇게 구성된 시장이 실제 사용자 수요를 대표한다는 보장은 없다.) — Martinez, Measuring GEO Visibility, arXiv:2609.06811 (2026-09-06)

저자는 같은 맥락에서 "어떤 출처가 답변의 40%에서 인용됐다"는 문장만으로는 부족하다고 적습니다. 그 답변이 열린 질문에 대한 것인지, 해당 출처의 이름이 포함된 질문에 대한 것인지, 비교 질문에 대한 것인지, 그리고 어떤 엔진·기간에서 나온 것인지가 함께 있어야 숫자를 해석할 수 있다는 것입니다.

이 블로그가 앞서 다룬 두 문제가 이 개념 하나로 묶입니다. 브랜드명 질의 글에서는 브랜드명이 포함된 질문이 웹 검색이 켜진 AI에서 사실상 항상 해당 브랜드를 언급해 성과 지표로서 정보량이 없다는 점을, 수요 측 데이터 글에서는 측정 질문이 실제 구매 검토 질문과 얼마나 가까운지 확인할 데이터가 없다는 점을 다뤘습니다. 둘 다 답변 시장이 실제 수요와 어긋나는 경우입니다.

실행 조건 — 모델 출시일과 기본 모델 전환일은 다릅니다

실행 조건 가운데 가장 자주 바뀌는 것이 모델입니다. OpenAI는 2026년 9월 22일 GPT-6 Sol과 GPT-6 Luna를 공개했습니다. 다만 공지를 보면 출시와 기본 모델 전환은 같은 사건이 아닙니다.

"GPT‑6 Sol and Luna roll out today in ChatGPT Work and Codex for Plus, Pro, Business, Enterprise, and Edu users." (GPT-6 Sol과 Luna는 오늘부터 ChatGPT Work와 Codex에서 Plus·Pro·Business·Enterprise·Edu 사용자에게 제공된다.) — OpenAI Developer Community 공지 (2026-09-22)

구분 (2026-09-24 확인)	제공 모델
ChatGPT 무료 사용자 일반 채팅의 기본 모델	GPT-5.6 Luna
무료·Go 사용자 데스크톱 앱 체험	GPT-6 Luna
유료 사용자(Plus·Pro·Business·Enterprise·Edu) ChatGPT Work·Codex	GPT-6 Sol·GPT-6 Luna

GPT-5.6 Luna의 무료 사용자 제공은 OpenAI 발표에서, 9월 24일 현재 일반 채팅의 기본 모델은 무료 계정에서 직접 확인했습니다. 이 표는 모델이 바뀔 때마다 갱신합니다.

측정 모델을 정할 때는 대표하려는 사용자가 누구인지를 먼저 정해야 합니다. 무료 사용자가 보는 답변을 대표하려는 측정이라면 GPT-6 출시 자체는 조건을 바꿀 이유가 아니고, 무료 사용자 일반 채팅의 기본 모델이 바뀌는 날이 기준 변경 시점입니다. 유료 업무 환경의 사용자를 대표하려는 측정이라면 기준이 달라집니다. 어떤 기준이든 측정 도구가 기준을 정해 두고 있는지, 기준이 바뀐 시점을 기록하는지가 확인할 점입니다.

모델이 바뀐 뒤의 점수 해석에 대해서도 논문은 구체적으로 권고합니다.

"A stable identifier does not guarantee the absence of silent updates: interleave conditions, use sentinel controls, and segment collection if a break is suspected." (모델 식별자가 같아도 조용한 업데이트가 없다는 보장은 없다. 조건을 교차 배치하고, 기준 대조군을 두고, 단절이 의심되면 수집 구간을 나눠라.) — Martinez, arXiv:2609.06811, 측정 프로토콜 4단계

실무로 옮기면, 기본 모델 전환 전후의 점수는 하나의 추세선으로 이어 읽지 않는 편이 정확합니다. 전환 시점을 기록하고 그 뒤 몇 회차를 새 기준선으로 삼아야 전후 비교가 가능합니다.

날짜도 실행 조건입니다. 같은 모델이라도 회차마다 답변이 달라지기 때문입니다. 한국 B2B SaaS 12곳을 같은 날 두 번 측정한 재측정 실측에서 개별 점수 변동의 중앙값은 6점이었고, 20일 간격 변화의 중앙값은 5.5점이었습니다. 한 달 사이의 변화가 같은 날 재측정 변동 범위 안에 있었다는 뜻입니다. 몇 번을 반복해야 신뢰할 수 있는지는 세인트갈렌 연구 분석에서 다뤘습니다.

판정 방식 — 같은 답변도 판정 지시문이 바뀌면 점수가 달라집니다

답변을 받은 뒤에도 점수는 아직 정해지지 않았습니다. 답변에서 브랜드 언급과 인용을 식별하는 판정 단계가 남아 있고, 이 작업을 언어 모델에 맡기면 또 하나의 지시문이 측정에 들어옵니다.

"This instruction can change the scoring even when the evaluated answers remain identical." (이 지시문은 평가 대상 답변이 그대로여도 점수를 바꿀 수 있다.) — Martinez, arXiv:2609.06811

논문이 제시하는 대응은 세 가지입니다. LLM 판정을 사용한다면 판정 모델·기준·지시문을 공개하고, 답변 원문과 판정 규칙을 보관하며, 저장된 같은 답변에 판정만 바꿔 적용해 보는 교차 확인입니다. 사용자 입장에서 확인할 점은 하나로 정리됩니다. 점수가 바뀌었을 때 답변이 바뀐 것인지 판정이 바뀐 것인지 구분할 수 있는가입니다. 이를 구분하려면 측정 결과와 함께 답변 원문을 확인할 수 있어야 합니다.

가중치 — 점수 하나 대신 범위로 보고하는 방법

종합 점수에는 상황별 가중치가 숨어 있습니다. 논문은 가중치 선택만으로 순위가 뒤집히는 예시를 제시합니다. 저자가 명시한 가상 사례이며, 탐색 상황은 사용자가 처음 후보를 찾는 질문, 검증 상황은 이미 아는 대상을 확인하는 질문입니다.

구분	탐색 상황 성공률	검증 상황 성공률	탐색 가중치 0.2	탐색 가중치 0.8
시스템 A	0.30	0.90	0.78	0.42
시스템 B	0.50	0.60	0.58	0.52

탐색 가중치가 0.6보다 낮으면 A가, 높으면 B가 앞섭니다. 가중치를 0.20.8 사이에서 정하지 못했다면 논문의 권고대로 점수를 범위로 보고하는 편이 정확합니다. A는 0.420.78, B는 0.52~0.58입니다. A는 가중치에 따라 크게 흔들리고 B는 안정적이라는 정보가 단일 점수에서는 사라집니다.

실무에서 확인할 점은 종합 점수의 가중치가 우리 목표와 맞는가입니다. 신규 고객 확보가 목표라면 브랜드를 모르는 사용자가 후보를 찾는 탐색 상황의 비중이 커야 하고, 기존 고객 유지가 목표라면 검증 상황의 비중을 높게 볼 수 있습니다.

인용됐다고 기여한 것은 아닙니다

인용 수가 늘었다는 것과 그 출처가 답변에 기여했다는 것은 다른 주장입니다.

"The presence of a citation is insufficient to establish a source’s contribution to an answer." (인용이 있다는 사실만으로는 그 출처가 답변에 기여했다고 입증할 수 없다.) — Martinez, arXiv:2609.06811

논문은 기여를 확인하는 방법으로, 질문·조건·검색된 출처 목록을 고정한 상태에서 특정 출처 하나만 제외하고 다시 생성한 답변과 비교하는 설계를 제안합니다. 이때 "인용 여부"는 결과 지표가 될 수 없습니다. 출처를 빼면 그 출처의 인용은 기계적으로 사라지기 때문입니다. 비교해야 할 것은 답변이 담은 정보가 달라졌는가입니다.

이 구분은 앞서 다룬 두 관찰과 같은 방향입니다. 고스트 인용 글에서는 인용되고도 브랜드가 언급되지 않는 경우를, 비판적 서베이 분석에서는 답변 후보에 선택되는 단계와 답변 본문에 반영되는 단계가 별개의 문제라는 점을 다뤘습니다.

측정 도구와 리포트를 검토할 때 확인할 7가지

논문의 7단계 측정 프로토콜을 사용자가 확인할 질문으로 바꾸면 다음과 같습니다. 질문 설계 기준은 브랜드명 질의 글에서 다뤘으므로, 여기서는 그 밖의 조건을 중심으로 정리합니다.

확인할 질문	확인이 필요한 이유
질문 모음은 어떤 상황을 대표하나요? 브랜드명이 포함된 질문이 들어 있나요?	질문 모음이 곧 측정 대상 시장입니다
측정 모델이 대표하려는 사용자(무료·유료)와 맞나요?	모델만 바꿔도 언급률이 몇 배 달라졌습니다
기본 모델이 바뀐 시점이 기록되나요?	전환 전후 점수는 같은 추세선으로 읽을 수 없습니다
같은 질문을 몇 회, 얼마 동안 반복했나요?	같은 날 재측정 변동이 한 달 사이 변화와 비슷했습니다
언급·인용 판정 방식이 공개돼 있고 고정돼 있나요?	판정 지시문만 바꿔도 점수가 달라질 수 있습니다
종합 점수의 가중치가 우리 목표와 맞나요?	가중치에 따라 순위가 뒤집힐 수 있습니다
인용 수 증가를 성과로 해석하고 있지 않나요?	인용은 기여의 증거가 아닙니다

RanketAI의 도구 구성도 이 순서를 따릅니다. 페이지 구조 진단으로 AI 크롤러가 페이지를 읽을 수 있는 상태인지 먼저 확인하고, AI 브랜드 가시성 분석으로 브랜드명을 포함하지 않은 질문에 대한 ChatGPT·Perplexity·Gemini 답변에서 언급·인용을 측정합니다. 경쟁 브랜드와 같은 조건에서 나란히 보려면 경쟁사 비교를 활용할 수 있습니다. 어떤 도구를 사용하든 위 7가지는 같은 기준으로 확인할 수 있습니다.

이 논문을 인용할 때 지켜야 할 선 3가지

이 논문의 가치는 수치가 아니라 측정 설계의 틀에 있습니다. 인용할 때는 다음 한계를 함께 밝혀야 합니다.

1. 새 실험이 없습니다. 저자는 "No new experimental collection from users or generative systems is reported."라고 밝혔고, 순위 역전 예시도 가상 사례라고 명시했습니다. 본문의 수치를 실제 측정 결과로 인용하면 사실과 다른 주장이 됩니다.
2. 동료심사를 거치지 않은 단독 저자 프리프린트입니다. 저자가 제안한 측정 프로토콜의 실증 타당성도 향후 과제로 남아 있습니다.
3. 선별적이고 영어 중심인 서베이입니다. 저자는 여러 연구에서 같은 용어가 쓰이는 것이 독립적인 재현이 쌓였다는 뜻은 아니라고 적었습니다. 한국어 질문과 국내 AI 서비스에 그대로 적용된다는 근거는 아직 없습니다.

자사 실측도 같은 기준으로 읽어야 합니다. 앞의 표는 단일 브랜드·단일 분야·소표본·하루 측정의 결과이고, 보여주는 것은 측정 모델이 점수를 바꾸는 방향이지 특정 모델의 우열이 아닙니다.

자주 묻는 질문

가장 새로운 모델로 측정하면 더 정확하지 않나요?

정확도의 기준이 무엇인지에 따라 다릅니다. 측정 목적이 특정 사용자층이 보는 답변이라면, 그 사용자층이 사용하는 모델이 기준입니다. 자사 실측에서 Gemini의 새 버전은 이전 버전보다 언급률이 오히려 낮았습니다(40%와 74%). 새 모델은 새 모델의 답변을 보여줄 뿐, 대표하려는 사용자의 경험과 같다는 보장은 없습니다.

측정 모델이 바뀌면 기존 점수와 비교할 수 있나요?

전환 전후는 구간을 나눠 읽는 편이 안전합니다. 논문도 단절이 의심되면 수집 구간을 나누라고 권고합니다. 전환 직후 몇 회차를 새 기준선으로 삼고, 그 뒤의 변화부터 추세로 읽으면 됩니다.

도구마다 점수가 다른데 무엇을 믿어야 하나요?

점수 차이 자체는 이상 신호가 아닙니다. 질문 모음·측정 모델·판정 방식·가중치가 다르면 도구마다 다른 대상을 측정하고 있을 수 있습니다. 두 도구를 비교하려면 위 7가지 질문을 각각 확인하고, 조건이 같은 항목끼리만 비교하는 편이 정확합니다.

예산이 적으면 직접 측정해도 되나요?

가능합니다. 다만 조건을 기록해야 결과를 해석할 수 있습니다. 질문 원문, 날짜와 시각, 사용한 앱과 요금제(무료·유료), 화면에 표시된 모델명, 답변 원문을 함께 저장하고, 같은 조건으로 여러 번 반복하는 것이 최소 기준입니다.

인용 수가 늘었다면 성과가 난 것인가요?

인용 수만으로는 판단하기 어렵습니다. 인용은 기여의 증거가 아니기 때문입니다. 인용이 늘었을 때 답변 속 브랜드 서술이 구체적으로 바뀌었는지, 추천 목록에 포함됐는지를 함께 확인해야 성과로 볼 수 있습니다.

함께 읽으면 좋은 글

• GEO 기법 효과 40%의 조건 — 45편 연구를 검토한 2026 비판적 서베이 분석 — 같은 저자의 이전 서베이로, 기법 효과의 조건을 다룹니다.
• 브랜드명 질의로 AI 가시성을 측정하면 안 되는 이유 — 질문 모음 설계 기준을 다룹니다.
• 전월 대비 올랐다는 착각 — 재측정 변동폭이 월간 변화보다 컸다 — 날짜라는 실행 조건이 만드는 변동을 실측했습니다.
• AI 가시성, 하루 7회·2~4주는 측정해야 믿을 수 있다 — 반복 측정 횟수의 통계적 기준입니다.
• AI 가시성 측정에 빠진 수요 측 데이터 — 답변 시장이 실제 수요와 어긋나는 문제의 다른 측면입니다.