우리가 진짜 사용자처럼 측정한다ㅣGEO 프롬프트 측정방식의 두 얼굴
회사에서 GEO 업체를 선정하려고 하는데 “다들 말하는 게 달라 무슨 말인지 잘 모르겠다”며 GEO 측정 방법론을 검토해 달라는 요청을 받았다. 업체들의 제안서를 나란히 펼쳤다.
다들 표현은 다르지만 같은 맥락이 담긴 문장을 쓰고 있었다. “우리는 실제 사용자 경험 그대로 측정합니다.”
그런데 회사들이 성과를 측정하는 방식은 서로 달랐다. 어떤 회사는 API로 측정했고, 어떤 업체는 화면을 그대로 캡처한 Brower 방식이었다. 은연중에 자신들의 방법론이 옳다고 강조하며 상대방을 디스하고 있었다.
사람들과 대화중 의외로 많은 분들이 GEO 프롬프트 측정 방식의 차이를 모른다는 사실을 알게 됐다. 외부에서 마케팅 업무를 하시는 분들에게 도움이 될까 싶어 작성해 본다.
GEO 프롬프트를 측정하는 두 가지 방법
GEO(생성형 엔진 최적화) 측정은 결국 “AI에게 물어봤을 때 우리 브랜드가 얼마나, 어떻게 나오는가”를 측정하는 일이다. GEO 프롬프트 측정 방식은 크게 둘로 나뉜다.
① 먼저 Browser-based 방식이다. 편의상 스크린샷 방식이라고 불리기도 한다. 실제 웹 화면에 프롬프트를 직접 입력하고, 사람 눈에 렌더링되는 답변을 그대로 캡처해서 수집한다.
② 다음은 API -based 방식이다. ChatGPT, Gemini, Perplexity 같은 AI의 API 엔드포인트에 프롬프트를 보내고, 응답과 메타데이터를 받는다. 방법론의 장, 단점을 하나씩 살펴보자.
① Browser 진영이 내세우는 말
미스터리 쇼퍼(Mystery Shopper). 손님인 척 매장에 들어가 직원이 실제로 나에게 무슨 말을 하는지 듣고 오는 사람을 뜻한다. Browser 기반 GEO 측정이 딱 이렇다. 진짜 사용자처럼 화면 앞에 앉아 진짜 사용자가 받는 답을 그대로 받아 온다. 때문에 Browser 방식을 쓰는 업체들은 나름 자부심(?)이 있다.
“우리는 ‘비로그인’ 방식이다.” 이 말에는 API 방식이 Bias가 있다는 걸 은근히 디스하며 자랑하며 포지셔닝 하는 대표 문장이다.
독일 베를린에 있는 Peec AI는 자신들의 방식을 “고객이 사용하는 것과 동일한 인터페이스를 통해 상호작용하니 100% 진짜 데이터”라고 말한다. API 응답이 실제 화면과 다를 수 있다는 점, API가 바뀌거나 막혀도 자기네 방식은 계속 작동한다는 점도 강점으로 든다.
싱가포르에 있는 글로벌 SEO 회사 Ahrefs Brand Radar도 이렇게 말한다. “모든 프롬프트는 ChatGPT, Gemini, Perplexity 등의 무료 공개 웹 인터페이스를 그대로 통과한다. 이렇게 나온 할루시네이션까지 그대로 기록해야 ‘진짜’ 가시성이다”라고 설명한다.
올해 5월 어도비에 최종 인수된 Semrush 역시 “LLM의 API를 거치지 않고 실제 요청에서 응답을 캡처한다”는 점을 말한다.
미국 마테크 기업 Profound는 한 걸음 더 나간다. 매달 1억 7천만 건씩 쌓이는 13억 건의 실제 사용자 프롬프트를 근거로, “우리는 가상의 질문이 아니라 실제 사용자 행동”을 추적한다고 주장한다.
▶️출처: [Peec AI Docs] · [Ahrefs Brand Radar Methodology] · [Semrush AI Visibility Data] · [Profound vs. Peec AI]
그 ‘진짜’라는 말, 팩트체크해보니
하지만 미스터리 쇼퍼에게도 함정은 있다. 매장 직원이 낯선 손님을 알아채고 평소와 다르게 행동할 수 있다. 그 손님이 어느 동네에서 왔는지에 따라 애초에 안내받는 매장 자체도 달라질 수 있다.
Browser 진영이 내세우는 근거 중 하나가 “우리는 로그인 없이, 비로그인 상태로 측정한다”는 말이다. API 방식은 로그인 정보와 연동해 개인화 데이터가 섞이지만, 자신들은 중립을 지킨다는 논리다.
하지만 이 논리는 시작부터 틀렸다. API는 API 키 인증일 뿐 로그인 세션이 아니다. API 방식은 개발자가 위치나 개인화 파라미터를 넣지 않으면, 완전히 독립된 새로운 요청(stateless)이 나간다.
반대로 Brower 진영이 자랑하는 비로그인 브라우저 접속은 어떨까. OpenAI 고객센터는 이렇게 명시한다.
“People who are not signed in can also use web search. ChatGPT may use your IP address to estimate your general location, such as your country, state, or city.” -OpenAI
로그인을 안 해도 서버가 어디서 접속했는지에 따라 이미 답변에 영향을 준다는 뜻이다. 게다가 그 서버가 물리적으로 어느 나라에 있는지, 업체가 지역과 페르소나를 얼마나 다양하게 돌리는지는 대부분 공개되지 않는다. 따라서 ‘비로그인=중립’이라는 Brower 진영의 이분법 갈라치기는 성립하지 않는다.
미스터리 쇼퍼를 너무 자주 보내면 매장도 눈치를 챈다는 문제도 있다. 대부분의 AI 서비스 약관은 자동화된 스크래핑을 금지한다. 화면을 그대로 긁어오는 방식은 봇 탐지나 캡차에 언제든 막힐 위험, 약관 위반 리스크를 항상 안고 가는 리스크가 잠재돼 있다. 합법도 불법도 아닌 그레이 존에 있다.
▶️출처: [OpenAI Help Center, Searching the web with ChatGPT]· [Google AI, Grounding with Google Search] · [OpenAI Services Agreement]
② API 진영이 내세우는 말
이번엔 반대편 진영을 살펴보자. API 기반 GEO 측정을 미는 업체들의 논리는 명확하다. 속도와 통제다.
2024년 오스트리아에서 설립된 신생 회사 OtterlyAI는 최근 Public API와 Claude Skill을 새로 내놓으며 이렇게 밝혔다.
“구글 AI Overviews 하루 쿼리가 150억 건에 달하고, 전체 웹 트래픽의 15%가 이미 AI 에이전트에서 나오는 지금, 월요일 데이터로 금요일에 경쟁사 대비 격차를 만들어내는 팀이 이긴다”
대시보드를 눈으로 보는 대신, 데이터 소스로 바로 꽂아 쓸 수 있어야 한다는 논리다.
실제로 API 방식의 강점은 분명하다. 모델·지역·언어 같은 응답 조건을 고정해 반복 측정할 수 있어 재현 가능한 프로토콜을 만들 수 있고, 신뢰구간 같은 통계 지표 산출에도 유리하다.
OpenAI Responses API의 웹서치 도구는 실제 검색어(Web Search Query)까지 메타데이터로 넘겨준다. 이걸로 팬아웃 쿼리(Query Fan-out)도 볼 수 있다. 공식 Quota(사용자 할당량)와 Rate limit(요구 속도 제한) 안에서 도는 만큼 약관 위반 리스크도 낮다.
▶️출처: [OtterlyAI, Public API and Claude Skill Launch] · [OpenAI, Web Search Guide]
API 측정방식에도 문제는 있다
물론 API 방식이 완벽하진 않다. 가장 큰 한계는 구글 AI Overviews처럼 API 자체가 없는 화면이다. 이런 화면은 API로 아예 측정이 안 된다. API 응답이 실제 소비자가 보는 화면과 미묘하게 다를 수 있다는 지적이 완전히 틀린 말은 아니다.
그래서 실무에서는 하나만 고집하지 않는다. 최근 약 3천억에 인수된 미국 회사 Scrunch AI는 “플랫폼마다 소비자가 실제로 상호작용하는 방식을 가장 잘 반영하는 수집 방법을 고른다” 말했다.
API가 되는 곳은 API로 안 되는 곳은 브라우저로 보완하는 하이브리드 방식을 쓴다는 뜻이다. 현실적인 절충안이다.
API 진영에서도 짚고 넘어갈 문제도 있다. 고객사마다 다른 계정으로 측정하면, 계정별 설정이 결과에 섞여 들어간다. 이건 API 자체의 결함이 아니라 설계의 문제다. 제대로 된 방법론이라면 모델·지역·시스템 프롬프트·반복 횟수 같은 파라미터를 표준 계정 하나에 고정해 모든 프롬프트와 고객에게 동일하게 적용해야 한다.
▶️ 출처: [Scrunch AI, Data Collection Methods FAQ] · [Conductor, Scraping vs. API]
3초 만에 나오는 GEO 점수, 그 뒤에 뭐가 있나
API 방식 이야기하며 첨언하자면 요즘은 도메인 하나만 입력하면 몇 초 만에 GEO 점수를 뽑아주는 무료 페이지가 쏟아진다. 큰 업체만의 이야기가 아니다. 1~2인 규모 에이전시도 AI로 하루 만에 이런 체커 페이지를 딸깍 만들어 마케팅 리드 확보용으로 돌린다. 그런데 이 점수, 어디서 나온 걸까.
첫 번째 문제는 GEO 측정이라고 하면서 애초에 AI에게 묻지도 않는 경우가 있다. 무료 GEO 체커 중 하나인 Geoleaper는 스스로 이렇게 설명한다.
“공개된 HTML을 가져와 모든 JSON-LD 블록을 추출하고, 엔티티 그래프를 검증하고, 필수 Schema.org 필드를 확인해 페널티를 매긴다.”
다시 말해 ChatGPT나 Perplexity에 실제로 질문 프롬프트를 던져본 게 아니라, 웹페이지에 구조화 데이터가 잘 박혀 있는지만 확인하고 그 결과를 ‘GEO 점수’라고 부른다는거다. 기존 테크니컬 SEO 체크리스트에 옷 브랜드 택갈이하듯 새 이름만 붙인 셈이다.
두 번째 문제는 실제로 AI에게 물어보는 툴들은 대부분 비용 문제로 인해 딱 한 번만 물어본다. AI 답변 수집을 연구하는 cloro는 같은 모델에 같은 프롬프트를 몇 분 간격으로 두 번 돌려봤더니, 인용된 도메인이 겹치는 비율은 40%에 불과했다고 밝혔다. 95% 신뢰수준에서 오차범위 ±10%p를 확보하려면 72번, ±5%p를 확보하려면 300번 가까이 물어봐야 한다는 계산도 함께 내놓았다. 이 기준으로 보면 도메인 하나 입력하고 3초 만에 나오는 점수는 동전 한 번 던진 결과에 가깝다.
세 번째 문제는 방법론이 아예 안 보인다. 무료 GEO 계산기 vibe-eval은 “8가지 GEO 차원에 걸쳐 점수를 합성한다”고만 밝히고, 실제 계산식은 별도의 방법론 페이지 링크 뒤에 숨겨 놨다. 회사 소개도, 만든 사람도 나오지 않는다. 페이지 하단에는 저작권 표시 한 줄만 있다.
네 번째 문제는 이해관계. 이런 GEO 체커 상당수는 웹사이트 제작이나 자신들 SaaS 툴, GEO 컨설팅을 파는 회사의 리드 마그넷(Lead Magnet)이다. 웹사이트 빌더 Readdy도 자사 GEO 체커를 “가입 없이 URL만 넣으면 몇 초 만에” 점수를 준다고 홍보하면서, 동시에 자사의 ‘GEO 최적화’ 기능을 함께 판다. 점수를 낮게 보여줘야 다음 단계 상담이나 결제로 이어진다는 유인이 이미 설계 안에 들어있는 셈이다. 측정하는 회사와 고쳐주겠다는 회사가 같으면 시험을 봤는데 성적표를 자기가 채점하는 이상한 구조가 돼서 객관적이지 않다는 문제가 생긴다.
이는 마치 미스터리 쇼퍼를 한 명만 보내놓고 “우리 매장 평점은 4.8점입니다!” 간판에 써 붙이는 것과 다르지 않다. 손님 한 명의 그날 기분과 그날 직원의 응대가 매장 전체 서비스를 대표하지 않는다.
한국 업체들은 문제가 될까봐 외국 업체 사례로만 작성했지만 한국도 비슷하다.
▶️출처: [Geoleaper, GEO Score Checker] · [cloro, AI Visibility Sample Size] · [vibe-eval, GEO Calculator] · [Readdy, GEO Score Checker] · [Browser Media, Why Measuring AI Visibility Is (Mostly) BS]
프롬프트 측정방식보다 먼저 봐야 할 것
측정 방식 논쟁 뒤에는 더 근본적인 문제가 있다. 어느 방식을 쓰든, 그 위에서 만들어지는 점수 자체가 검증 안 된 경우가 많다는 것이다.
예를 들어 순위별로 점수를 다르게 매기는 방식이 있다. 1위는 10점, 2위는 6점 하는 식이다. 근거로 SEO의 검색결과 상위노출 가중치를 든다.
그런데 SEO 가중치는 실제 클릭률 데이터에서 나온 것이지, AI가 문장 속에서 브랜드를 어디에 배치하는지와는 별개의 문제다. 2026년 발표된 한 연구는 후보 순서만 뒤집어도 LLM이 내놓는 추천 순위가 크게 달라진다는 걸 보여줬다. AI 답변 속 브랜드의 등장 순서는, 추천 강도가 아니라 모델의 위치 편향 때문일 수 있다는 뜻이다.
“the tendency of LLMs to rely on the order of candidate input items rather than their relevance”
측정 방식이 API든 Browser든, 그 위에 얹는 채점 로직이 이렇게 흔들리면 숫자는 무의미해진다. 실제로 해외에서도 AI visibility 대시보드 카테고리 전체를 두고 “같은 브랜드가 같은 날 플랫폼마다 다른 점수를 받는다”, “측정과 최적화를 한 회사가 같이 파니 자기 성과를 자기가 채점하는 구조”라는 지적이 나온다.
▶️출처: [Evaluating Position Bias in Large Language Model Recommendations, arXiv:2508.02020]
그래서 우리는 뭘 질문해야 하나
측정 방식에 정답은 없다. API도, Browser도, 두 방식을 합친 하이브리드도 각자의 자리가 있다. 3초짜리 딸깍 무료 체커도 첫 스크리닝용으로는 쓸모가 있다.
문제는 “우리가 더 진짜다!”라는 주장을 인하우스 담당자들이 무비판적으로 검증 없이 믿고 덜컥 계약하는 일이다. 회사에서 GEO 업체나 SaaS 툴을 고를 땐 아래 여섯 가지부터 물어보자.
① 우리 회사에 맞는 GEO 프롬프트를 어떤 방식으로 도출했는지, 성과 측정을 어떻게 측정하는지, 왜 그 방식을 골랐는지 구체적으로 설명할 수 있는가.
② 지역·언어·모델 버전 같은 조건을 어떻게 고정하고, 얼마나 반복해서 측정하는가.
③ 순위나 인용을 점수로 환산하는 계산식과 그 근거를 공개하고 타당한가.
④ 여러 AI 엔진 결과를 하나로 합친 대시보드를 보여준다면 엔진별 편차를 함께 보여주는가.
⑤ 컨설팅과 성과 측정을 같은 회사가 진행하고 있진 않은지.
⑥ GEO 무료 체커라면 AI에게 몇 번이나 물어본 결과인지 공개하는가.
여섯 개 중 두세 개만 막혀도, 그 GEO 점수는 참고용이다. 비즈니스 의사결정의 근거로 쓰기엔 이르다.
마무리
미스터리 쇼퍼의 후기도, 손님 한 명의 즉석 후기도 다 매장을 설명하는 자료가 될 수 있다. 다만 어떤 손님이 몇 명, 언제, 어떤 조건으로 다녀갔는지를 밝히지 않은 자료라면 그건 자료가 아니라 단순 주장일 뿐이다. 잘못된 데이터에 기반해 전략을 세우면 우리 회사 비즈니스는 성장하지 못한다.