“AI 검색 인용이 이번 달에 늘었습니다.” 이런 문장이 보고서에 들어오기 전에, 반드시 물어야 할 질문이 있다. 그 증가를 만든 게 내가 한 일인가, 아니면 모델이 어느 날 몰래 업데이트된 건가. 대부분의 팀은 이 질문에 답하지 못한다. 그리고 그게 진짜 문제다. AI 검색 인용이 늘었다는 사실 자체는 “무언가 일어났다”는 신호일 뿐, “내가 한 일이 효과가 있었다”는 증거가 아니기 때문이다.

“나타났다”와 “효과가 있었다”는 다른 게임이다

지난 7월, SEO 도구 기업 seoClarity가 Search Engine Journal 웨비나에서 던진 한 문장이 이 논쟁을 정확하게 찌른다. 마크 트라파겐(Mark Traphagen) VP가 말한 핵심은 이렇다. “가시성 점수는 ‘당신이 나타났는지’를 알려주고, 페이지 성과와 스플릿 테스트는 ‘당신이 한 일이 실제로 중요했는지’를 알려준다.”

그리고 거의 모든 팀이 전자에서 멈춘다. ChatGPT·Perplexity·Gemini에 브랜드명을 넣고 “나왔는지” 확인하고, 인용 횟수를 대시보드에 쌓는다. 인용이 올라가면 그걸 KPI로 보고하고, 내려가면 “모델이 바뀐 것 같다”고 넘긴다. 어느 쪽이든 다음 결정에 쓸 수 있는 정보는 아무것도 남지 않는다. “나타났다”는 지표가 “효과가 있었다”는 증거를 대체해버리는 순간, 측정은 방어용 숫자로 전락한다.

FAQ 하나를 넣었다. 그리고 뺐다. 인용이 따라 움직였다

웨비나에서 가장 인상적인 순간은 단순한 숫자가 아니라, 그 숫자가 되돌려졌다는 사실이었다. seoClarity는 세 명의 발표자(트라파겐, AI 프로덕트 매니저 미히르 나익, IT 프로젝트 매니저 수라즈 랄찬다니)가 엔터프라이즈 클라이언트와 돌린 테스트 결과를 공유했는데, 첫 번째 테스트가 그중 하나다.

측정 대상 프롬프트 약 1,000개 하에서, 테스트 페이지에 FAQ 섹션을 추가했다. 대조군 대비 인용이 올라갔고, 변경이 살아있는 동안 그 상태가 유지됐다. 여기까지는 흔한 성공 사례다. 그런데 팀은 변경을 롤백했다. 그리고 인용이 다시 떨어졌다. 랄찬다니의 설명은 이렇게 이어진다. “인용이 올라갔다는 것만으로는 증명이 아니다. 우리가 FAQ를 지웠을 때 인용이 다시 내려갔다는 것. 그게 인과(causation)이고, 상관(correlation)이 아니다.”

인용이 올라간 것만으로는 증명이 아니다. 우리가 FAQ를 지웠을 때 인용이 다시 내려갔다는 것. 그게 인과이고, 상관이 아니다.

이 “되돌리기(reversion)” 증명이 왜 특별한가. AI 검색을 측정하는 거의 모든 팀이 첫 번째 반쪽(올라감)만 보고한다. 두 번째 반쪽(되돌림)은 실험 설계를 갖춘 팀만 만들 수 있다. 변화를 넣고 결과를 보는 것만으로는 운과 실력이 섞인 상태다. 변화를 지우고 결과가 따라 되돌아가는 것을 봐야 비로소 “이 페이지, 이 요소, 이 효과” 사이의 연결이 확정된다. 이 웨비나의 제목이 “AI 검색이 작동한다는 것을 실제 테스트로 증명하는 법”인 이유가 여기 있다.

AI 검색의 효과를 실제 테스트로 증명하는 법을 다룬 SEJ·seoClarity 웨비나 요약 기사의 대표 이미지
출처: Search Engine Journal — Heather Campbell, “AI Search is Working. How to Prove It With Real Tests.” (2026-07-23). seoClarity 웨비나 요약.

그리고 이 테스트의 가치는 “성공한” 테스트에서만 나오지 않는다. 같은 방법론으로 돌린 다른 두 테스트 — 메타 디스크립션과 리스티클(listicle) 포맷 — 는 전혀 다른 결말이었다. 둘 다 FAQ처럼 인용을 끌어올리지 못했고, 이유가 각각 교훈을 준다. 중요한 것은 발표자들이 이를 “실패”로 부르지 않았다는 점이다. 나익의 표현대로 모든 결과는 승리다. 추측 대신 증거를 갖게 됐으니까. 오늘날 AI 검색을 다루는 팀 대부분이 그 증거조차 없다는 게 더 중요한 사실이다.

LLM을 50:50으로 쪼갤 수 없으니, 대조군을 만든다

이런 테스트를 실행하는 방법론도 웨비나에서 공개됐다. 요점은 전통 A/B 테스트가 불가능하다는 것에서 시작한다. 웹사이트 트래픽처럼 실시간 유입을 50:50으로 나눠 다른 버전을 보여줄 수 없다. LLM은 그런 통제를 허용하지 않는다. 그래서 대신 상관된 페이지들로 이루어진 대조군을 구성한다. 변경을 가한 페이지와 구조적으로 비슷한 페이지들을 묶어, 모델 업데이트나 알고리즘 변동으로 생기는 배경 노이즈를 걸러내는 필터로 쓰는 것이다.

대조군이 없으면 모든 결과가 추측이다. 대조군이 있으면 진짜 승리와 배경 노이즈를 구분할 수 있다.

그리고 타이밍이 대부분의 팀이 건너뛰는 규율이다. 어떤 변경이든 라이브로 반영되기 전에 특정한 베이스라인 기간을 측정하고, 변경 후에도 최소 테스트 윈도우를 확보해야 한다. AI 검색은 전통 SEO처럼 하룻밤 만에 반응하지 않는다. 윈도우를 너무 짧게 자르면 랄찬다니의 말 그대로 “노이즈를 읽는 것”이다. 결과는 세 가지 양상으로 나뉘고, 각각이 처음 세운 가설에 다른 이야기를 건넨다.

무엇부터 테스트할까 — “거의 이기고 있는” 질문부터

테스트 대상을 고르는 원칙도 실용적이다. 먼저 골든 프롬프트 세트를 만든다. AI 검색 퍼널 전체 — 인지부터 충성 단계까지 — 를 아우르는 프롬프트 목록을 스테이지별로 태깅한다. 그다음 각 프롬프트를 “브랜드가 지금 AI 답변에서 어디쯤 서 있는지”에 따라 티어로 분류한다.

Tier 1이 승부처다. 랄찬다니의 표현으로는 “당신은 관련이 있는데, AI가 링크할 만한 URL을 아직 받지 못한 상태”. 여기서는 작은 구조 개선만으로 인용이 따라온다. Tier 2는 더 무거운 작업이고, 일부 프롬프트는 테스트 풀에서 아예 제외된다. 순서가 의도적인 이유는 분명하다. 초기 승리가 나중에 더 어려운 테스트를 돌릴 정치적 자본을 사준다. 팀을 설득해 실험을 지속하게 만드는 것은 화려한 방법론이 아니라, 먼저 보이는 성공이다.

구글이 AI 노출 데이터를 직접 주기 시작했다 — 그래도 채우지 못할 구멍은 있다

측정 환경도 빠르게 바뀌고 있다. 지난 6월 3일, 구글은 Search Console에 AI Overviews와 AI Mode 전용 리포트를 출시했다. 어떤 URL이 구글의 AI 검색 기능에 페이지 단위로 얼마나 자주 나타나는지 보여준다. 랄찬다니는 이를 “AI 검색 측정이 받은 가장 큰 업그레이드”라고 불렀다. “이건 AI 검색에서 가장 측정하기 어려운 부분이었다. 모두가 샘플링하고, 모두가 추론했다. 그런데 이제 구글이 그냥 데이터를 준다.” 퍼스트파티 데이터는 어떤 서드파티 도구보다 높은 신뢰도를 가진다.

하지만 발표자들은 한계를 숨기지 않았다. 새 리포트는 AI 검색 측정 프로그램이 필요한 전부가 아니며, ChatGPT·Claude·Perplexity는 여전히 구조화된 서드파티 추적이 필요하다. 취해야 할 행동은 분명하다. Search Console에서 새 AI 리포트를 먼저 확인하고, 그 데이터가 어디까지 커버하는지 파악한 뒤 테스트 프로그램을 설계하라는 것. 구글 데이터가 싸다고 해서 측정 전체가 해결됐다고 착각하면, 나머지 엔진이 비어 있는 것을 나중에 알게 된다.

AI 검색 측정의 KPI 문제, 인용과 클릭 없는 영향력을 다루는 SEJ 웨비나 요약 기사의 대표 이미지
출처: Search Engine Journal — Heather Campbell, “How To Measure AI Search: Current KPIs You Need To Know” (2026-05-14). 인용·멘션·추천은 GA4에 이벤트를 남기지 않는다.

왜 이 한계가 중요한가. AI 검색의 영향력은 클릭이 일어나기 전에 이미 소비된다. 유저가 AI 답변에서 인용과 추천을 읽고 만족하면, 당신 사이트에 방문할 필요가 없어진다. 그 영향력은 GA4에 이벤트로 쌓이지 않고, 태그 매니저를 통과하지 않는다. 그런 세계에서 “트래픽으로 환산되지 않는 인용의 ROI는 무엇인가”라는 질문은 피할 수 없다. 웨비나 Q&A에서 나온 답이 이 글의 통찰을 완성한다.

인용 하나의 가치는 트래픽이 아니라 “재현”이다

나익의 답은 관점을 바꾼다. “당신은 인용되고 싶은 이유가, 표시될 답변을 당신이 통제하고 있기 때문이다.” 클릭이 없어도, 인용된 페이지는 답변 내부의 서사를 만든다. 특히 비교형 질문에서 인용은 브랜드 포지셔닝의 무거운 작업을 한다. 이때 질문은 “얼마나 많은 방문자가 왔나”가 아니라 “우리의 USP가 제대로 강조됐나, 비교 세트가 정확한가, 오류가 떠다니지 않는가”가 된다. 측정의 단위가 트래픽에서 재현(representation)의 정확성으로 바뀌는 순간, 인용의 가치는 방문자 수와 무관하게 정의된다.

이 흐름을 보면, 앞서의 FAQ 테스트가 왜 그렇게 완성된 증명이었는지가 다시 보인다. FAQ는 답변 안에서 당신의 서사를 확장할 수 있는 가장 통제 가능한 요소다. 그것이 1,000개 프롬프트에서 인용을 움직였고, 되돌렸을 때 함께 되돌아갔다. AI 검색이 “작동한다”는 것은 추상적인 확신이 아니라, 되돌리기로 확정된 이 페이지와 저 요소 사이의 연결이다.

질문을 바꾸면 측정이 실험이 된다 — 오늘 시작할 수 있는 것

여기까지 정리하면, 이 웨비나가 실무에 남기는 것은 세 가지다.

  • 질문의 단위를 바꿔라. “AI 검색에서 우리가 잘 보이나요?”를 “우리가 바꾼 것 중 무엇이 인과적으로 인용을 움직였나요?”로 교체한다. 후자는 실험을 요구하고, 실험은 데이터를 요구한다.
  • 대조군을 만들어라. 변경 페이지와 구조적으로 상관된 페이지 세트를 미리 묶고, 베이스라인 기간과 최소 테스트 윈도우를 정한다. 모델 업데이트는 당신의 실험도, 실패도 아니라는 것을 그 데이터가 증명해준다.
  • 되돌리기까지 봐라. 변화를 넣고 인용이 오르는 것을 확인했다면, 그다음 변화를 지우고 인용이 따라 내려가는지 본다. 두 번째 반쪽을 만든 팀만 “증명”이라는 단어를 쓸 자격이 있다.

그리고 기억해야 할 대비 하나. 전통 SEO는 이 이야기에서 토대다. 웨비나에서 트라파겐은 “절대적으로, 그것은 기초다”라고 단언했고, 랄찬다니는 “클라이언트 테스트에서 SEO에 작동하는 것이 AI 검색에 작동하지 않은 경우는 거의 없었다”고 덧붙였다. AI authority라는 것도 단일 숫자가 아니라 상위 프롬프트에서의 인용 점유율, 엔진 간 일관성 같은 신호를 쌓는 일이고, 그 신호들은 결국 기초 위에 얹힌다. 새로운 종목이 아니라, 기존 훈련의 측정 방식이 달라진 것이다.

이번 주에 가장 작은 정직한 실험을 하나 시작해보라. 한 페이지에 FAQ 섹션을 추가하고, 비슷한 페이지 두세 개를 대조군으로 묶고, 현재 인용 상태를 기록한 뒤 몇 주를 기다린다. 인용이 움직였는지 확인하고 — 그리고 결정적으로 — 되돌린 뒤 다시 떨어지는지 본다. “늘었다”는 숫자 대신, 되돌리기까지 완성된 인과 증명 하나가 쌓이면 당신의 보고서는 방어용 숫자에서 결정용 데이터로 바뀐다. FAQ가 아닌 다른 요소를 테스트했다면, 특히 결과가 예상과 달랐다면 댓글로 공유해달라. 실패한 실험의 데이터일수록 다른 팀이 가장 필요로 하는 것일 테니까.

근거 출처

외부 정보 (하베스터 수집)

상호작용 (에이전트-드루 대화·작업)

이 글은 외부 정보만을 근거로 쓴 의견/분석 글이다. 필자의 자체 측정이나 스플릿 테스트 실행 경험에 기반한 데이터 주장은 포함하지 않았으며, 실험 설계 제안은 위 출처의 방법론을 정리한 것이다.

이 글은 Drewgent(개인 AI 에이전트 시스템)의 콘텐츠 파이프라인을 통해 작성되었다. 에이전트가 초안을 쓰고, 인간이 편집하고, cron이 발행한다.

원문: Heather Campbell, “AI Search is Working. How to Prove It With Real Tests.”, Search Engine Journal (2026-07-23).