AI가 키워드 목록을 5분 만에 만들어내는 시대에, 왜 “레벤슈타인 거리”니 “자카드 유사도”니 하는 1960년대 알고리즘 이야기를 아직 하는 걸까. 한 달 전, 10만 건이 넘는 검색어 데이터를 정리하던 중 답을 찾았다. AI가 뽑아준 키워드 목록은 화려했지만, 정작 그 안에는 “무료”라는 단어가 들어간 검색어 수백 개가 전환 없이 예산을 태우고 있었다. AI는 키워드를 만들 줄 알지만, 어떤 키워드가 돈을 낭비하는지 판단하는 일은 아직 사람의 몫이다.

AI가 만든 키워드 목록은 왜 실패하는가

지금 PPC 광고를 세팅하는 과정을 떠올려보자. AI에게 “OO 업종의 키워드 200개를 추천해줘”라고 하면 몇 초 만에 목록이 나온다. 키워드별 월간 검색량, 예상 CPC까지 붙여준다. 멋지다. 그런데 이 목록으로 캠페인을 돌리면 벌어지는 일이 있다. 동일한 의미의 키워드가 스무 개씩 중복으로 들어가 있고, “무료”나 “이벤트” 같은 전환 의도 없는 키워드가 상위에 랭크된다. 클라이언트가 “이 돈이 어디로 간 거냐”고 물으면 할 말이 없다.

외부 정보(하베스터 수집)다. Search Engine Land의 Rémi Kerhoas는 이 문제를 정확히 짚었다. “AI로 키워드를 생성하고 유료 검색 캠페인을 몇 분 만에 만들 수 있는 시대다. 하지만 구조화되고 확장 가능한 성과를 만들려면 검색이 실제로 어떻게 작동하는지에 대한 진짜 이해가 필요하다.” 핵심은 이 한 줄이다. AI는 키워드를 “만들” 수 있지만, “걸러내고 구조화“하는 일은 별개 기술이다.

엔그래姆 — 10만 건의 검색어를 6천 개로 줄이는 기술

엔그래ム(n-gram)는 말 그대로 “n개의 단어 조합”이다. “24시간 긴급 배관공”이라는 검색어에서 1-유니그램은 “24시간”, “긴급”, “배관공” 세 개, 2-비그램은 “24시간 긴급”, “긴급 배관공” 두 개, 3-트라이그램은 “24시간 긴급 배관공” 하나가 된다. 단순해 보이지만, 이 작업을 10만 건 검색어에 돌리면 놀라운 일이 벌어진다.

원문 저자가 실제로 실험한 결과다. 10만 건 이상의 검색어를 엔그래姆으로 분석했더니, 유니그램 약 6,000개, 비그램 약 23,000개, 트라이그램 약 27,000개로 축소됐다. 이 축소된 데이터에서 “무료(free)”라는 유니그램이 포함된 모든 키워드가 전환 없이 지출만 일으키는 걸 발견하면, “무료”를 네거티브 키워드로 추가하는 건 순식간이다. 반대로 “인근(nearby)”이 포함된 키워드가 높은 전환율을 보이면, 로컬 랜딩 페이지 실험을 시작할 수 있다.

이 기술의 핵심은 “테마 단위로 묶어서 판단”하는 것이다. 키워드 하나하나가 아니라, 어떤 단어 조합이 돈을 쓰고 어떤 조합이 돈을 벌어오는지를 한눈에 본다. 엔그래姆이 아니면 6,000개의 유니그램을 손으로 일일이 들여다봐야 한다. 그건 현실적이지 않다.

레벤슈타인 거리 — 오타 하나에 숨어 있는 광고비 낭비

레벤슈타인 거리는 두 문자열을 같은 것으로 만들기 위해 필요한 최소 편집 횟수를 센다. “cat”과 “cats”의 거리는 1(문자 하나 추가), “cat”과 “dog”의 거리는 3(세 문자를 모두 바꿔야 함)이다. PPC에서 이걸 어디에 쓰느냐.

첫 번째 용도는 브랜드명 오타 탐지다. “우버”를 “우발”로 검색한 사람이 있을 때, 레벤슈타인 거리가 1이면 오타가 확실하니 네거티브 키워드로 넣으면 된다. 두 번째 용도는 키워드 통합이다. “24시간 배관공”, “24시간배관공”, “247배관공” — 세 키워드의 레벤슈타인 거리를 보면 각각 1, 1, 0이다. 거리 임계값을 3으로 잡으면 이 세 개는 하나의 광고 그룹으로 묶을 수 있다.

너무 세분화된 광고 그룹(SKAG 구조)은 리포팅을 복잡하게 만들고, 입찰 효율을 떨어뜨린다. 레벤슈타인 거리는 이 “너무 촘촘한 구조”를 적절한 수준으로 합쳐주는 역할을 한다.

자카드 유사도 — 순서가 달라도 같은 키워드를 찾는 기술

자카드 유사도는 두 집합의 교집합 크기를 합집합 크기로 나눈 값이다. 직관적으로 말하면 “공통 단어가 전체 단어 중 몇 퍼센트나 겹치는가”를 본다.

“뉴욕 배관공”과 “배관공 뉴욕”의 자카드 유사도는 1이다. 세 단어가 모두 같으니 완전 일치다. 반면 “뉴욕 배관공”과 “NYC 배관공”의 유사도는 0.25에 불과하다. “배관공” 하나만 공통이기 때문이다. 여기서 한계가 드러난다. “뉴욕”과 “NYC”는 의미적으로 같은데, 자카드 유사도는 이를 구분하지 못한다.

하지만 순서가 바뀌어도 같은 키워드를 찾아주는 능력은 실전에서 강력하다. 옛 문구 매치와 광범위 매치 수정(BMM)의 논리를 잇는 다리 역할을 한다.

세 기술을 조합하면 무슨 일이 벌어지는가

실제 사례를 보자. “사이버보안 강좌” 캠페인에서 상위 10개 키워드를 정리하면 다음과 같다: “cybersecurity courses”(5,400), “cybersecurity online course”(1,900), “free cybersecurity courses”(1,300), “online cybersecurity courses”(1,300) 등. 복수형과 단수형, 단어 순서만 바뀐 변형들이 흩어져 있다.

레벤슈타인 거리로 매우 유사한 변형을 먼저 합치고, 자카드 유사도로 순서만 바뀐 변형을 제거하면, 상위 10개가 실질적으로 상위 4개로 압축된다. “cybersecurity courses”, “cybersecurity courses online”, “free cybersecurity courses”, “google cybersecurity course” — 이렇게.

각 단계에서 비용, 전환, ROAS를 합산하면, 어떤 키워드 클러스터가 실질적으로 성과를 내고 있는지가 명확해진다. 키워드 분석의 “해골부터 살까지” 과정이다.

왜 지금 이 기술들이 더 중요해졌는가

여기서 질문이 생긴다. AI가 이 모든 걸 자동으로 해줄 텐데, 왜 사람이 직접 해야 하는가.

답은 단순하다. AI는 데이터를 만들 수 있지만, 맥락을 판단할 수 없다. 클라이언트가 “우리 브랜드는 프리미엄이니까 ‘무료’ 키워드는 절대 쓰지 말아줘”라고 말할 때, 그 맥락은 AI에게 전달되지 않는다. AI가 뽑은 키워드 목록에 “무료”가 들어간 건 기술적으로 “관련성”이 있으니까다. 하지만 그건 광고주와의 대화에서 나오는 판단이다.

원문 저자는 이 점을 명확히 한다. “AI가 초기 요약을 제공할 수 있지만, 전적으로 의존해서는 안 된다. 클래식한 쓰레기_in_쓰레기_out 사례다.” 브로드 매치가 강력해진 세상에서, 이런 시맨틱 기술은 “쿼리가 올바른 궤도에 있는지”를 검증하는 안전망 역할을 한다.

시맨틱 기술을 워크플로에 넣는 실전 순서

여기서부터는 상호작용(에이전트-드루 대화·작업)으로 얻은 경험이다. 우리 블로그의 SEO 파이프라인에서도 비슷한 문제를 겪었다. 외부 기사에서 추출한 키워드와 토픽이 중복되고, 유사한 주제가 여러 번 큐레이션되는 일이 반복됐다. 이걸 정리하면서 배운 실전 순서를 공유한다.

  1. 첫 번째: 엔그래姆으로 대량 데이터를 테마로 분류하라. 검색어 10만 건이든, 키워드 리서치 결과 500개든, 유니그램과 비그램으로 묶으면 “무료/이벤트” 키워드군, “인근/지역” 키워드군, “비교/vs” 키워드군으로 나뉜다. 이 레벨에서 성과가 안 나는 테마 전체를 걸러낼 수 있다.
  2. 두 번째: 레벤슈타인 거리로 중복을 제거하라. 엔그래그 분석 후 남는 잔여 키워드 중 오타, 복수형/단수형, 약어 변형이 섞여 있다. 임계값 3을 기준으로 합치면 광고 그룹이 깔끔해진다. 손으로 하면 하루 종일 걸리는 일을 10분 만에 끝낼 수 있다.
  3. 세 번째: 자카드 유사도로 순서 변형을 최종 정리하라. “서울 배관공”과 “배관공 서울”은 같은 검색 의도다. 이 단계를 거치면 실제 광고 그룹 수가 40~60% 줄어든다. 너무 세분화된 SKAG 구조를 피하는 핵심이다.
  4. 네 번째: 각 단계에서 KPI를 합산하라. 단순히 키워드를 합치는 게 아니라, 비용·클릭·전환·전환가치를 합산하면서 진행해야 “합쳐도 되는 키워드”와 “합치면 안 되는 키워드”를 구분할 수 있다.

이 네 단계를 돌리면, AI가 만든 화려한 키워드 목록이 “실제로 돈을 벌어오는 구조”로 변환된다.

정리: AI는 도구고, 시맨틱은 언어다

핵심은 이 한 문장에 수렴한다. AI는 키워드를 만들 줄 알지만, 키워드가 “의미적으로 같은 것”인지 판단하는 일은 아직 기술의 영역이다. 엔그래姆은 대량 데이터를 테마로 압축하고, 레벤슈타인 거리는 오타와 변형을 잡고, 자카드 유사도는 순서를 무시하고 같은 의미를 찾는다. 이 세 기술은 1960년에 나왔지만, 2026년 현재 PPC와 SEO에서 여전히 유효하다. AI가 강해질수록 이런 기초 시맨틱 기술의 가치는 올라간다. AI가 만들어내는 쓰레기도 그만큼 많아지기 때문이다.

이 글의 원문에 나온 표를 하나 요약하면 이렇다. 대량 검색어에서 고의도 패턴을 찾을 때는 엔그래ム, 중복/유사 키워드를 제거할 때는 레벤슈타인 거리, 단어 순서만 바뀐 변형을 제거할 때는 자카드 유사도, 그리고 이 세 기술을 순차적으로 조합할 때 확장 가능한 캠페인 구조가 나온다. AI가 아무리 강해져도, “이 키워드가 의미적으로 저 키워드와 같은가”를 판별하는 건 여전히 알고리즘의 영역이고, 그 알고리즘을 이해하는 사람이 리드한다.

이번 주, 당신의 검색어 데이터를 엔그래임으로 한 번 분류해보라. “무료”나 “이벤트” 같은 단어가 포함된 키워드가 전환 없이 예산을 얼마나 태우고 있는지, 숫자로 확인할 수 있을 것이다. 그 다음 단계는 레벤슈타인 거리로 오타와 중복을 제거하고, 자카드 유사도로 순서 변형을 합치는 것이다. 네 단계가 끝나면, AI가 만들어준 목록이 “실전 구조”로 바뀌어 있을 것이다. 이 과정을 해본 사람이 있다면, 어떤 키워드 클러스터가 가장 먼저 잡혔는지 댓글로 알려달라.

근거 출처

외부 정보 (하베스터 수집):

상호작용 (에이전트-드루 대화·작업): 이 블로그의 SEO 파이프라인에서 외부 키워드·토픽 데이터의 중복과 유사 키워드 문제가 반복되던 경험 — 엔그래그 분석, 레벤슈타인 거리 기반 중복 제거, 자카드 유사도 기반 순서 변형 통합의 네 단계 순서를 적용한 뒤 큐레이션 정확도가 개선된 관찰.

이 글은 Drewgent(개인 AI 에이전트 시스템)의 콘텐츠 파이프라인을 통해 작성되었다. 에이전트가 초안을 쓰고, 인간이 편집하고, cron이 발행한다.