고객이 AI에게 물으면 우리 가게 정보도 정확하게 나올까?

고객이 AI에게 「이 근처 학원 수강료랑 상담 시간 정리해 줘」라고 요청했다고 생각해 보자. AI는 여러 홈페이지를 검색하고 내용을 읽은 뒤 학원별 정보를 정리한다. 이때 홈페이지에 수강료와 상담 시간이 명확하게 적혀 있다면 답변에 활용할 수 있지만, 실제로 정확하게 가져간다고 보장할 수는 없다.

연구진은 실제 이용자의 요청을 바탕으로 중국어 과제 102개와 영어 과제 101개를 만들었다. 사람들은 채점 기준을 만드는 데 4,500시간 넘게 들였고, AI 12종을 같은 검색·웹 읽기·코드 실행 도구로 시험했다. 과제마다 여러 조건을 확인하도록 설계한 실험이다.

AI는 왜 그럴듯한 답을 내놓고도 틀릴까?

AI의 답변이 자연스럽고 읽기 쉽다고 해서 필요한 정보가 모두 들어 있다는 뜻은 아니다. 연구진이 만든 채점 기준의 약 40%는 정확한 숫자나 특정 사건, 문서 이름을 요구했다. 전체 기준 중 98.0%는 맞고 틀림을 확인할 수 있는 객관적인 항목이었다.

예를 들어 어떤 요금제의 가격을 조사한다면 금액만 적어서는 부족할 수 있다. 기준일이 언제인지, 어느 공식 페이지에서 확인했는지도 밝혀야 한다. 연구진은 이런 조건을 각각 확인하도록 기준을 만들었다.

이 실험에서 가장 높은 점수를 받은 AI도 전체 채점 기준의 상당 부분을 충족하지 못했다. 보고서가 길고 설명이 매끄러워도 질문에서 요구한 값이나 날짜, 출처가 빠질 수 있다는 뜻이다. 가게 정보를 AI가 읽기 쉽게 정리하는 일과 AI가 실제로 정확하게 답하는 일은 구분해서 봐야 한다.

AI 12종 중 가장 높은 점수는 얼마였을까?

1위는 GPT-5.6 Sol로 63.44%를 기록했다. 2위 Claude Opus 5는 56.10%였고, 나머지 10종은 모두 50% 아래였다. 과제 203개 가운데 41개에서는 1위 AI도 50% 미만의 점수를 받았다.

생활 정보 분야의 점수도 살펴볼 필요가 있다. 1위 AI의 생활 정보 점수는 58.3%로, 회사·경쟁사 분야의 62.9%보다 낮았다. 다만 생활 정보 과제는 9개뿐이므로 이 차이만으로 모든 생활 정보에서 AI가 더 부정확하다고 단정해서는 안 된다.

검색과 읽기를 더 많이 반복한 AI일수록 점수가 높은 경향도 나타났다. 하지만 검색 횟수나 보고서 길이만으로 정확성이 결정되지는 않았다. 중요한 것은 정보를 많이 모으는 것뿐 아니라 질문에서 요구한 조건을 빠짐없이 확인하는 일이다.

우리 가게 홈페이지에서 무엇을 고쳐야 할까?

먼저 가격과 영업시간을 사진에만 넣어 두지 말고 본문 글자와 표로도 적어야 한다. AI가 웹페이지를 읽고 정보를 정리할 때 가격표 이미지에만 의존하면 필요한 값을 놓칠 수 있기 때문이다. 가격에는 「2026년 ○월 기준」처럼 기준일을 함께 표시하고, 변경된 내용은 바로 수정해야 한다.

가격과 시간에는 이용 조건도 붙여야 한다. 예약이 필요한지, 평일에만 상담할 수 있는지, 계절에 따라 휴무하는지 등을 해당 정보 바로 옆에 적는 방식이다. 고객이 알고 싶은 조건과 실제 운영 조건이 한눈에 연결되도록 작성하는 것이 중요하다.

주소와 영업시간, 가격 정보가 여러 페이지에 흩어져 있다면 내용도 서로 맞춰야 한다. 공식 가격 페이지를 하나 정하고, 다른 페이지에도 같은 가격과 기준일을 표시하는 편이 좋다. 구글 검색 센터는 사업체의 구조화 데이터에서 이름과 주소를 필수 항목으로, 영업시간과 가격대, 전화번호 등을 권장 항목으로 안내한다.

날짜가 오래된 정보도 AI가 가져갈까?

그럴 수 있다. 연구진은 기준일을 지키지 못한 사례도 확인했다. 7월 20일 기준으로 공개 저장소 현황을 조사하라는 과제에서 한 AI는 기준일 이후인 8월 자료를 사용했다. 해당 보고서는 채점 기준 26개 중 14개를 충족해 41.55%를 기록했다.

이 사례가 모든 AI가 날짜가 오래된 정보를 선택한다는 뜻은 아니다. 다만 홈페이지에 가격이나 영업시간을 적어 놓았더라도 언제 확인한 정보인지 알 수 없다면 최신 정보인지 판단하기 어려울 수 있다. 정보가 바뀐 날짜를 표시하고, 현재 운영 기준과 맞지 않는 내용을 정리하는 것이 좋다.

특히 수강료, 상담 시간, 예약 가능 시간처럼 고객의 선택에 직접 영향을 주는 정보는 정확하게 관리해야 한다. 단순히 「상담 가능」이라고 적는 것보다 상담 가능 시간과 예약 필요 여부를 함께 적는 편이 명확하다. 고객이 비교할 때 필요한 정보를 홈페이지에서 직접 확인할 수 있어야 한다.

이 연구 결과를 어디까지 믿어야 할까?

이번 연구는 중국어와 영어 과제를 대상으로 했다. 한국어 질문이나 네이버 같은 국내 플랫폼에서 정보가 얼마나 정확하게 전달되는지는 시험하지 않았다. 따라서 이번 점수를 국내 모든 AI 서비스의 성능으로 그대로 해석해서는 안 된다.

채점은 AI 판정관이 맡았고, 사람의 판정과 일치한 비율은 84.25%였다. 사람이 별도로 30개 과제의 보고서 210개를 평가한 결과와도 순위가 강하게 일치했다. 다만 시험은 2026년 8월 며칠 동안 진행됐고, 실제 소비자용 심층 조사 서비스와는 실행 환경이 다를 수 있다.

연구진은 가격이나 영업시간만 따로 떼어 정확도를 계산하지도 않았다. 그러므로 홈페이지에 정보를 적으면 AI가 반드시 정확하게 답한다고 결론 내릴 수는 없다. 확인할 수 있는 사실은 심층 조사 AI조차 질문의 조건을 빠짐없이 충족하지 못했으며, 구체적인 값과 날짜, 출처를 놓치는 일이 실제로 나타났다는 점이다.

동네 사장님이 준비할 방법은 복잡하지 않다. 가격과 영업시간을 글자로 적고, 기준일과 이용 조건을 붙이고, 공식 정보가 서로 일치하도록 관리하면 된다. AI가 어떤 정보를 선택할지 통제할 수는 없지만, 정확한 정보를 확인할 수 있는 홈페이지를 만드는 것은 가능하다.

같이 읽을 글

• AI가 우리 홈페이지를 출처로 달면 믿어도 될까?
• 게시판에 글 하나 쓰면 AI의 식당 추천도 바뀔까?
• AI는 영업시간을 어디서 가져올까?
• 글마다 고친 날짜를 붙이면 AI가 더 인용할까?

자료 출처

• LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity(텐센트 대형언어모델 부서·arXiv 2610.18092·2026년 10월 제출, 과제 203개·채점 기준 4,014개·AI 12종)
• 같은 논문 HTML 본문(표 2·3·4·5·6·7, 4.4절 실패 분석, 부록 D·E, 그림 3 원본)
• Local Business (LocalBusiness) Structured Data(구글 검색 센터·2026년 9월 8일 갱신, 필수·권장 속성)
• Gemini Deep Research(구글 공식 안내, 최대 수백 개 웹사이트 조사·몇 분 안에 보고서)
• OpeningHoursSpecification(schema.org 공식 어휘, 영업시간 표기 형식)
• Reader API(Jina AI 공식 페이지, 실험에서 웹페이지를 글로 바꿔 읽은 도구)

AI 회사들은 지금 얼마나 큰 매출을 만들어야 하나?

오픈AI와 앤트로픽은 투자 유치 과정에서 매우 높은 기업가치를 인정받았다. 하지만 기업가치가 높다고 해서 지금 그만큼의 매출을 벌고 있다는 뜻은 아니다. 투자자들이 기대하는 미래의 매출과 이익이 현재 가치에 반영돼 있다는 뜻에 가깝다.

프랑스 푸아티에대 연구자는 두 회사의 기업가치를 기준으로 10년 뒤 필요한 매출을 거꾸로 계산했다. 할인율 15%와 성숙기 현금 마진 25%를 적용한 기준 계산에서 두 회사가 10년째 달성해야 할 매출은 합산 2조 7,900억 달러였다. 할인율 10%와 마진 40%를 적용한 낙관적인 계산에서도 7,330억 달러가 필요했다.

현재 매출과 비교하면 차이가 크다. 오픈AI는 연 240억 달러 수준이고, 앤트로픽은 연 470억 달러 이상이다. 기준 계산에서는 두 회사 모두 앞으로 해마다 41~49%의 성장을 이어가야 한다.

구독료만으로는 부족한가?

AI 회사는 개인 구독료와 기업 이용료, 개발자가 내는 모델 사용료로 매출을 올린다. 고객이 AI를 더 많이 사용하면 매출도 늘어날 수 있다. 하지만 사용량이 늘어난다고 매출이 같은 비율로 늘어나는 것은 아니다.

연구자는 개인 구독자 2억 명과 기업 유료 좌석 1억 개를 가정해 계산했다. 이때 연 매출은 528억 달러다. 나머지 목표를 채우려면 개발자용 사용료만으로도 낙관적인 계산에서 2,950억 달러, 기준 계산에서 1조 2,690억 달러를 더 벌어야 한다.

이 계산은 구독과 사용료만으로 높은 기업가치를 정당화하기가 쉽지 않다는 점을 보여준다. 저렴한 모델의 등장과 공개 모델과의 경쟁은 사용료를 낮출 수 있다. AI 회사가 광고나 다른 사업으로 수입원을 넓히려는 이유도 여기에서 찾을 수 있다.

광고 말고도 돈을 버는 방법이 있나?

AI 회사들이 매출을 늘리는 방법은 광고만이 아니다. 다른 회사의 지분을 보유하거나, AI 도입을 돕는 사업에 참여하거나, 연구 성과를 사업으로 연결하는 방식도 있다. 다만 이런 제휴에서 실제로 얼마를 버는지는 공개되지 않은 경우가 많다.

오픈AI는 서비스 사업을 운영하는 회사의 지분을 확보하는 움직임을 보였다. 소재·바이오 분야의 연구 제휴도 진행했다. 앤트로픽 역시 바이오 분야 사업을 확장하는 움직임이 보도됐다.

이런 사업이 앞으로 얼마나 큰 매출과 이익을 만들어낼지는 아직 확정할 수 없다. 중요한 점은 AI 회사들이 모델 사용료 하나에만 기대기보다 여러 수입원을 확보하려 한다는 것이다. 광고는 그중에서도 고객과 직접 만나는 서비스에 붙일 수 있는 수입원이다.

챗GPT 광고는 한국에서도 시작됐나?

그렇다. 오픈AI는 2026년 2월 9일 미국에서 무료·Go 요금제 이용자를 대상으로 광고 시험을 시작했다. 2026년 6월 19일에는 한국까지 시범 운영 지역을 넓혔다. 무료와 Go 요금제를 이용하는 성인이 대상이며, Go 요금은 월 1만 3,000원이다.

오픈AI는 광고를 AI 답변과 분리하고, 광고주가 답변 내용에 영향을 미칠 수 없도록 한다고 밝혔다. 광고주에게 제공하는 정보도 조회 수와 클릭 수 같은 집계 정보라고 설명했다. 플러스 이상 유료 요금제와 미성년자, 정신건강·정치 같은 민감한 대화에는 광고를 붙이지 않는다는 원칙도 제시했다.

광고 사업의 성장 속도도 눈에 띈다. 오픈AI는 광고 시범 운영이 6주가 되기 전에 연환산 매출 1억 달러를 넘었다고 밝혔다. CNBC 보도에 따르면 2026년 8월 31일에는 광고 사업이 약 200일 만에 연환산 10억 달러를 기록했고, 운영 지역도 40개국 이상으로 늘었다.

다만 연환산 매출은 일정 기간의 실적을 1년 기준으로 환산한 수치다. 실제로 1년 동안 그 금액을 벌었다는 뜻은 아니다. 광고 사업이 빠르게 커지고 있다는 신호로 보는 것이 정확하다.

광고가 늘어나면 동네 가게는 어떻게 달라질까?

앞으로 AI 광고가 더 많은 지역과 요금제로 확대될 가능성은 있다. 두 AI 회사가 목표로 하는 매출과 현재 매출 사이에 큰 차이가 있기 때문이다. 하지만 광고가 늘어난다고 해서 광고비를 많이 낸 가게가 AI 답변에 더 자주 추천된다고 단정할 수는 없다.

오픈AI가 밝힌 원칙대로라면 광고와 답변은 구분된다. 광고를 집행하는 일과 AI가 우리 가게를 이해할 수 있도록 정보를 제공하는 일은 따로 준비해야 한다. 광고가 실제로 우리 가게에 도움이 되는지는 별도로 확인해야 한다.

동네 가게가 먼저 할 일은 홈페이지에 정확한 사실 정보를 정리하는 것이다. 가게 이름과 위치, 영업시간, 주요 상품과 서비스, 가격, 예약 방법처럼 고객이 궁금해할 내용을 명확하게 알려야 한다. 정보가 오래됐거나 서로 다르면 AI가 가게를 정확히 파악하기 어려워질 수 있다.

광고를 시험한다면 처음부터 큰 예산을 쓰기보다 소액으로 시작해 조회 수와 클릭 수를 확인하는 편이 낫다. 무료·Go 요금제를 이용하는 고객이 우리 가게의 주요 고객인지도 살펴볼 필요가 있다. 광고가 모든 요금제와 모든 대화에 노출되는 것은 아니기 때문이다.

앞으로 무엇을 기준으로 준비해야 하나?

AI 회사의 요금과 광고 정책은 앞으로 달라질 수 있다. 광고 단가가 오를 가능성도 있지만, 실제로 얼마나 오를지는 지금 확정할 수 없다. 광고비를 미리 크게 늘리기보다 홈페이지 정보 정비와 광고 실험에 예산을 나눠 쓰는 편이 안전하다.

이번 계산 역시 미래를 정확히 예측한 결과는 아니다. 기업가치는 투자 조건에 따라 달라질 수 있고, 매출 수치도 감사받은 연간 실적과 다를 수 있다. 할인율과 이익률, 10년 이후의 가치에 어떤 가정을 넣느냐에 따라서도 필요한 매출은 크게 바뀐다.

그렇더라도 핵심은 분명하다. AI 회사들이 미래 매출을 만들기 위해 광고를 비롯한 새로운 사업을 넓히는 동안, 동네 가게는 광고만 바라봐서는 안 된다. 고객에게 필요한 정보를 홈페이지에 정확히 정리하고, 광고는 실제 효과를 확인하면서 활용하는 것이 현실적인 준비다.

같이 읽을 글

• 챗GPT 광고가 10억 달러라는데, 작은 회사와 무슨 상관일까?
• AI 광고 시장이 정말 1,000억 달러까지 커질까?
• 빅테크는 AI에 쓴 돈을 어떻게 회수할까?
• AI가 광고를 답에 섞으면 작은 회사는 어떻게 될까?

자료 출처

• Is the business of frontier AI companies selling tokens? Value capture and equity prices(푸아티에대 앤드루 피터슨·arXiv 2610.14145·2026년 10월 제출, 공개 문서 61건·역산 현금흐름 모형)
• 같은 논문 HTML 본문(표 1·2, 4장, 5장, 부록 A1·A2)
• Anthropic raises $65B Series H at $965B valuation(앤트로픽 공식 발표·2026년 5월, 연 매출 속도 470억 달러 이상)
• ChatGPT rolls out ads(테크크런치·2026년 2월 9일, 미국 무료·Go 요금제 광고 시험)
• 챗GPT, 한국에서도 광고 뜬다…무료·저가 요금제 성인 대상(뉴시스·2026년 6월 19일)
• OpenAI's ad business hits $1 billion annualized revenue run rate(CNBC·2026년 8월 31일, 40개국 이상)

AI를 조금 쓰는데, 광고에 넣어도 될까?

넣을 수는 있다. 다만 실제로 사용하는 기능과 광고 문구가 맞아야 한다. 예약 문의에 AI를 활용하는 가게와 고객의 피부 상태를 AI로 분석하는 가게는 설명해야 할 내용이 다르다.

중요한 것은 AI를 쓴다는 사실만으로 더 뛰어난 서비스를 제공한다고 주장하지 않는 것이다. AI가 어떤 일을 하는지, 결과를 누가 확인하는지, 어디까지 할 수 있는지를 구체적으로 밝혀야 한다. 고객이 광고를 읽고 실제 서비스의 모습을 이해할 수 있어야 한다.

독일 함부르크대 연구진은 AI를 내세우는 스타트업 100곳의 홈페이지와 체험판, 소셜미디어, 투자 자료 등을 살펴봤다. 종합 과장 점수에서 5점 만점 중 4~5점을 받은 업체는 39곳이었다.

고객은 어떤 AI 광고를 의심할까?

연구에서 확인된 과장은 크게 세 가지였다. 성능을 확인할 수 없는 주장, 방법을 밝히지 않은 성능 숫자, 한계를 감춘 주장이었다. 고객이 광고만 보고는 실제 능력을 확인하기 어려운 문구가 반복됐다.

예를 들어 「생산 비용을 최대 96% 절감」이라고 광고한다면 무엇과 비교했는지 밝혀야 한다. 「업계 평균보다 도난 10배 적음」이라고 한다면 어느 업계인지, 어떤 방법으로 측정했는지, 어느 기간의 결과인지 설명해야 한다.

「환각 없는 AI」처럼 실패 가능성을 완전히 없앤다는 표현도 주의해야 한다. 실제로 보장할 수 없는 결과를 확실한 것처럼 말하면 고객의 기대와 실제 서비스 사이에 차이가 생긴다.

AI라는 말만 붙이면 고객이 더 믿을까?

조사에 참여한 53명 중 53%는 소비자나 직장인으로서 AI 과장을 직접 겪었다고 답했다. 과장을 경험한 사람들은 「AI 기반」 문구의 신뢰도를 5점 만점에 평균 1.71점으로 평가했다. 경험하지 않은 사람들의 평균은 2.48점이었다.

두 집단의 AI 이해 수준은 통계적으로 유의한 차이가 없었다. 연구진은 AI를 더 잘 알아서 믿지 않는 것이 아니라, 과장을 직접 겪은 경험이 신뢰를 낮췄을 가능성이 있다고 해석했다.

이 결과가 모든 고객의 반응을 그대로 보여 주는 것은 아니다. 그래도 한 번의 과장이 다음 광고까지 의심하게 만들 수 있다는 점은 가게 운영자에게 중요하다. 당장 눈길을 끄는 문구보다 실제 서비스와 일치하는 설명이 장기적인 신뢰를 지키는 데 도움이 된다.

고객은 AI가 어디까지 할 수 있다고 생각할까?

AI가 모든 일을 스스로 판단할 수 있다고 기대하는 고객만 있는 것은 아니다. 연구에서 응답자의 70%는 감시를 믿을 만하고 윤리적으로 수행할 수 있는 AI의 능력을 낮게 평가했다. 의료·법률 같은 복잡한 판단을 스스로 할 수 있다는 능력도 57%가 낮게 봤다.

특히 심리 상담이나 치료를 AI가 대신할 수 있다는 주장에는 81%가 낮은 평가를 내렸다. 이는 AI를 활용하는 서비스라면 더욱 신중하게 설명해야 한다는 점을 보여 준다.

학원이나 피부관리실도 마찬가지다. AI가 고객의 상태를 참고해 정보를 정리하는 것과 전문적인 판단을 대신하는 것은 다르다. 실제로 제공하는 기능을 넘어서는 표현은 피하고, 사람이 확인하거나 판단하는 과정이 있다면 그 사실을 밝혀야 한다.

우리 가게 광고에도 법적 기준이 있을까?

한국의 표시·광고의 공정화에 관한 법률은 거짓·과장 광고와 기만적인 광고 등을 금지한다. 광고에서 내세운 사실은 실증할 수 있어야 하며, 공정거래위원회가 관련 자료를 요청하면 15일 안에 제출해야 한다.

자료를 제출하지 않고 광고를 계속하면 광고 중지 명령을 받을 수 있다. 법에는 과징금과 형사처벌에 관한 규정도 있다. AI라는 단어를 사용했다는 이유만으로 곧바로 위법한 것은 아니지만, 그 단어와 함께 내세운 성능이나 효과가 사실과 다르다면 문제가 될 수 있다.

공정거래위원회는 2026년 6월 23일 AI 같은 신기술 제품의 성능 광고에도 사전 실증이 필요하다는 내용을 담은 고시 개정안을 행정예고했다. 다만 개정안의 최종 확정 여부는 확인되지 않았다.

그렇다면 광고 문구를 어떻게 바꿔야 할까?

첫째, 「AI 맞춤」이라고만 쓰지 말고 AI가 무엇을 하는지 한 문장으로 설명한다. 실제 기능이 고객 문의 분류라면 그 기능을 밝히는 편이 낫다. 고객이 광고를 읽고 받을 수 있는 서비스가 무엇인지 알 수 있어야 한다.

둘째, 성능 숫자를 쓸 때는 비교 기준과 측정 기간, 대상을 함께 밝힌다. 이를 뒷받침할 자료가 없다면 숫자를 빼는 것이 낫다. 셋째, AI가 처리하지 못하는 일과 사람이 확인하는 단계를 설명한다.

넷째, 다른 회사의 AI 도구를 사용한다면 자체 개발한 기술인 것처럼 표현하지 않는다. 다섯째, 고객 로고나 후기만으로 AI 성능을 입증했다고 생각하지 않는다. 고객의 만족 경험과 기술의 성능을 확인할 수 있는 증거는 서로 다른 문제다.

마지막으로 AI를 이용해 광고 문구를 만들었다면 「완벽」「절대」「무조건」 같은 표현이 들어갔는지 확인한다. AI가 만든 문장이라고 해서 사실이 되는 것은 아니다. 광고에 게시하기 전에 실제 기능과 근거를 사람이 점검해야 한다.

이 연구를 우리 가게에 그대로 적용해도 될까?

이번 연구는 독일의 AI 스타트업을 대상으로 진행됐다. 한국의 동네 가게나 일반 고객을 직접 조사한 결과는 아니다. 홍보 문구와 공개 데모, 체험판을 중심으로 평가했기 때문에 제품을 오랫동안 사용한 뒤의 성능까지 확인한 것도 아니다.

인터뷰에 참여한 53명 역시 일반 소비자 전체를 대표하는 표본은 아니다. AI를 잘 아는 직장인과 대학원생이 포함됐으며, 신뢰도도 하나의 문항으로 측정했다. 따라서 연구의 숫자를 한국 고객에게 그대로 적용하기보다, AI 광고를 점검하는 기준으로 활용하는 것이 적절하다.

사장님이 기억할 원칙은 간단하다. AI를 쓴다는 사실보다 AI가 실제로 해 주는 일을 먼저 설명한다. 성능을 주장한다면 근거를 준비하고, 한계가 있다면 숨기지 않는다. 광고 문구가 실제 서비스보다 앞서가지 않도록 하는 것이 고객의 신뢰를 지키는 출발점이다.

같이 읽을 글

• 홈페이지에 AI를 썼다고 조금 부풀려도 될까?
• AI로 만든 가게 광고, 표시해야 할까?
• 가게가 AI를 썼다고 꼭 밝혀야 하나?

자료 출처

• Auditing AI-Washing in German Startups: A Mixed-Methods Study of Marketing Claims and Perceptions(함부르크대 신뢰할 수 있는 AI 연구실·arXiv 2610.11788·2026년 10월 제출, 독일 AI 스타트업 100곳·인터뷰 63명)
• 같은 논문 HTML 본문(표 1~4, 발견 1~3, 한계 절, 부록 B 설문 문항)
• 표시ㆍ광고의 공정화에 관한 법률(국가법령정보센터·법률 제20712호·2025년 1월 21일 시행, 제2조·제3조·제5조·제9조·제17조)
• 표시·광고 실증에 관한 운영 개정안 행정예고 및 시사점(법무법인 태평양·2026년 6월, 공정위 2026년 6월 23일 행정예고)
• AI Startup Landscape Deutschland(응용 AI 연구소 appliedAI Institute for Europe, 연구 표본 출처 목록)
• Startups im Startup-Germany Netzwerk(Startup Germany e.V. 스타트업 목록, 연구 표본 출처)
• AI라더니 센서 기술뿐…AI워싱 가전 줄줄이 시정 조치(헤럴드경제·2025년 11월, 공정위·소비자원 온라인몰 7곳 점검)

AI가 만들어 준 결과물, 얼마나 믿어도 될까?

미국 카네기멜런대와 마이크로소프트 연구진은 직장인 20명에게 같은 AI 도구를 사용해 직원 퇴사를 예측하는 모델을 만들게 했다. 참가자는 데이터과학자, 디자이너, 제품 기획자, 소프트웨어 개발자로 구성됐다. 원래 며칠 동안 풀어야 하는 채용 과제를 30분 안에 수행했다.

이 과제에는 중요한 조건이 있었다. 제공된 자료에는 직원의 퇴사 여부가 없었다. 그런데 AI는 퇴사 여부를 예측에 사용할 변수로 만들어 냈고, 다시 그 변수로 예측했다. 정확도는 0.90을 넘었지만 실제로는 아무것도 예측하지 못하는 모델이었다.

일을 통째로 맡기면 더 빨리 끝날까?

연구에서는 과제를 통째로 붙여 넣은 사람들의 완성도가 높았다. 계획 단계에서 과제를 한 번에 맡긴 9명은 평균 82%를 완성했다. 반면 과제를 탐색하고 작은 단계로 나눈 5명의 완성도는 18%였다.

하지만 완성도와 타당성은 달랐다. 과제를 통째로 맡긴 사람들의 타당성은 51%였고, 문제를 나눈 사람들은 65%였다. AI에게 구현을 맡긴 13명의 완성도는 68%였지만, 직접 방향을 잡은 6명은 27%였다. 완성도만 보면 맡기는 편이 유리했지만, 결과가 타당한지는 별도로 살펴야 했다.

AI가 스스로 검사하면 오류도 잡아낼까?

AI에게 요구 사항을 모두 충족했는지 스스로 검사하게 해도 문제는 해결되지 않았다. 완성도 100%를 기록한 두 사람도 순환 오류를 놓쳤다. 결과물이 잘 만들어졌는지 확인하는 것과 결과물이 올바른지 검증하는 것은 다른 일이기 때문이다.

모델을 만든 15명 중 11명에게 순환 오류가 있었다. 그 11명 가운데 오류를 알아챈 사람은 한 명도 없었다. 오류를 알아채거나 피한 사람은 데이터과학자 두 명뿐이었다.

사장님도 AI가 만든 홈페이지 문구나 광고 보고서를 볼 때 비슷한 문제를 겪을 수 있다. 문장이 자연스럽고 숫자가 그럴듯해도 실제 가격이나 매출 자료와 일치한다는 보장은 없다. 특히 설명과 실제 숫자가 맞는지 확인해야 하는 오류는 사람이 직접 검토할 때도 쉽게 놓칠 수 있다.

직접 읽어 보면 틀린 부분을 찾을 수 있을까?

연구진은 AI 없이 결과물을 검토하는 과제에도 오류를 심었다. 자료에서 비교 대상인 미사용자 519행을 빼 버린 오류는 20명 중 14명이 발견했다. 반면 상관관계를 원인처럼 해석한 오류를 찾은 사람은 5명이었다.

더 어려운 오류도 있었다. 코드가 설명과 다르게 작동하는 문제를 발견한 사람은 0명이었다. 결과가 0에 가까운데도 그 사실을 적지 않은 오류 역시 발견한 사람이 0명이었다. 눈에 잘 띄는 실수와 주장, 근거, 실제 계산을 함께 살펴야 찾을 수 있는 실수는 달랐다.

이 차이는 홈페이지와 광고 문구를 확인할 때도 중요하다. 가격을 정확히 적었는지만 볼 것이 아니라, 그 가격이 실제 가격표와 일치하는지 확인해야 한다. 광고 성과를 정리했다면 성과가 올랐다는 문장뿐 아니라 실제 수치와 계산 방식도 살펴야 한다.

AI를 믿으면 결과도 더 좋아질까?

연구에서 AI를 더 신뢰한 사람은 결과물에 대한 자신감도 높았다. 두 항목의 상관계수는 +0.68이었다. 그러나 AI에 대한 신뢰와 결과물의 완성도·타당성 사이에는 뚜렷한 관계가 없었다.

사람이 AI를 편하게 느끼는 것과 실제로 좋은 결과를 얻는 것은 별개의 문제다. 결과물이 잘 나왔다고 느끼더라도 그 결과가 왜 맞는지 설명할 수 없다면 검토가 충분했다고 보기 어렵다.

비슷한 결과는 다른 연구에서도 나타났다. 미국 비영리 연구기관 METR의 실험에서는 숙련 개발자 16명이 작업 246건을 수행했다. 개발자들은 AI를 사용하면 시간이 20% 줄었다고 느꼈지만, 실제로는 19% 더 오래 걸렸다.

한국은행은 생성형 AI가 업무시간을 평균 3.8%, 주당 약 1.5시간 줄였다고 분석했다. 하지만 업무시간 감소와 실제 처리량 증가 사이에는 상관관계가 없었다. 시간을 줄이는 것만으로 일의 결과까지 좋아진다고 단정할 수는 없다.

우리 가게에서는 무엇부터 확인해야 할까?

중소기업중앙회가 소상공인 500곳을 조사한 결과, 디지털·AI 기술을 사용하는 곳은 80.0%였다. 하지만 83.3%는 기초·입문 단계라고 답했다. 주요 활용 분야는 경영지원 54.5%, 고객 응대 31.8%, 마케팅·홍보 21.3%였다.

AI를 활용하는 사장님이라면 다음 기준부터 적용하면 된다.

첫째, 홈페이지 글과 광고 문구를 한 번에 완성해 달라고 하지 말고 단계를 나눠 맡긴다. 먼저 필요한 정보를 정리하고, 초안을 만든 다음, 사실과 표현을 따로 검토한다. 연구에서도 문제를 나눠 살핀 사람들의 타당성이 더 높았다.

둘째, AI가 스스로 검사했다는 말만 믿지 않는다. 완성도 100%를 기록한 사람도 오류를 놓쳤다. 검토 결과가 있다는 사실보다 실제 오류가 없는지가 중요하다.

셋째, 가격·영업시간·매출은 원본과 직접 대조한다. 홈페이지 가격은 실제 가격표와, 매출은 장부나 영수증과 맞춰 본다. 문장만 읽어서는 발견하기 어려운 차이가 있을 수 있다.

넷째, 성과가 지나치게 좋아 보이면 계산 방식을 확인한다. 정확도가 0.90을 넘더라도 실제 예측 기능이 없을 수 있다. 광고 성과가 크게 올랐다는 결과도 어떤 수치를 어떻게 계산했는지 확인해야 한다.

다섯째, 결과물을 다른 사람에게 설명할 수 있는지 스스로 확인한다. 이해도가 높았던 7명의 완성도는 30.4%였고, 이해도가 낮았던 11명은 76.1%였다. 결과물을 많이 만드는 것과 내용을 이해하는 것은 다르다. 세무·법률·의료처럼 잘 모르는 분야의 문구는 전문가에게 확인받아야 한다.

이 연구 결과를 모든 일에 적용해도 될까?

이번 연구는 참가자 20명이 한 회사의 데이터 분석 과제를 수행한 결과다. AI 도구 하나를 사용했고, 과제 시간도 30분으로 제한했다. 연구진도 가설을 세우는 단계의 결과라고 밝혔다. 따라서 이 수치를 모든 소상공인의 홈페이지 제작이나 장부 정리에 그대로 적용할 수는 없다.

홈페이지 글처럼 결과를 눈으로 확인하기 쉬운 일이나 충분한 검토 시간을 확보한 업무에서는 결과가 달라질 수 있다. 한국 소상공인이나 한국어 업무를 직접 조사한 연구도 아니다. 다만 한 가지는 분명하다. 결과물이 완성됐다는 사실만으로 내용까지 정확하다고 판단해서는 안 된다.

AI에게 맡길 일은 맡기되, 사장님이 확인할 기준은 직접 정해야 한다. 고객에게 공개되는 가격과 영업시간, 광고의 성과, 장부의 숫자는 원본과 맞춰 보고, 결과가 나온 이유를 설명할 수 있는지 살펴야 한다. AI를 잘 활용한다는 것은 일을 전부 맡기는 것이 아니라, 맡길 일과 직접 확인할 일을 구분하는 것이다.

같이 읽을 글

• AI에게 가게를 1년 맡겨도 될까?
• AI로 아낀 시간은 왜 매출로 안 이어질까?
• 소상공인도 AI에 일을 맡기고 있을까?
• AI가 홈페이지 글을 다 고쳐 주면 사람은 안 써도 될까?

자료 출처

• Impact of Expertise and Trust on AI-assisted Work(카네기멜런대·마이크로소프트·arXiv 2610.14660·2026년 10월 제출, 직장인 20명 소리 내어 생각하기 실험)
• 같은 논문 HTML 본문(표 3·4, 그림 7·11, 4장, 부록 C.2 표 8)
• Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity(METR·arXiv 2507.09089·2025년 7월, 개발자 16명·작업 246건 무작위 실험)
• BOK 이슈노트 제2026-12호 AI 도입은 생산성을 높이는가? 초기 3년의 효과 분석(한국은행·2026년 6월, 가계조사)
• 소상공인 80% 디지털 기술 활용하지만 대부분 기초·입문 단계(아시아경제·2026년 6월 9일, 중소기업중앙회 소상공인 500곳 조사)
• AI 썼더니 업무시간 주 1.5시간 단축…생산성은 그대로였다(한국경제·2026년 6월, 한국은행 이슈노트 보도)
• Use chat in VS Code(마이크로소프트 VS Code 공식 문서, 실험에 쓴 코파일럿 에이전트 기능)

홈페이지 챗봇에서 실제 구매 이야기는 얼마나 나올까?

AI 판매 챗봇 회사 자보★ 소속 연구자는 아이소★가 제공한 사람과 AI의 대화 기록을 2026년 10월 5일 조회해 분류별 기록 수를 집계했다. 상품·구매 관련 상업 대화는 4만 1,800건이었고, 주문·예약 같은 거래 요청은 2,387건이었다.

상업 대화는 거래 요청보다 약 17.5배 많았다. 상품을 비교하거나 조건을 알아보는 대화와 실제로 주문하려는 대화는 같은 것으로 볼 수 없다. 다만 이 수치는 특정 대화 자료에서 나온 비율이다. 우리 가게 홈페이지를 찾는 고객에게도 똑같이 적용된다고 단정할 수는 없다.

고객이 상품을 알아보는지, 구매하려는지 어떻게 구분할까?

상품을 알아보는 고객에게는 상품의 특징과 가격, 구매 조건을 알려주는 것이 중요하다. 반면 구매를 결정하려는 고객에게는 재고와 주문 방법, 예약 가능 여부처럼 다음 단계에 필요한 정보를 안내해야 한다.

챗봇은 고객이 실제로 말한 내용을 기준으로 판단해야 한다. 고객이 예산이나 방문 날짜를 이야기했다면 그 조건을 대화가 이어지는 동안 유지해야 한다. 구매 의사가 불분명하다면 사겠다고 단정하지 말고 필요한 내용을 되물어야 한다.

대화 기록의 깊이도 참고할 만하다. 여기서 깊이는 저장된 턴 수 칸의 값이며, 고객이 실제로 몇 번 말했는지와 정확히 같은지는 확인되지 않았다. 상업 대화 가운데 기록상 깊이가 2 미만인 비율은 58.41%였고, 4 이상인 비율은 13.51%였다.

고객과 대화가 길어지면 구매 가능성도 높아질까?

대화가 길다는 이유만으로 구매 가능성이 높다고 판단해서는 안 된다. 이번 조사는 대화 깊이를 집계했을 뿐, 깊이와 실제 구매 사이의 관계를 측정하지 않았다. 판매 전환율이나 챗봇의 성능도 조사하지 않았다.

상업 대화의 깊이를 보면 기록의 절반 넘게가 2 미만이다. 따라서 첫 답변부터 고객이 필요한 정보를 얻도록 구성하는 편이 합리적이다. 가격과 주요 조건을 먼저 안내하고, 고객이 구매를 원한다면 주문이나 예약 방법을 이어서 알려주는 방식이다.

자료 묶음에 따라서도 비율이 달랐다. 세 묶음의 상업 비율은 4.87~6.35%였고, 가장 큰 묶음 C가 상업 대화는 가장 적게 냈다.

우리 가게 가격과 재고는 챗봇에 어떻게 넣어야 할까?

챗봇이 정확하게 답하려면 가게의 영업 정보부터 정리해야 한다. 상품명, 가격, 재고, 영업시간, 서비스 지역, 구매 조건을 한곳에 모으고 각 정보의 출처와 유효기간, 마지막 수정 시점을 남겨야 한다.

가격표와 실제 판매 가격이 다르거나 재고 정보가 오래됐다면 문제가 생긴다. 챗봇이 확인되지 않은 내용을 사실처럼 답하지 않도록 해야 한다. 정보가 서로 다르거나 유효한지 알 수 없다면 고객에게 다시 확인하거나 직원에게 연결해야 한다.

연구자는 판매 챗봇을 영업 정보, 대화 상태, 다음 행동, 모델 훈련의 네 부분으로 나누는 구조를 제안했다. 이는 실제 제품을 열어 검증한 결과가 아니라 설계 제안이다.

고객이 앞에서 말한 조건을 왜 계속 기억해야 할까?

고객이 원하는 상품과 예산, 방문 날짜를 이미 말했는데도 챗봇이 다시 묻는다면 대화가 불편해진다. 고객이 조건을 고치면 새로운 내용을 반영하고, 아직 확인하지 않은 항목은 임의로 채우지 않아야 한다.

긴 대화를 통째로 넣는 것만으로 필요한 정보를 모두 활용할 수 있는 것도 아니다. 글에서 인용한 2023년 스탠퍼드대 등 연구진의 실험에서는 AI가 긴 입력의 처음과 끝에 있는 정보를 잘 활용했지만 가운데 있는 정보는 눈에 띄게 덜 활용했다. 고객의 핵심 조건을 별도로 정리해 유지하는 설계가 필요한 이유다.

연락처를 받을 때도 목적을 먼저 정해야 한다. 한국 개인정보 보호법 제16조는 목적에 필요한 최소한의 개인정보만 수집하도록 정한다. 구매 상담에 꼭 필요하지 않은 정보를 습관적으로 요구해서는 안 된다.

챗봇 업체가 말하는 훈련 대화 수는 믿어도 될까?

자보★ 홈페이지에는 수백만 건의 AI와 사람 간 판매 대화로 훈련했다는 설명과 월 600유로라는 가격이 표시돼 있다. 하지만 이번에 집계한 기록은 72만 5,219건이고, 그중 상업 대화는 4만 1,800건이다. 이 조사만으로 수백만 건의 상업 대화를 훈련에 사용했다는 주장을 확인할 수는 없다.

쌓아 둔 대화 기록과 중복을 제거한 기록, 상업 관련 기록, 권리와 품질을 확인한 기록, 실제 훈련에 사용한 기록은 서로 다르다. 업체가 제시하는 숫자가 어느 단계의 수치인지 확인해야 한다. 이번 조사에서는 모델의 실제 훈련 과정이나 작동 구조도 검증하지 않았다.

자료를 해석할 때는 한계도 살펴야 한다. 연구자는 기존 분류표를 그대로 사용했으며, 사람이 각 대화를 읽어 분류가 정확한지 확인하지 않았다. 조사 대상은 홈페이지 방문자 전체를 대표하지 않고, 한국어 대화나 한국 동네 가게만 따로 분석한 결과도 아니다. 연구자가 판매 챗봇 회사에 소속돼 있다는 점도 고려해야 한다.

우리 가게는 무엇부터 바꾸면 될까?

처음부터 복잡한 챗봇을 만들 필요는 없다. 먼저 상품·가격·재고·영업시간을 정리하고, 상품을 알아보는 고객과 구매를 결정한 고객에게 각각 어떤 답을 할지 정해야 한다. 고객이 말한 지역과 예산, 날짜를 대화 중에 유지하는 기능도 중요하다.

다음으로 첫 답변에 가격과 주요 조건, 가능한 다음 단계를 담아야 한다. 구매 의사가 분명하면 주문이나 예약으로 안내하고, 정보가 부족하면 되물어야 한다. 확인할 수 없는 재고나 지킬 수 없는 약속은 답하지 말고 직원에게 넘겨야 한다.

마지막으로 챗봇의 성과는 대화 횟수만으로 판단하지 않아야 한다. 실제 주문 기록을 기준으로 구매가 얼마나 이어졌는지 살펴야 한다. 이번 연구는 판매 효과를 측정하지 않았으므로, 제안한 설계가 실제 매출을 얼마나 높이는지는 별도로 확인해야 한다.

같이 읽을 글

• 고객이 AI에 묻는 질문 중 「사겠다」는 질문은 몇 %일까?
• 고객이 바꾼 조건을 쇼핑 챗봇은 끝까지 기억할까?
• AI가 우리 가게를 추천하면 고객은 정말 살까?
• 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?

자료 출처

• Commercial Intent in Human–AI Conversations: A Corpus Audit and Architecture for Website Sales Agents(자보★ 소속 연구자·arXiv 2610.06205·2026년 10월 제출, 대화 기록 72만 5,219건·상업 4만 1,800건)
• 같은 논문 HTML 본문(표 1·2, 그림 3~7, 6~8장 구조·품질·한계)
• Javo, Agent IA de vente et support pour votre site(자보★ 프랑스어 제품 소개, 월 600유로·「수백만 건의 AI와 사람 판매 대화로 훈련」 표기)
• Purchase Advice and Observable Buyer Responses in Real AI Conversations(같은 연구자·arXiv 2609.09878·2026년 9월, 아이소★ 자료 중 구매 관련 대화 67건)
• Sell More, Play Less: Benchmarking LLM Realistic Selling Skill(바이룽★·퉁지대 등·arXiv 2604.07054·2026년 8월 3판, 판매 시나리오 1,805개·AI 15종)
• Lost in the Middle: How Language Models Use Long Contexts(스탠퍼드대·UC버클리·사마야AI·arXiv 2307.03172·2023년, 긴 입력 속 정보 위치 실험)
• 개인정보 보호법 제16조 개인정보의 수집 제한(국가법령정보센터·2026년 9월 11일 시행본)

지난 점검에서 좋은 점수를 받았는데도 문제가 생길까?

그럴 수 있다. 연구진은 미국 캘리포니아주 샌타클래라 카운티의 공개 위생 점검 기록 9,505건을 분석했다. 지난 점검 점수가 높더라도 그 뒤에 주방 상태가 나빠졌다면 과거 기록만으로는 변화를 알아채기 어렵다는 점을 살폈다.

연구진은 지난 점검 뒤 오래된 순서대로 방문하는 방식, 90점 미만인 식당을 먼저 보는 방식, 점수와 날짜에 따라 순서를 정하는 방식을 비교했다.

지난 점검 점수에 날짜에 따른 가중치를 적용한 방식은 점검 대상을 30%로 줄이고도 중대 위반을 평균 260.7일 만에 찾았다. 오래된 순서대로 점검하는 방식의 329.7일보다 빨랐다. 하지만 중대 위반을 찾아낸 비율은 49.0%로 가장 낮았다.

이 결과는 점검 순서를 정할 때 과거 점수만으로 충분하지 않을 수 있음을 보여준다. 과거에 깨끗했던 매장도 이후에 어떤 문제가 생겼는지 살펴볼 필요가 있다.

벌레가 나왔다는 후기 한 건도 중요할까?

연구진은 쥐·벌레 때문에 긴급 폐쇄된 식당 8곳을 따로 분석했다. 마지막 점검 점수는 72~91점이었다. 이 가운데 6곳은 82~91점으로, 점검 기록만 보면 비교적 양호한 상태로 보일 수 있었다.

연구진은 마지막 점검 전 후기는 제외하고, 점검이 끝난 뒤 올라온 구글 지도·옐프 후기를 살폈다. 이미 점검 전에 올라온 후기는 당시 상태를 점검원이 확인했을 가능성이 있기 때문이다.

점검 기록만 사용했을 때는 긴급 폐쇄된 8곳 가운데 미리 짚은 곳이 없었다. 마지막 점검 뒤의 후기를 더하자 7곳을 짚었다. 과거 점검 결과가 현재 상태를 완전히 설명하지 못할 수 있다는 뜻이다.

다만 후기 한 건만으로 매장의 위생 상태를 단정해서는 안 된다. 실제로 연구진도 후기의 개수와 내용, 분류의 확신 정도를 함께 고려하는 규칙을 적용했다.

어떤 후기를 위생 문제로 봤을까?

연구진은 식중독·배탈, 바퀴벌레·쥐·벌레 목격, 덜 익은 음식, 이물, 더러운 매장, 맨손 조리, 곰팡이와 상한 음식 등을 위생 위험 신호로 분류했다.

후기 분류에는 언어 모델을 사용했다. 사람이 직접 분류한 후기 30건과 비교했을 때 정확도는 90%였다. 위생 위험 후기 17건 가운데 16건을 맞혔지만, 구체적인 내용 없이 냄새만 적힌 후기는 놓쳤다. 반대로 음식과의 관련성이 분명하지 않은 가벼운 소화불량 후기 2건은 위생 위험으로 잘못 분류했다.

후기의 표현이 모호하면 판단도 어려워진다. 벌레나 식중독을 구체적으로 언급한 후기와 단순히 불쾌한 냄새를 언급한 후기를 똑같이 취급하지 않은 이유다.

연구진은 익명 후기 한 건이 기존 점검 기록을 무조건 뒤집지 않도록 확인 규칙도 마련했다.

후기가 한 건뿐이면 기본적으로 반영 비율을 낮췄다. 다만 확신이 높고 심각도가 큰 후기, 지난 점검 점수가 90점 미만인 경우, 서로 다른 위생 후기가 두 건 이상인 경우에는 더 높은 비율을 적용했다.

후기가 실제로 얼마나 도움이 됐을까?

후기 한 건만으로 바로 신호를 주는 방식은 긴급 폐쇄 식당 8곳 가운데 7곳을 짚었다. 폐쇄 기록과의 일치도는 0.70이었고, 평균 앞당김은 117일이었다. 확인 규칙과 심각도 예외를 적용하자 짚은 식당 수와 평균 앞당김은 그대로였지만 일치도는 0.78로 올랐다.

7곳을 짚은 시점은 실제 폐쇄보다 44~220일 앞섰다. 그중 4곳은 위생 후기가 올라온 당일 점검 순서가 올라갔다. 반면 자료에 후기가 없었던 한 곳은 미리 짚지 못했다.

비교 대상으로 살핀 식당 가운데도 후기 신호가 나타났지만 폐쇄되지 않은 곳이 있었다. 한 식당은 신호 직후 재점검을 받아 점수가 84점에서 100점으로 올랐다. 실제 문제가 개선된 것인지, 처음 신호가 잘못된 것인지는 자료만으로 구분할 수 없었다.

이 연구는 과거 자료를 이용한 시뮬레이션이다. 실제 점검 업무에 적용해 효과를 확인한 것은 아니다. 긴급 폐쇄 사례도 8곳뿐이므로, 결과를 모든 식당에 그대로 적용해서는 안 된다.

한국 식당에도 같은 기준이 적용될까?

이 연구는 미국 샌타클래라 카운티의 자료를 사용했다. 한국의 위생 점검 제도나 네이버 플레이스·배달앱 후기가 점검 순서에 미치는 영향은 조사하지 않았다. 따라서 한국에서도 고객 후기가 행정기관의 점검에 직접 영향을 준다고 단정할 수는 없다.

한국 식품위생법 제22조는 행정기관이 영업소에 출입해 검사하고 식품을 수거할 수 있도록 한다. 제47조의2는 신청한 식당에 위생등급을 지정하는 제도다. 위생등급의 유효기간은 지정일부터 3년이며, 지정 결과를 공표할 수 있다. 지정 업소는 정해진 기간 동안 출입·검사를 하지 않을 수 있다.

사장님이 지금 할 수 있는 일은 분명하다. 고객 후기에 행정기관이 어떻게 반응할지 추측하기보다, 실제 위생 문제를 확인하고 바로잡았다는 사실을 기록으로 남기는 것이다.

위생 불만 후기에 어떻게 답하고 무엇을 기록할까?

위생 불만 후기는 매주 확인하는 것이 좋다. 벌레, 배탈, 덜 익은 음식, 이물, 불결한 조리 환경과 관련된 내용은 일반적인 서비스 불만과 구분해 살펴본다. 같은 문제가 반복된다면 답글만 달고 끝내지 말고 원인을 확인해야 한다.

답글에는 고객의 불만을 확인했다는 사실과 실제로 취한 조치를 담는다. 아직 원인을 확인하지 않았다면 해결했다고 단정하지 않는다. 청소나 방역, 식재료 보관 상태를 확인했다면 그 내용과 날짜를 기록한다.

기록은 문제가 발생한 뒤에 한꺼번에 작성하기보다 날짜별로 남기는 편이 좋다. 방역 실시 내역, 청소 기록, 식재료 보관 온도, 조리 환경 점검, 고객 불만 접수와 후속 조치를 함께 정리한다. 그래야 나중에 같은 문제가 반복됐는지, 어떤 조치를 했는지 확인할 수 있다.

위생 문제를 바로잡는 것이 먼저다. 기록은 그 조치가 실제로 이루어졌다는 사실을 확인하는 근거다. 위생 불만 후기를 지우거나 무조건 반박하는 데 집중하기보다, 문제를 확인하고 개선한 과정을 남기는 편이 낫다.

같이 읽을 글

• 후기는 어디에 있어야 AI가 읽을까?
• 이벤트로 후기를 많이 받으면 가짜 후기로 잡힐까?
• 배민이 AI로 가게를 고르면, 사장님은 무엇을 관리해야 할까?

자료 출처

• Continuous Risk-Based Scheduling for Food Safety Inspection: Integrating Historical Decay with Event-Driven Consumer Review Signals(Bhat·Zhu·Gupta·arXiv 2610.15191·2026년 10월 제출, 샌타클래라 카운티 정기 점검 9,505건·긴급 폐쇄 8곳)
• 같은 논문 HTML 본문(표 1·2·3, 그림 1~5, 부록 A 기준값·부록 B 심각도)
• SCC_DEH_Food_Data_INSPECTIONS(샌타클래라 카운티 공개 위생 점검 자료)
• Machine-learned epidemiology: real-time detection of foodborne illness at scale(구글★·하버드대 보건대학원·시카고·남부 네바다 보건당국·npj Digital Medicine·2018년 11월, 라스베이거스·시카고 현장 시험)
• Food Inspection Forecasting(시카고시, 식당 등 1만 5,000곳 이상·점검원 약 36명·2개월 평가)
• Where Not to Eat? Improving Public Policy by Predicting Hygiene Inspections Using Online Reviews(스토니브룩대·하버드 경영대학원·EMNLP 2013, 후기 글로 위생 위반 판별 정확도 82% 이상)
• 식품위생법 제47조의2 식품접객업소의 위생등급 지정 등(국가법령정보센터·2026년 10월 8일 시행본)

고객은 AI에게 어떤 질문을 할까?

미국 럿거스대 연구진은 인도·나이지리아·브라질·파키스탄의 챗GPT 이용자 1,252명에게서 대화 기록을 모았다. 전체 대화 20만 2,590건 가운데 건강 대화 1만 5,555건을 분석했다. 한국 이용자는 연구 대상에 포함되지 않았다.

건강 대화가 한 번이라도 있었던 이용자는 754명으로 전체의 60.2%였다. 질문 중 가장 큰 비중을 차지한 것은 일반 건강 정보였다. 증상과 건강 걱정, 검사 결과 해석, 질환과 약, 치료 관리에 관한 질문도 적지 않았다.

이용자는 자신의 건강 문제만 묻지 않았다. 가족을 대신해 질문하는 경우도 있었고, 앞선 대화에서 자신의 지병을 밝힌 경우도 있었다. AI가 현재 질문만 보는 것과 이용자의 건강 이력까지 고려하는 것은 다른 결과를 낳을 수 있다.

AI의 답변은 얼마나 안전할까?

연구진은 구글 제미나이 3.1 프로를 이용해 답변을 채점했다. 해를 끼칠 가능성과 피해의 크기, 안전 안내가 충분한지를 평가해 1~7점을 매겼다. 이 가운데 3점 이하를 위험 등급으로 분류했다.

나라별 위험 등급 비율은 20.6~26.3%였다. 가장 흔한 점수는 7점으로, 전체 답변의 31.0~46.2%를 차지했다. 즉, 대부분의 답변은 안전하다는 평가를 받았지만 일부 질문에서는 위험이 두드러졌다.

특히 질문의 종류에 따라 위험 비율이 크게 달라졌다. 질환·약·치료 관리 질문은 39.8~47.7%, 증상·건강 걱정 질문은 33.4~40.3%가 위험 등급을 받았다. 반면 일반 건강 정보 질문의 위험 비율은 7.9~11.9%였다.

위험한 답변은 어떤 점이 문제였을까?

연구진이 위험 등급 답변 128건을 직접 살펴본 결과, 가장 흔한 문제는 틀리거나 해로운 조언이었다. 전체의 47.7%가 여기에 해당했다. 전문가에게 연결하지 않거나 급한 상황을 가볍게 다룬 답변도 43.8%였다.

실제 사례에는 원인을 알 수 없는 심한 발진에 각질 제거용 산 성분을 권한 답변이 있었다. 운동 중 발생한 가슴 통증에 가벼운 원인만 나열한 답변도 있었다. 임신부에게 상담을 권하지 않고 약 용량을 안내하거나, 심한 빈혈에 식단과 운동만 권한 사례도 확인됐다.

문제는 단순히 답이 틀릴 수 있다는 데 그치지 않는다. 고객이 언제 전문가를 찾아야 하는지, 어떤 상황에서 자가 관리를 멈춰야 하는지 알지 못할 수 있다. 건강 정보를 제공할 때는 가능한 설명뿐 아니라 위험 신호와 다음 행동도 중요하다.

지병이 있으면 답변은 어떻게 달라질까?

연구진은 이용자가 앞선 대화에서 밝힌 건강 이력을 고려해 답변을 다시 평가했다. 그 결과 지병 이력이 있는 대화의 위험 비율은 29.3%에서 44.9%로 올랐다. 건강 이력을 고려하지 않았을 때 안전하다고 판단했던 대화 중 25.8%도 위험 등급으로 바뀌었다.

운동과 식단 상담에서 변화가 특히 컸다. 위험 비율은 26.1~30.0%포인트 증가했다. 소장 수술 이력이 있는 이용자에게 무거운 복근 운동을 권하거나, 위궤양 이력이 있는 이용자에게 생마늘·레몬물·생강을 권한 사례가 있었다.

이 결과는 모든 이용자에게 같은 조언을 제공하는 방식에 한계가 있음을 보여준다. 홈페이지에도 아이와 임신부, 지병이 있는 고객이 확인해야 할 주의 사항을 구분해 적어 두는 편이 좋다.

새 AI 모델을 쓰면 더 안전할까?

연구에서는 모델이 새로워질수록 위험 등급 비율이 낮아지는 결과가 나오지 않았다. GPT-3.5에서 GPT-5.1로 갈수록 네 나라 모두 위험 등급 비율이 상승했다. 브라질은 6.2%에서 34.6%, 인도는 10.9%에서 28.9%로 올랐다.

연구진은 새 모델이 답변을 거절하는 경우가 줄고 더 길게 답하는 점을 가능한 이유로 들었다. 다만 모델의 변화와 사용 시기를 완전히 분리해 분석할 수는 없다고 밝혔다. 따라서 이 결과만으로 모든 최신 AI가 이전 모델보다 위험하다고 단정해서는 안 된다.

우리 홈페이지에는 무엇을 적어야 할까?

핵심은 고객이 실제 진료를 결정할 때 필요한 사실을 명확하게 제공하는 것이다. 연구에서는 전문가에게 연결하지 않는 답변이 반복해서 문제로 나타났다. 홈페이지에 질환별 위험 신호와 진료가 필요한 상황을 구체적으로 안내하면 AI가 답변을 만들 때 참고할 수 있는 정보가 생긴다.

다만 이 연구는 AI가 병원 홈페이지를 읽었는지, 홈페이지 정보가 답변의 안전성을 높였는지를 직접 측정하지 않았다. 홈페이지에 정보를 적는 것만으로 AI 답변이 안전해진다고 보장할 수는 없다. 그래도 고객과 AI가 함께 참고할 수 있도록 정확하고 최신인 정보를 갖추는 일은 기본이다.

병원은 진료 가능한 질환과 검사, 상담 범위를 사실대로 안내해야 한다. 약국은 약 복용 시 주의 사항과 부작용 정보를 함께 제공해야 한다. 한의원 역시 진료 범위와 주의 대상, 진료가 필요한 상황을 분명하게 설명할 필요가 있다.

진료 시간과 야간·휴일 운영 여부도 최신 상태로 관리해야 한다. 의료광고에는 별도의 규정이 적용된다. 의료법 제56조 제2항은 치료 경험담, 비교, 보증 등 금지되는 광고 내용을 규정하며, 제7호는 심각한 부작용 등 중요한 정보를 누락하는 광고도 제한한다. 정보를 추가할 때는 의료광고 규정을 함께 확인해야 한다.

이 연구를 어디까지 믿어야 할까?

연구 결과를 한국의 모든 이용자에게 그대로 적용할 수는 없다. 참가자는 크라우드소싱 사이트에서 모집됐고, 기록을 제공한 대가로 보상을 받았다. 나라 전체 이용자를 대표하는 표본이라고 보기 어렵다.

답변의 안전성도 의사가 아니라 AI가 채점했다. 실제 건강 피해가 발생했는지는 조사하지 않았으며, 위험 유형 분류에는 연구자 한 명이 참여했다. 한국어 대화와 한국의 의료 환경을 직접 평가한 연구도 아니다.

그럼에도 살펴볼 만한 지점은 분명하다. 일반적인 건강 정보보다 증상·약·치료 관리 질문에서 위험 등급 비율이 높았다. 이용자의 지병을 고려했을 때 위험 평가가 달라지기도 했다. 동네 병원·약국·한의원은 고객이 안전하게 판단하도록 돕는 정보를 홈페이지에 정확히 정리해 둘 필요가 있다.

같이 읽을 글

• 병원 홈페이지에 뭘 써야 AI가 읽을까?
• 진료가 끝난 뒤 고객이 AI에게 물으면 홈페이지에는 뭘 써야 할까?
• 챗GPT에 한 건강 이야기가 기억으로 남을 수 있을까?
• 밤에 문 연 약국을 AI에 물으면 우리 약국이 나올까?

자료 출처

• How Safe Is ChatGPT Health Advice? Evidence from Real User Conversations in Four Global South Countries(럿거스대·독립 연구자·arXiv 2610.18465·2026년 10월 제출, 이용자 1,252명·대화 20만 2,590건·건강 대화 1만 5,555건)
• 같은 논문 HTML 본문(표 1·2·6·7, 5장 결과, 부록 J 모델별 안전성, 한계 절)
• 같은 연구 공개 자료(OSF, 대화별 질문 종류·안전 점수·나이·성별 표)
• ChatGPT Health performance in a structured test of triage recommendations(마운트시나이 아이칸 의대·Nature Medicine·2026년 2월 23일, 의사 작성 사례 60개·답 960개)
• From Diagnoses to Treatments: Why Americans Use AI Chatbots for Health(퓨리서치센터·2026년 8월 25일, 미국 성인 3,488명·6월 22~28일 조사)
• 의료법 제56조 의료광고의 금지 등(국가법령정보센터·2026년 10월 2일 시행본)

작은 공개 AI도 상담을 맡을 수 있을까?

공개 AI 모델은 직접 설치해 운영할 수 있다는 장점이 있다. 하지만 설치할 수 있다는 사실과 상담을 잘한다는 사실은 다르다. 고객의 말을 이해하는 것만으로는 부족하다. 본인 확인을 먼저 하고, 예약 정보를 확인하고, 필요한 도구를 사용한 뒤, 처리 결과를 정확하게 알려야 한다.

미국 상담 소프트웨어 회사 다이얼패드★ 연구진은 실제 고객 상담 기록 약 35만 건에서 업무 흐름을 뽑았다. 이를 바탕으로 여러 단계를 거치고 도구와 회사 규칙을 지켜야 하는 상담 500개를 만들어 AI 17종을 시험했다.

시험에는 계정 관리, 요금 문의, 환불, 기술 지원, 예약, 주문 처리 등이 포함됐다. 고객 역할도 다양하게 설정했다. 용건만 말하는 고객뿐 아니라 화가 났거나 요청이 모호한 고객도 있었다. 상담 AI에는 업무 설명서와 도구 목록만 제공했다. 추가 훈련 없이 실제 상담처럼 대응하게 한 것이다.

어떤 AI가 가장 잘했을까?

심사 AI 5개의 평균 통과율을 보면 GPT-5.4가 45.0%로 가장 높았다. 공개 모델 중에서는 Qwen3.5-9B가 21.6%로 앞섰다. 가장 작은 Qwen3-1.7B는 2.5%였다. 공개 모델도 상담에 활용할 가능성은 있지만, 시험 결과만 보면 복잡한 업무를 그대로 맡기기 어렵다.

특히 도구를 불렀다는 사실만으로 상담을 성공했다고 판단하면 안 된다. Ministral-8B는 필요한 도구를 사용했는지 등을 확인하는 규칙 검사에서 86.8%를 통과했다. 그러나 심사 AI 5개의 평균 통과율은 10.8%였다. 도구를 호출했더라도 업무를 잘못 처리하거나 필요한 절차를 놓칠 수 있다는 뜻이다.

모델이 클수록 더 잘할까?

꼭 그렇지는 않다. 공개 모델 중 Qwen3.5-9B는 21.6%를 통과했다. 반면 14B 모델인 Qwen3-14B는 14.4%, Ministral-14B는 13.2%였다. 매개변수 수가 많다고 상담 성능까지 높아지는 것은 아니다. 모델의 세대와 훈련 방식도 영향을 준다.

부록에서 시험한 Qwen3.5-27B의 통과율은 27.8%였다. GPT-5의 25.0%보다 높았지만 GPT-5.4의 45.0%에는 미치지 못했다. 따라서 모델 크기만 보고 비용과 성능을 판단하기보다 실제로 맡길 업무를 기준으로 시험해야 한다.

상담 AI를 고를 때 무엇을 확인해야 할까?

연구진은 상담 AI의 성능을 순서 지키기, 도구 사용, 규칙 지키기, 말하기, 해결 효율의 다섯 항목으로 나눠 평가했다. 여러 모델에서 특히 점수가 낮았던 항목은 순서 지키기와 해결 효율이었다. 말을 그럴듯하게 하는 것보다 업무 절차를 빠뜨리지 않고 효율적으로 해결하는 일이 어려웠다는 뜻이다.

규칙 지키기 점수는 해석할 때 주의해야 한다. 시험에 규칙 위반 요청이나 본인 확인 상황이 포함되지 않았다면 해당 항목에 높은 점수가 나올 수 있었다. 따라서 전체 점수만 보지 말고 우리 가게에서 실제로 생기는 상황을 넣어 평가해야 한다.

시험 결과를 얼마나 믿어도 될까?

AI가 AI를 평가해도 결과가 달라질 수 있다. GPT-5.4의 통과율은 가장 엄격한 심사 AI에서 33.8%, 가장 관대한 심사 AI에서 58.6%였다. 같은 모델인데도 24.8%포인트 차이가 났다. 상담 AI 업체가 성공률을 제시한다면 어떤 기준으로 평가했는지 함께 확인해야 한다.

이 연구에도 한계가 있다. 선택한 업종과 회사의 상담만 다뤘고, 업체와 업종 이름은 공개하지 않았다. 도구 응답도 실제 시스템이 아닌 가짜 응답이었다. 시험 상담 500개는 GPT-5.5가 대화를 무사히 만들어 낸 상황 중에서 골랐다. 사람의 평가와 비교하지 않았고, 한국어 상담이나 국내 업무도 시험하지 않았다. 다이얼패드★가 상담 AI를 판매하는 회사라는 점도 고려해야 한다.

다른 연구에서도 비슷한 문제가 나타났다. 2024년 미국 시에라★ 연구진의 고객 응대 시험에서는 당시 GPT-4o의 과제 성공률이 50%에 못 미쳤다. 소매 업무를 8번 반복해 모두 성공한 비율도 25% 미만이었다. 다만 서로 다른 연구의 결과를 직접 비교할 때는 시험 조건의 차이를 고려해야 한다.

우리 가게는 어떻게 시작해야 할까?

먼저 상담 업무마다 처리 순서와 금지 사항, 사람에게 넘겨야 하는 조건을 글로 정리해야 한다. 예약 변경이라면 본인 확인 전에는 예약 내용을 말하지 않고, 변경하기 전에 기존 예약을 고객과 확인하도록 정할 수 있다. 정확한 도착 시각을 약속하지 않고, 한 번에 두 가지까지만 질문하는 규칙도 둘 수 있다.

도구 오류가 발생하면 두 번까지만 다시 시도하고 사람에게 넘기도록 정할 수도 있다. 취소처럼 AI가 처리하도록 맡기지 않은 요청은 담당자에게 연결해야 한다. 이런 기준을 먼저 정해야 AI가 잘못 처리했는지 판단할 수 있다.

그다음 실제 상담 기록을 바탕으로 시험해야 한다. 고객의 요청이 모호하거나 규칙에 어긋나는 상황도 넣어야 한다. 도구를 호출했는지만 확인하지 말고, 업무를 올바르게 마쳤는지 사람이 직접 표본을 읽어 확인해야 한다. 공개 모델은 업무 하나를 정해 별도로 훈련하고 평가할 때 활용 가능성을 살펴볼 수 있다.

예약 변경이나 환불처럼 중요한 업무는 처음부터 전부 AI에 맡기지 않는 편이 안전하다. AI가 안내와 접수를 맡더라도 최종 처리 전에 사람이 확인하는 단계를 남겨야 한다. 고객에게 AI가 상담한다는 사실도 미리 알려야 한다. AI 기본법 제31조가 정한 사전 고지 의무다.

같이 읽을 글

• 우리 가게 챗봇도 15~27%씩 틀릴까?
• 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?
• 챗봇 안내문을 두 번 쓰면 정말 더 잘 지킬까?
• 가게 홈페이지 챗봇도 AI 기본법을 지켜야 할까?

자료 출처

• Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills(다이얼패드★ 연구진·arXiv 2610.14346·2026년 10월 제출, 실제 상담 기록 약 35만 건·시험 상담 500개·AI 17종)
• 같은 논문 HTML 본문 2판(표 1·2·3·5, 부록 A.6 예약 변경 업무 설명서)
• τ-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains(시에라★ 연구진·arXiv 2406.12045·2024년 6월, 도구·규칙이 있는 고객 응대 시험)
• Qwen3.5-9B 모델 카드(큐웬 팀·허깅페이스, 아파치 2.0 라이선스 공개 모델)
• What is the Model Context Protocol (MCP)?(MCP 공식 문서, AI와 외부 시스템을 잇는 공개 표준)
• 인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(국가법령정보센터·2026년 1월 22일 시행, 제31조 인공지능 투명성 확보 의무)

고객이 AI에게 쇼핑을 맡기면 무엇이 달라질까?

지금은 쇼핑몰이 자체 구매 기록과 비슷한 고객들의 구매 패턴을 바탕으로 상품 순위를 정한다. 하지만 고객이 개인 AI 비서에게 쇼핑을 맡기면, AI가 그 순위를 받아 고객의 다른 플랫폼 기록과 비교한 뒤 최종 추천 상품을 고를 수 있다.

쇼핑몰은 많은 고객의 구매 패턴을 알지만, 특정 고객이 다른 곳에서 무엇을 샀는지는 모를 수 있다. 반대로 개인 AI는 고객이 허락한 다른 플랫폼 기록을 보지만, 쇼핑몰의 추천 점수나 다른 고객들의 구매 패턴은 알지 못한다. 이 차이 때문에 AI는 쇼핑몰의 추천을 그대로 유지하기도 하고, 새로운 상품을 올리거나 기존 상품을 내리기도 한다.

AI가 순위를 바꾸면 어떤 일이 생길까?

연구진은 추천 결과를 네 가지로 나눴다. 쇼핑몰과 개인 AI가 모두 정답을 유지하면 「지킴」이고, 쇼핑몰이 놓친 상품을 AI가 상위 10개에 넣으면 「살림」이다. 쇼핑몰이 상위 10개에 올린 정답을 AI가 빼면 「해침」이며, 양쪽 모두 정답을 찾지 못하면 「둘 다 놓침」이다.

여기서 중요한 점은 AI가 순위를 바꾼다고 반드시 결과가 좋아지지는 않는다는 것이다. 클로드 오퍼스 4.6은 영화 분야에서 쇼핑몰이 놓친 정답을 11.6% 살려 냈지만, 쇼핑몰이 맞게 골랐던 정답도 4.2% 빼 버렸다. 추천 순위가 달라지는 상황에서는 상품이 새롭게 발견될 기회와 기존 고객을 놓칠 위험이 함께 생긴다.

실제 실험에서도 추천 순위가 달라졌을까?

연구진은 아마존 리뷰 2023 자료에서 영화·TV, 장난감, 식료품, 뷰티를 각각 하나의 쇼핑몰처럼 설정했다. 같은 고객의 다른 상품군 기록은 다른 플랫폼에서 얻은 정보로 활용했다. 실제로 서로 다른 회사의 기록을 연결한 시험에는 스팀·닌텐도·엑스박스 게임 기록이 연결된 고객 645명이 참여했다.

후보 상품은 정답 한 개와 인기도에 비례해 뽑은 상품 49개를 합쳐 모두 50개였다. 쇼핑몰 순위는 해당 쇼핑몰의 기록만 사용하는 추천 모델과 클로드 소넷 4.6을 함께 활용해 만들었다. 따라서 이 실험은 실제 쇼핑몰 전체의 상품 검색부터 구매까지를 재현한 것이 아니라, 주어진 후보 가운데 정답을 상위 10개에 넣는지를 살펴본 시험이다.

클로드 소넷 4.6과 오퍼스 4.6은 다섯 분야 모두에서 쇼핑몰 순위보다 상위 10개 적중률을 높였다. 반면 하이쿠 4.5는 쇼핑몰 순위와 비슷한 수준에 머물렀고, 일부 분야에서는 적중률이 낮아졌다.

AI는 고객의 어떤 정보를 보고 판단할까?

개인 AI가 참고한 정보는 상품 번호, 상품명, 공개 분류뿐이었다. 가격이나 재고, 광고 여부, 배송 조건은 실험에 포함되지 않았다. 그런데도 다른 플랫폼 기록이 추천 결과에 영향을 줬다. 아마존 상품군 시험에서는 다른 플랫폼 기록이 쇼핑몰 자체 기록보다 평균 약 5.4~10.9배 많았다.

연구진은 훈련한 AI가 쇼핑몰이 놓친 정답을 살려 낸 900건을 분석했다. 그 결과, 살려 낸 상품의 72%가 다른 플랫폼 기록에 담긴 생활 정보와 관련이 있었다. 관심사와 좋아하는 작품·인물이 28%, 가정·가족이 19%, 생활 방식·식단·건강이 14%였다.

실제 사례도 있다. 한 고객의 영화 쇼핑몰 기록에는 음악과 관련된 신호가 없었지만, 다른 플랫폼 기록에는 레드 제플린 음반 두 장이 있었다. 개인 AI는 이를 근거로 로버트 플랜트의 공연 영상을 쇼핑몰 순위 37위에서 1위로 올렸다.

반대로 장난감 쇼핑몰이 1위로 추천한 게임 캐릭터 피규어는 다른 기록에서 관련성이 높은 근거를 찾지 못했어도 그대로 1위를 유지했다. AI가 모든 상품을 무조건 바꾸는 것은 아니며, 다른 기록이 추천 변경을 뒷받침하는지가 중요하다는 뜻이다.

광고비로 올린 순위도 계속 통할까?

이 실험에는 광고가 없었다. 따라서 광고 상품이 실제로 얼마나 덜 추천되는지는 이 연구만으로 알 수 없다. 다만 개인 AI가 쇼핑몰의 순위를 참고하면서도 고객의 기록에 따라 이를 바꾼다면, 광고비로 확보한 노출 순위가 최종 추천까지 보장하지는 못할 가능성이 있다.

다른 연구에서는 여행자를 위해 일하는 AI가 플랫폼을 위해 일하는 AI보다 광고 숙소를 덜 선택하는 결과도 나왔다. 개인 AI의 목적이 고객에게 맞는 상품을 찾는 데 있다면, 판매자가 확보한 노출 순위와 고객에게 실제로 추천되는 순위 사이에 차이가 생길 수 있다.

한국에서도 고객이 자신의 정보를 다른 곳으로 옮길 수 있는 길이 넓어지고 있다. 개인정보보호위원회는 2026년 2월 10일 국무회의를 통과한 시행령 개정으로 본인전송요구권을 의료·통신에서 전 분야로 확대했다. 다만 모든 사업자가 대상은 아니다. 평균 매출액 등이 1,800억 원을 넘고 정보주체가 100만 명 이상인 대규모 처리자 등이 대상이며, 중소기업은 제외된다. 민간 대규모 처리자에는 1년의 유예가 적용된다.

동네 가게는 지금 무엇을 준비해야 할까?

개인 AI가 상품명과 분류만 보고도 고객의 생활 정보와 연결해 추천한다면, 동네 가게도 상품 정보를 구체적으로 정리할 필요가 있다. 상품명에는 대상과 용도, 식단 조건, 시리즈나 작품명을 명확하게 적는 편이 좋다. 상품 분류도 실제 쓰임에 맞게 선택해야 한다.

예를 들어 가족용인지, 특정 연령대를 위한 상품인지, 무설탕이나 글루텐 프리 조건이 있는지처럼 고객이 상품을 선택할 때 필요한 정보를 빠뜨리지 않는 것이다. 가족이나 식단·건강과 관련된 상품은 그 쓰임을 설명 첫 줄에 드러내는 편이 좋다.

홈페이지와 각 플랫폼에서 같은 상품명과 분류를 사용하는 것도 중요하다. 고객의 다른 플랫폼 기록을 함께 참고하는 AI라면 상품 정보가 명확하고 일관될수록 해당 상품의 용도를 파악하기 쉬워질 수 있다. 다만 이는 이번 실험 결과에서 도출한 예상이며, 한국의 실제 쇼핑 환경에서 효과가 입증된 것은 아니다.

이 연구 결과를 어디까지 믿어야 할까?

이번 실험에는 한계가 있다. 아마존의 상품군을 각각 다른 쇼핑몰처럼 설정했기 때문에, 실제로 서로 다른 회사의 플랫폼 기록을 연결한 시험과는 차이가 있다. 서로 다른 회사의 기록을 이용한 시험은 스팀 게임 고객 645명을 대상으로 했다.

또한 후보 50개 안에 정답을 미리 넣었으므로, 실제 쇼핑에서 상품을 처음부터 찾아내는 능력까지 평가한 것은 아니다. 연구진이 만든 쇼핑몰 순위를 사용했고, 가격·재고·광고·배송 조건도 반영하지 않았다. 한국의 네이버·쿠팡이나 한국어 상품명을 대상으로 시험한 것도 아니다.

연구에는 메타 연구진이 참여했다. 메타는 개인 AI 비서를 내놓은 회사이기도 하다. 연구진은 시험 자료를 내부 승인 뒤 공개할 예정이라고 밝혀, 외부에서 같은 결과를 다시 검증할 수 있는 자료도 아직 공개되지 않았다.

따라서 지금 당장 모든 쇼핑몰의 추천 순위가 무너진다고 단정할 수는 없다. 다만 고객의 개인 AI가 쇼핑몰 순위를 그대로 따르지 않고, 다른 플랫폼 기록을 근거로 상품을 다시 고를 수 있다는 점은 가게가 준비해야 할 변화다. 플랫폼 순위만 바라보기보다 고객이 어떤 상품을 찾는지 이해할 수 있도록 홈페이지의 상품 정보를 충실하게 관리하는 것이 현실적인 출발점이다.

같이 읽을 글

• 우리 가게 상품도 AI 추천에 다시 들어갈 수 있을까?
• 광고비를 낸 숙소가 AI 추천에서도 유리할까?
• AI에 넘기는 후보 순서만 바꿔도 추천 상위 5개가 달라질까?
• AI 쇼핑 비서가 우리 상품을 고르는 기준도 바뀔까?

자료 출처

• Personal-Agent Mediated Recommendation with Cross-Platform User History(미국 UC샌디에이고·메타 AI★·arXiv 2610.07588·2026년 10월 6일 제출, 아마존 상품군 4곳·게임 645명)
• 같은 논문 HTML 본문(표 1·2·3, 6장 실험, 부록 A)
• Introducing Muse: The World's First Personal AI Agent Built for Everyone(메타 공식 발표·2026년 9월 8일, 앱별 접근 범위를 이용자가 정하는 개인 AI 비서)
• Open Play: a longitudinal dataset of multi-platform video game digital trace data and psychological measures(볼루 외·PsyArXiv·2025년, 스팀·닌텐도·엑스박스 연결 자료)
• 개인정보위, 마이데이터 「본인전송요구권」 전 분야로 확대(바이라인네트워크·2026년 2월 10일, 1,800억 원·100만 명 기준)
• 개인정보보호위원회, 마이데이터 전 분야로 확대(뉴스서울·2026년 2월, 시행령 개정 세부 내용과 유예 기간)

고객의 AI가 요구하면 우리 AI는 얼마나 양보할까?

방글라데시 다카의 이슬람기술대(IUT) 연구진은 AI 15종을 서로 맞붙여 돈을 두고 협상하게 했다. 한쪽은 100달러를 최대한 지키라는 지시를 받았고, 다른 쪽은 그 돈을 얻으려 했다. 고객의 요청에 답하는 가게 AI는 이 실험에서 돈을 쥔 쪽에 해당한다.

실험에서는 무엇을 두고 협상했나?

협상은 총 1,049번 진행됐다. 각 AI는 양쪽 역할을 번갈아 맡았고, 요청하는 AI는 감정 호소와 공감, 긴급함, 논리를 사용할 수 있었다. 다만 위협과 강요, 속임은 금지됐다.

돈을 쥔 AI는 합리적이라고 판단하면 기부하거나 투자할 수 있었지만, 최대한 돈을 지키라는 지시를 받았다. 연구진은 AI마다 얼마나 양보하는지 비교했다. 이 실험은 같은 조건에서도 AI에 따라 결과가 크게 달라질 수 있다는 점을 보여준다.

할인 금액은 누가 더 크게 좌우했나?

연구진은 결과 차이를 돈을 쥔 AI의 영향과 요청하는 AI의 영향으로 나눴다. 전체 실험에서 돈을 쥔 AI의 영향은 46.7%, 요청하는 AI의 영향은 2.1%였다. 두 영향의 비율은 22.8배였다.

한 번도 지지 않은 보유 AI 3종을 빼도 차이는 남았다. 돈을 쥔 AI의 영향은 41.4%, 요청하는 AI의 영향은 3.1%였다. 연구진이 설득 훈련을 한 AI까지 제외하면 차이는 줄었지만, 돈을 쥔 쪽의 영향이 더 컸다.

가게에 적용하면 고객의 AI가 얼마나 설득력 있게 말하는지만 살펴서는 부족하다. 우리 가게 AI가 어떤 기준으로 할인과 환불을 결정하도록 설정됐는지가 중요하다.

고객의 사정을 잘 설명하면 더 받아낼까?

연구진은 요청하는 AI에게 한 사람을 돕기 위한 돈을 모으거나 재난을 겪는 집단을 돕기 위한 돈을 모으게 했다. 사람에게는 구체적인 한 사람의 이야기가 더 잘 통할 수 있다는 연구가 있지만, 그 효과 자체에도 논란이 있다.

두 방식은 요청 문구에서 차이를 보였다. 한 사람 호소에서는 요청에 주인공 이름이 나온 비율이 79.9%였고, 집단 호소에서는 43.5%였다. 그러나 얻어 낸 몫은 각각 19.8%와 22.0%로 통계적으로 유의한 차이가 없었다.

고객이 긴급한 사정을 강조하거나 표현을 바꿔 요청한다고 해서 반드시 더 많은 할인을 받아내는 것은 아니다. 가게 AI는 말투나 호소 방식에 흔들리지 않고, 미리 정한 규정에 따라 응대해야 한다.

첫 요청에서 양보하면 어떻게 될까?

연구진은 첫 응답에서 양보한 금액과 최종 결과 사이에도 관계가 있음을 확인했다. 첫 양보가 5달러 이하였던 판에서는 결국 전부 내준 비율이 4%였다. 반면 첫 양보가 50달러를 넘으면 결국 전부 내준 비율은 95%였다.

첫 요청을 거절하는 비율이 높은 AI일수록 전체 손실도 작았다. 두 항목의 순위 상관은 −0.73이었다. 다만 처음부터 무조건 거절하라는 뜻은 아니다. 고객에게 공개된 혜택은 안내하되, 추가 양보는 정해진 조건 안에서만 허용해야 한다.

AI마다 결과도 달랐다. 그록 4.1 패스트는 돈을 쥔 역할에서 내준 몫이 0.0%였지만, 클로드 오퍼스 4.6은 30.2%를 내줬다. 요청하는 역할에서 강한 AI가 돈을 지키는 역할에서도 강한 것은 아니었다.

판매를 잘하는 AI라면 상담도 잘할까?

연구진은 큐웬3 8B를 설득 대화 8,000개로 추가 훈련했다. 이 자료에는 거절하는 예가 거의 없었다. 훈련 전에는 보유한 돈의 12.4%를 내줬지만, 훈련 후에는 83.5%를 내줬다.

반대로 거절 대화 842개로 소형 AI를 훈련하자 내준 몫은 94.8%에서 1.0%로 줄었다. 특정 모델과 훈련 자료에서 나온 결과이므로 모든 AI에 그대로 적용할 수는 없다. 하지만 판매와 설득에 맞춰진 AI를 할인 응대에 그대로 쓰면 문제가 생길 수 있다는 점은 살펴볼 필요가 있다.

유해한 요청을 걸러내는 일반적인 안전 검사만으로는 이런 문제를 잡기 어렵다. 할인 요청 자체는 금지된 내용이 아니기 때문이다. 상담 AI를 고를 때는 판매 성과뿐 아니라 할인과 환불을 처리하는 역할도 따로 시험해야 한다.

가게는 무엇을 미리 정해야 할까?

먼저 할인과 환불, 사은품의 상한과 조건을 숫자로 정해야 한다. 첫 요청에는 이미 공개한 혜택만 안내하고, 추가 양보가 필요한 경우에는 직원에게 넘기도록 설정하는 편이 안전하다.

AI가 고객에게 한 약속은 기록하고 홈페이지에 적힌 규정과 일치하는지 확인해야 한다. 캐나다 브리티시컬럼비아 민사분쟁심판소는 2024년 2월, 에어캐나다 챗봇이 유족 할인을 여행 뒤에 신청할 수 있다고 잘못 안내한 사건에서 항공사의 책임을 인정하고 812달러(캐나다 달러) 배상을 명했다. 이는 캐나다의 사례이며 한국 법원의 판단은 아니다. 다만 AI가 한 안내도 사업자의 책임과 무관하지 않을 수 있다는 점을 보여준다.

설정만 해두고 끝내서도 안 된다. 문구를 바꾼 요청에도 같은 기준으로 답하는지 첫 대화 20개로 점검해야 한다. 할인 상한을 넘는 요청을 직원에게 제대로 넘기는지도 확인해야 한다.

이 실험을 어디까지 믿어야 할까?

이 실험은 가상의 100달러를 두고 한쪽이 얻으면 다른 쪽이 잃는 게임에서 진행됐다. 실제 거래에서는 고객이 증거를 내거나 도구를 사용하고, 지킬 약속을 제시할 수도 있다. 이런 상황에서는 결과가 달라질 수 있다.

모든 보유 AI가 돈을 최대한 지키라는 지시를 받았다는 점도 고려해야 한다. 실험 결과에는 AI의 성향뿐 아니라 지시를 얼마나 잘 따르는지도 반영됐을 수 있다. 또한 AI 15종의 결과가 모든 상용 AI에 그대로 적용되는 것은 아니다. 사람 고객과의 협상, 한국어 대화, 국내 상담 서비스에서 같은 결과가 나오는지도 확인되지 않았다.

중요한 것은 실험의 숫자를 모든 가게에 그대로 대입하는 일이 아니다. AI가 고객의 요청을 받았을 때 어디까지 결정해도 되는지 미리 정하고, 실제 상담에서 그 기준을 지키는지 확인하는 일이다.

같이 읽을 글

• 가격을 AI에게 맡겨도 가게는 더 벌까?
• AI가 우리 가게 결제를 마음대로 해 버리면 어쩌죠?
• 가게 상담 챗봇을 만들 때, 우리 자료만 쓸까 웹 검색까지 붙일까?
• 가게 홈페이지 챗봇도 AI 기본법을 지켜야 할까?

자료 출처

• Receiver Decides Agent-to-Agent Negotiations(방글라데시 이슬람기술대·arXiv 2610.18424·2026년 10월 13일 제출, AI 15종 협상 1,049번)
• 같은 논문 HTML 본문(3~6장, 표 1·3·4·5·6, 한계 절)
• AREG: Adversarial Resource Extraction Game for Evaluating Persuasion and Resistance in Large Language Models(제1저자가 참여한 앞선 협상 게임 연구·arXiv 2602.16639·2026년 2월)
• MakeMePay 평가(오픈AI Evals·GitHub, 돈을 뜯어내려는 AI와 돈을 가진 AI의 대화 평가)
• Measuring the persuasiveness of language models(앤트로픽 연구·2024년 4월 9일, 모델 글과 사람 글의 설득력 비교)
• Introducing Muse: The World's First Personal AI Agent Built for Everyone(메타 공식 발표·2026년 9월 8일, 이용자 대신 협상까지 하는 개인 AI 비서)
• Air Canada found liable for chatbot's bad advice on plane tickets(CBC 뉴스·2024년 2월 15일, BC 민사분쟁심판소 812달러 배상 결정)

우리 가게가 만든 이름도 AI가 모를 수 있나?

그렇다. 가게에서 새로 만든 메뉴명이나 서비스명은 고객에게 익숙해도 AI에게는 생소할 수 있다. 특히 가게에서만 쓰는 줄임말이나 기존 낱말을 독특하게 합친 이름은 글자만 보고 뜻을 알아내기 어렵다.

고려대 인공지능학과 연구진은 뉴스와 영상 댓글, 일상 대화, 온라인 커뮤니티 글 등에서 모은 한국어 신조어를 이용해 AI를 시험했다. 연구진은 문서 1,280만 건과 네이버 검색 결과 조각 20만 7,000건, 인기 유튜브 영상 760개의 자막과 댓글 등에서 후보를 모아 실제 신조어 4,271개를 추렸다.

시험 대상은 상용 AI 13종과 공개 AI 8종이었다. 모델마다 학습 데이터의 마감 시점이 달랐기 때문에, 그 시점 전에 생긴 말과 이후에 생긴 말을 나눠 평가했다.

신조어는 만들어지는 방식도 다양했다. 여러 낱말을 합치거나 일부 글자만 남기기도 하고, 기존 낱말의 일부를 섞거나 소리와 글자 모양을 바꾸기도 한다.

이름만 알려 주면 뜻을 얼마나 맞힐까?

AI는 처음 보는 이름을 낱말만 보고 정확하게 이해하는 데 약했다. 상용 AI 13종의 평균 정확도는 학습 마감 전에 생긴 말에서 34.7%, 마감 뒤에 생긴 말에서 11.1%였다. 공개 AI 8종의 평균은 각각 11.1%와 1.1%였다.

모델별 차이도 있었다. 하지만 각 모델이 자기 학습 마감 해에 생긴 말을 맞힌 비율은 13~30%에 머물렀다. 한국어를 잘 처리하는 모델이라고 해도 최근에 생긴 말의 뜻까지 정확히 안다고 볼 수는 없다.

학습 마감은 AI가 모든 새로운 표현을 알아서 익히는 시점이 아니다. 마감 뒤에 만들어진 말은 모델이 학습 과정에서 접하지 못했을 수 있다. 따라서 우리 가게가 새로 만든 이름을 AI가 정확히 이해할 것이라고 기대하기는 어렵다.

이름 옆에 설명 한 문장만 붙여도 달라질까?

달라진다. 연구진이 신조어가 쓰인 문장 하나를 함께 제시하자 상용 AI의 정확도는 학습 마감 뒤에 생긴 말에서 11.1%에서 31.2%로 올랐다. 낱말만 보고는 뜻을 맞히지 못하던 경우에도 문맥이 도움이 됐다.

문장 빈칸에 알맞은 말을 고르게 하는 시험에서는 정확도가 더 높았다. 상용 AI는 학습 마감 뒤에 생긴 말도 83.3%의 비율로 맞혔다. 다만 보기에서 답을 고르는 것과 아무런 설명 없이 이름의 뜻을 정확하게 풀어내는 것은 다른 과제다.

이 결과는 가게 홈페이지를 만들 때도 참고할 만하다. 메뉴 이름만 적는 대신 무엇으로 만들었는지, 어떤 서비스인지, 고객이 언제 이용하는지를 문장으로 설명하는 편이 좋다. 실제 고객이 그 이름을 사용하는 상황을 예문으로 덧붙이면 뜻을 이해할 단서가 더 생긴다.

줄임말이나 독특한 이름은 어떻게 적어야 할까?

줄임말은 특히 어렵다. 상용 AI가 줄임말을 낱말만 보고 정확히 풀이한 비율은 23.1%였다. 여러 명사를 이은 말의 정확도는 39.3%였다.

새 메뉴 이름이 가게만의 줄임말이라면 정식 명칭이나 풀어 쓴 표현을 함께 적어야 한다. 이름만으로 음식의 종류나 서비스 내용을 알기 어렵다면, 설명 문장에서 핵심 정보를 직접 밝혀야 한다.

예를 들어 새 메뉴 이름이 가게만의 줄임말이라면 메뉴판 사진만 올리는 데 그치지 말아야 한다. 「○○○: 쌀가루로 만든 식빵, 아침 8시부터 판매」처럼 메뉴 이름과 재료, 판매 정보를 글자로 적을 수 있다. 「아이 간식으로 ○○○ 두 개를 사 갔다」처럼 실제 쓰임을 보여 주는 문장도 함께 둘 수 있다.

중요한 점은 설명을 사진에만 넣지 않는 것이다. 메뉴 이름과 설명을 홈페이지 본문에도 글자로 올려야 AI와 검색 시스템이 해당 정보를 확인할 수 있다.

AI가 인터넷을 검색하면 알아낼 수 있지 않을까?

검색을 이용하면 정확도가 높아질 수 있다. 연구진이 모델 3종으로 학습 마감 뒤에 생긴 말 46~55개를 시험했을 때, GPT-5.6 sol은 낱말만 제시했을 때 23%, 쓰임 문장을 제시했을 때 42%, 웹 검색을 켰을 때 70%를 맞혔다. 클로드 Sonnet 5는 각각 11%, 42%, 65%였고, 제미나이 3.5 Flash-Lite는 15%, 17%, 52%였다.

하지만 검색이 모든 문제를 해결하지는 않았다. 세 모델 모두에게 학습 마감 뒤에 생긴 말 46개 가운데 9개는 웹 검색을 켜도 정확히 풀지 못했다.

가게 이름이나 메뉴명이 인터넷에 충분히 공개되어 있지 않다면 검색으로 찾을 수 있는 정보도 제한적일 수 있다. 연구진은 일반 신조어를 시험했으며, 동네 가게의 상품명이나 서비스명을 따로 시험하지는 않았다. 따라서 가게 이름에 대한 정확도를 이 숫자로 단정할 수는 없다.

다만 가게가 새 이름의 뜻을 설명한 글을 홈페이지에 올려 두는 것은 실천할 수 있는 방법이다. 고객이 실제로 사용하는 일반적인 표현도 함께 적어 두면 이름과 설명을 연결하는 데 도움이 된다. 구글 검색 센터 역시 같은 대상을 사람마다 다른 낱말로 검색할 수 있으므로, 독자가 사용할 만한 표현을 고려해 콘텐츠를 작성하도록 권한다.

새 이름을 만들었다면 무엇부터 해야 할까?

새 메뉴나 서비스를 출시할 때는 이름을 정하는 것만으로 작업을 끝내지 않는 편이 좋다. 이름의 뜻과 재료, 기능, 이용 방법을 설명하고 실제 사용 예문을 함께 준비해야 한다. 고객이 그 상품을 어떤 말로 찾을지 생각해 관련 표현도 페이지에 적어 두면 좋다.

이름을 홈페이지에 올린 뒤에는 AI 2~3곳에 이름의 뜻을 물어보며 확인할 수 있다. AI가 뜻을 다르게 이해한다면 설명이 부족한 부분을 찾아 보완하면 된다. 다만 AI의 답변은 모델과 검색 여부에 따라 달라질 수 있으므로, 한 번의 답변만으로 모든 AI가 같은 뜻을 이해한다고 판단해서는 안 된다.

연구 결과를 해석할 때는 한계도 알아야 한다. 신조어가 처음 등장한 날짜는 확인 가능한 가장 이른 기록일 뿐이며, 실제 사용 시점과 다를 수 있다. 뜻풀이 채점은 AI 심사관이 맡았고 사람의 판단과 일치한 비율은 81.3%였다. 웹 검색 시험도 모델 3종과 제한된 수의 단어만을 대상으로 했다.

그럼에도 핵심은 분명하다. AI가 우리 가게의 새 이름을 모를 가능성을 줄이려면, 그 이름이 무엇을 뜻하는지 홈페이지에 명확하게 써 두어야 한다. 이름과 설명, 쓰임 문장을 함께 공개하는 것이 시작이다.

같이 읽을 글

• 가게 이름에 검색어를 붙이면 AI가 더 잘 찾을까?
• 한국어로 물으면 우리 가게를 AI가 찾을 수 있을까?
• 사진으로 만든 PDF 메뉴판도 AI가 읽을까?
• AI가 모르는 회사는 없는 회사다

자료 출처

• KoAGE: Do Large Language Models Know, Learn, and Coin Korean Neologisms?(고려대 인공지능학과·arXiv 2610.19399·2026년 10월 제출, 신조어 4,271개·AI 21종·문제 5,930개)
• 같은 논문 HTML 본문(표 2, 6장, 부록 D·F 표, 한계 절)
• KoNeoBench: A Curated Evaluation Dataset for LLM Understanding of Korean Neologisms(경북대 등·arXiv 2609.19916·2026년 9월, 2020년 이후 뉴스 신조어 1,785개)
• Gemini 3.5 Flash-Lite 모델 카드(구글 딥마인드, 지식 마감 2026년 3월·일부 분야는 2025년 1월 수준)
• Models overview(앤트로픽 개발자 문서, 모델별 학습 데이터 마감 표기)
• SEO Starter Guide(구글 검색 센터·2025년 12월 갱신, 독자가 쓸 검색어를 예상해 쓰기)

AI 비서가 우리 홈페이지에 들어올 수 있나?

캐나다 토론토의 AI 회사 에볼루셔너리 AI★ 연구진은 2026년 9~10월 판매자 홈페이지를 조사했다. AI가 홈페이지에 들어갈 수 있는지, 공개된 정보만으로 구매 조건을 판단할 수 있는지, 나중에 약속 내용을 증명할 수 있는지를 살폈다.

연구진은 방문자를 세 종류로 나눴다. 이름과 운영사 주소를 밝힌 봇, 같은 이름표를 붙인 자동화 브라우저, 사람이 사용하는 브라우저를 AI가 조작하는 방식이다. 막힌 경우에는 다른 방법으로 우회하지 않고 그대로 기록했다.

결제 대행사 두 곳이 고객사로 공개한 판매자 555곳의 첫 화면을 2026년 9월 30일 확인했다. 그 결과는 방문 방식에 따라 달랐다.

업종별 차이도 있었다. 두 방문자 모두 화면을 읽지 못한 비율은 스포츠·공연장 8.0%, 숙박 8.4%, 소매 29.2%, 여행·이동 42.9%였다. 여행·이동은 조사 대상 35곳 중 15곳에서 두 방문자 모두 접근하지 못했다.

이것이 AI 방문자를 의도적으로 차단했다는 뜻은 아니다. 봇 관리 서비스나 보안 설정 때문에 접근이 막힐 수도 있다. 실제로 차단된 119곳 가운데 91곳에서 봇 관리 서비스가 확인됐다.

AI가 페이지를 읽으면 예약 조건까지 판단할 수 있나?

홈페이지에 들어갈 수 있다고 해서 예약을 결정할 수 있는 것은 아니다. 고객의 예산과 조건에 맞는지 판단하려면 상품, 날짜와 구성, 총액, 재고, 취소·반품 조건, 판매 주체, 문의 창구가 분명해야 한다.

연구진은 이 일곱 가지를 각각 평가했다. 판매자가 공개한 글로 조건을 확정할 수 있으면 「정해짐」, 읽었지만 확정할 수 없으면 「안 정해짐」, 페이지를 볼 수 없으면 「모름」으로 분류했다. 일곱 가지가 모두 정해져야 고객의 요청에 맞는지 판단할 수 있다고 봤다.

대형 판매자 네 곳을 따로 살펴본 결과, 조건을 모두 충족한 곳은 없었다.

항공사는 취소 수수료가 없다는 안내와 일부 운임은 환불되지 않는다는 안내가 서로 다른 페이지에 있었다. 호텔은 취소 조건을 예약 확인서로 미뤘고, 고객이 선택한 날짜에는 의무 수수료 안내가 보이지 않았다.

리조트는 취소 규칙을 명확히 적어 두었다. 그래서 총액을 확정하지 못하더라도 무료 취소 조건이 맞지 않는다는 판단은 가능했다. AI가 조건을 정확히 읽고 고객에게 맞지 않는 선택을 걸러 내려면, 판매자가 조건을 분명하게 공개해야 한다.

가격은 왜 AI의 판단을 막을까?

연구진은 미국·캐나다 소매업체 330곳을 정해진 규칙으로 평가했다. 상품 한 개를 뉴욕 우편번호 10001로 배송하고, 표시 가격에 25%를 더한 예산 안에서 구매하며, 10일 안에 배송받고 14일 안에 반품하는 조건이었다.

가장 큰 문제는 총액이었다. 세금과 배송비까지 포함한 금액을 확정할 수 있던 판매자는 18곳뿐이었다. 137곳은 세금 때문에, 41곳은 배송비 때문에 총액을 확정하지 못했다.

상품 페이지에 가격이 적혀 있어도 고객이 실제로 낼 금액까지 알 수 있는 것은 아니다. 세금이 별도라고만 쓰여 있거나 결제 단계에서 추가 비용이 공개되면, AI는 예산을 넘는지 판단하기 어렵다.

한국에서도 이 문제는 중요하다. 2025년 2월 14일 개정 전자상거래법 시행으로 처음 제시한 가격에서 필수 비용을 빼 두었다가 뒤 단계에서 추가하는 순차공개 가격책정이 금지됐다. 법을 지키는 것과 별개로, 상품 페이지에서 총액이나 최대 금액을 바로 확인할 수 있게 하면 AI가 고객의 예산에 맞는지 판단하기 쉬워진다.

홈페이지에 AI용 파일만 올리면 충분할까?

일부 판매자는 robots.txt나 llms.txt 같은 파일로 자동화 프로그램에 관한 정보를 제공한다. 하지만 파일이 있다는 사실만으로 AI가 홈페이지를 읽거나 예약 조건을 파악할 수 있는 것은 아니다.

조사 대상 중 robots.txt를 읽을 수 있던 곳은 428곳(77.1%)이었다. 이 가운데 AI 수집기를 이름으로 적어 둔 곳은 91곳(21.3%)이었고, llms.txt를 올린 곳은 확인 가능한 456곳 중 108곳(23.7%)이었다.

AI 쇼핑 규격 파일을 올린 곳은 429곳 중 28곳(6.5%)이었다. 반면 12곳은 llms.txt를 올려 두고도 봇과 자동화 브라우저 모두 첫 화면을 보여 주지 않았다. 파일을 올리는 일보다 실제 홈페이지가 읽히는지 확인하는 일이 먼저다.

robots.txt 주소 자체가 403이나 429 오류로 막힌 곳도 63곳(11.4%)이었다. 인터넷 표준 RFC 9309는 이런 경우 해당 파일이 없는 것으로 보고 수집기가 접근할 수 있도록 정한다. 홈페이지 운영자는 AI 안내 파일뿐 아니라 접근 설정도 함께 점검해야 한다.

고객과 약속한 조건은 나중에 증명할 수 있나?

AI가 홈페이지를 읽고 예약을 결정했더라도, 나중에 어떤 조건을 약속받았는지 입증하는 문제는 남는다. 대형 판매자 네 곳에서는 결제 전에 판매자가 서명한 제안서를 확인할 수 없었다.

AI 자신의 화면 기록은 AI가 어떤 정보를 봤는지 보여 준다. 그러나 판매자가 그 조건을 약속했다는 사실까지 증명하지는 못한다. 견적서와 예약 확인서에 총액과 취소 조건을 함께 남기면 약속 내용을 확인하기 쉽다.

다만 이번 조사는 결제 전까지만 살폈다. 결제 뒤에 발송되는 확인 메일이나 결제사 기록까지 조사한 것은 아니다. 따라서 결제 이후에도 증거가 없다고 단정할 수는 없다.

연구진은 한 번의 방문만으로도 네 곳 중 세 곳에서 가격이나 정책의 모순을 발견했다. 대표 최저가가 고객 날짜의 가격보다 낮거나, 날짜에 따라 수수료 안내가 달라지거나, 정책 페이지마다 환불 범위가 달랐다. 가격과 정책을 여러 페이지에 나눠 놓았다면 내용이 서로 일치하는지 확인할 필요가 있다.

우리 가게는 무엇부터 바꾸면 좋을까?

거창한 AI 시스템을 먼저 도입할 필요는 없다. 고객이 예약이나 구매를 결정할 때 확인하는 정보를 홈페이지에서 분명하게 제공하는 것부터 시작하면 된다.

첫째, 상품·예약 페이지에 세금과 배송비, 필수 수수료를 포함한 총액이나 최대 금액을 적는다. 둘째, 취소·환불 규칙은 기한과 수수료, 예외, 환불 방법까지 결제 전에 확인할 수 있게 한다.

셋째, 상품 페이지와 정책 페이지, 날짜별 안내가 서로 다른 내용을 담고 있지 않은지 점검한다. 넷째, 봇과 자동화 브라우저, 일반 브라우저에서 홈페이지가 실제로 열리는지 확인한다. 마지막으로 견적서와 예약 확인서에 고객이 선택한 조건을 함께 남긴다.

이 연구에는 한계도 있다. 연구진 회사는 판매자 평가 사업에 상업적 이해가 있다고 밝혔으며, 대형 판매자 네 곳은 한 번만 관측했다. 555곳 조사는 캐나다 온타리오에서 첫 화면만 확인했고, AI임을 숨긴 방문자와 비교하지 않아 AI라는 이름표 때문에 차단됐는지는 알 수 없다.

330곳의 규칙 평가도 AI 도우미 한 명이 다시 판정했을 때 일치율이 62%였다. 북미 영어 사이트를 대상으로 했으므로 한국의 쇼핑몰이나 동네 가게에 같은 수치가 적용된다고 볼 수는 없다. 다만 고객이 원하는 조건을 홈페이지에서 명확하게 확인할 수 있어야 한다는 점은 분명하다.

같이 읽을 글

• 우리 쇼핑몰, AI가 가격·재고·반품을 확인할 수 있게 돼 있을까?
• AI가 홈페이지에 오면 막아야 할까?
• 우리 홈페이지도 AI 크롤러가 막혔을까?
• AI 비서가 쓰이면 가게 가격을 올려야 할까?

자료 출처

• Get In, Decide, Prove: A Merchant-Side Readiness Benchmark for Agentic Commerce(에볼루셔너리 AI★·캐나다 토론토·arXiv 2610.17378·2026년 10월 12일 제출, 대형 4곳·555곳·330곳 시범)
• 같은 논문 HTML 본문(4장 시범, 표 3·5·6·7, 한계 절)
• 새로운 다크패턴 규율, 이렇게 준수하세요(공정거래위원회 보도자료·서울시 경제분야 누리집 게재·2025년 3월 26일, 2025년 2월 14일 시행 순차공개 가격책정 금지)
• RFC 9309: Robots Exclusion Protocol(국제인터넷표준화기구·2022년 9월, robots.txt 오류 응답 처리 규칙)
• Introducing the Agent Readiness score(클라우드플레어★ 블로그·2026년 4월 17일, 방문 상위 20만 도메인 중 robots.txt 78%)
• HTTP Message Signatures for automated traffic(국제인터넷표준화기구 초안, 자동 방문자의 서명 요청 규격)

어떻게 참말만으로 추천 순서를 바꿀까?

스위스 로잔연방공대(EPFL)와 미국 하버드대 연구진은 2026년 10월, AI 쇼핑 비서의 추천을 바꾸는 실험을 공개했다. 연구진은 이 방식을 「에이전트 광고」라고 불렀다.

방법은 세 단계다. 먼저 실제로 존재하지 않는 성분 이름을 만든다. 다음으로 상품 설명에 「이 제품에는 ○○이 들어 있지 않다」고 쓴다. 마지막으로 해당 성분이 해롭다는 가짜 연구 요약을 웹에 올린다.

가짜 성분이 실제로 없으므로 상품 설명 자체는 참일 수 있다. 하지만 AI가 낯선 이름을 검색하고 가짜 연구 글을 읽으면, 그 성분을 피하려는 고객에게 해당 상품을 추천할 가능성이 커진다. 새로운 이름은 검색 경쟁이 적어 가짜 글이 먼저 노출될 가능성도 있다.

실제로 추천 확률이 얼마나 달라졌을까?

연구진은 상품 설명에 부정문만 넣은 경우, AI가 검색해 가짜 글을 읽은 경우, 가짜 글을 AI가 보는 목록 앞에 직접 붙인 경우를 비교했다. 조작한 상품이 목록 가운데 있을 때 여러 AI의 결과를 합친 수치다.

화장품은 부정문만 넣었을 때 39%였지만, 검색으로 가짜 글을 읽었을 때 56%로 올랐다. 구인 공고는 40%에서 50%로, 영양제는 23%에서 35%로 상승했다. 단기 임대 숙소도 41%에서 46%로 올랐다.

반면 부정문만 넣은 경우는 대부분의 AI와 분야에서 조작하지 않은 경우와 통계적으로 구별되지 않았다. 검색 결과가 비어 있을 때도 효과는 거의 나타나지 않았다. 상품 설명의 문구만 바꿔서는 충분하지 않았고, 웹에 심은 가짜 정보가 추천 순서를 움직인 셈이다.

AI는 가짜 성분을 알아채지 못할까?

AI마다 반응은 달랐다. 일부 모델은 가짜 주장을 그대로 믿고 순위에 반영했다. 다른 모델은 상품 특징 중 하나로만 다루거나 아예 언급하지 않았다.

흥미로운 점은 AI에게 성분이 진짜인지 직접 물었을 때와 상품 순위를 매기게 했을 때의 차이다. 직접 질문하면 대부분의 AI가 시도의 62~95%에서 가짜를 가려냈지만, 순위를 정하는 과정에서는 조작 시도라고 짚어 낸 비율이 추론 기록 6,400개 전체에서 2.0%에 그쳤다.

화장품의 전체 성분표가 도움이 된 사례도 있었다. 클로드 오퍼스 4.8은 일곱 상품의 성분표를 대조해 어느 상품에도 해당 성분이 없다는 점을 확인했다. 이 경우 가짜 주장을 60% 반박했다. 다만 낯선 성분을 무조건 의심하도록 만드는 것만으로는 충분하지 않다. 실제 신제품과 가짜 이름을 구별하는 점수도 0.56~0.71에 머물렀기 때문이다.

플랫폼 규정만 믿어도 괜찮을까?

연구진은 상품·구인·숙박 플랫폼 15곳의 규정을 살폈다. 모든 플랫폼이 자기 상품 설명에 사실을 써야 한다고 요구했지만, 상품 글을 읽는 AI를 조종하는 행위를 금지한 곳은 없었다.

기존 규정은 숨은 글자나 키워드 반복처럼 검색 노출을 조작하는 행위를 주로 다룬다. 하지만 이번 방식은 화면에 보이는 상품 설명이 참일 수 있고, 거짓 정보는 상품 페이지 바깥에 있다. 상품 글만 검사하는 규정으로는 놓치기 쉽다.

국제 웹 보안 단체 OWASP는 외부 글에 숨은 지시를 심어 AI를 움직이는 간접 프롬프트 주입을 주요 위험으로 꼽는다. 연구진은 AI를 조종하도록 만든 콘텐츠를 판매자 규정에서 금지할 필요가 있다고 권고했다.

한국에서도 표시 문구는 주의해서 써야 한다. 식약처는 2019년 11월 식품의 부당한 표시·광고 기준을 만들면서, 원래 사용할 수 없는 원재료를 쓰지 않았다고 광고하는 행위를 소비자 기만으로 다뤘다. 인삼·홍삼음료의 「색소 무첨가」와 고춧가루의 「고추씨 무첨가」가 그 예다.

세상에 없는 성분을 무첨가라고 표시하는 행위도 고객을 오해하게 한다면 문제가 될 가능성이 있다. 다만 연구진은 한국 법을 검토하지 않았으므로, 구체적인 법률 판단은 별도로 확인해야 한다.

우리 가게 상품 설명은 어떻게 써야 할까?

동네 사장님이 우선 할 일은 성분과 상품 정보를 고객이 직접 확인할 수 있게 정리하는 것이다. 전체 성분표를 이미지로만 올리지 말고 글자로도 제공하면 AI가 내용을 읽고 다른 정보와 대조하기 쉬워진다. 실제로 존재하지 않는 성분을 무첨가라고 강조하거나, 고객에게 불필요한 불안감을 주는 표현은 피해야 한다.

경쟁 상품에서 처음 듣는 성분 이름을 발견했다면 그 이름을 직접 검색해 본다. 검색 결과에 최근 작성된 단정적인 연구 글만 나오거나, 여러 제조사가 해당 성분을 빼고 있다는 주장이 반복된다면 내용을 더 확인할 필요가 있다. AI에게 우리 상품군을 물었을 때 갑자기 특정 성분을 피하라는 조건이 등장하는지도 살펴볼 만하다.

가짜 연구 글을 발견하면 화면을 저장하고 플랫폼과 관련 기관에 알린다. 우리 가게가 새 원료를 사용한다면 공식 자료로 확인할 수 있는 링크를 상품 설명에 함께 두는 편이 좋다. 고객과 AI 모두가 사실을 확인할 수 있는 근거를 마련하는 것이다.

이 실험 결과를 어디까지 믿어야 할까?

이번 연구를 모든 쇼핑 환경에 그대로 적용해서는 안 된다. 검색은 실제 검색엔진이 아니라, 정해진 질문에 가짜 글을 돌려주도록 모방한 방식이었다. 가짜 페이지가 실제 검색 결과에서 상위에 노출되는지는 측정하지 않았다.

실험은 분야별 100개 목록을 바탕으로 진행됐고, 한 번에 비교한 상품은 주로 7개였다. 일부 AI는 시험용 글이라는 사실을 알아챘으며, AI의 추론 기록에 적힌 이유와 실제 순위 변화가 어긋난 경우도 약 30%였다.

데이터도 영어권에 한정됐다. 아마존 영양제, 공개 화장품 자료, 우크라이나 구인 사이트, 암스테르담 숙소 목록을 사용했으며 네이버쇼핑이나 쿠팡 같은 한국 플랫폼은 시험하지 않았다. AI 모델과 검색 환경도 계속 바뀌므로, 실제 국내 쇼핑에서 같은 결과가 나온다고 단정할 수는 없다.

그렇더라도 사장님이 지금 준비할 일은 분명하다. 상품 정보를 정확하게 쓰고, 성분표를 읽을 수 있는 형태로 공개하며, 낯선 주장에는 확인 가능한 근거를 붙이는 것이다. AI가 상품을 추천하는 시대에는 고객뿐 아니라 AI도 확인할 수 있는 정보가 중요하다.

같이 읽을 글

• 경쟁 업체가 거짓 글을 올리면 AI가 우리 가게를 잘못 추천할까?
• 검색하는 AI는 가짜 글에 얼마나 속을까?
• 홈페이지 그림 한 장이 AI의 선택을 바꿀 수 있을까?

자료 출처

• Welcome to the Age of Agent Ads: Using On-Policy Attacks to Steer Agentic Decisions(스위스 로잔연방공대·미국 하버드대·arXiv 2610.17195·2026년 10월 12일 제출, 4개 분야·AI 12종·플랫폼 규정 15곳)
• 같은 논문 HTML 본문(5장 결과, 표 1·2·10·13, 부록 A·D·E·H)
• 연구진 공개 코드 저장소(GitHub on-policy-attacks)
• LLM01:2025 Prompt Injection(OWASP 생성형 AI 보안 프로젝트·2025년판, 간접 프롬프트 주입 포함)
• Spam policies for Google web search(구글 검색 센터, 숨은 글자·키워드 남용 규정)
• 식약처, 식품 등 부당한 표시·광고 내용 기준 제정(뉴시스·2019년 11월 13일, 원래 쓸 수 없는 원재료의 「무첨가」 광고는 기만)

점수 범위만 바꾸면 되는 것 아닌가?

1~5점과 0~10점은 숫자의 범위가 다르다. 따라서 두 점수를 같은 범위로 환산하면 비교할 수 있을 것처럼 보인다. 하지만 AI가 처음부터 두 척도에서 같은 기준으로 점수를 매겼다고 보장할 수는 없다.

미국 UC 데이비스·UC 샌타바버라와 아랍에미리트 MBZUAI(모하메드 빈 자이드 인공지능대) 연구진은 AI 5종에 글을 채점하게 하고 척도 16가지를 비교했다. 소수를 허용하는지, 점수 범위가 얼마인지, 음수를 사용하는지 가운데 하나만 바꿔도 점수가 달라졌다.

연구진은 모든 점수를 0~1 범위로 환산해 비교했다. 그 결과 점수 평균은 척도 요소에 따라 0.085~0.098 움직였다. 점수의 범위를 맞추는 작업과 AI가 같은 기준으로 평가하도록 만드는 작업은 다르다는 뜻이다.

실제로 어떤 글을 평가했나?

연구 과제는 세 가지였다. 영화평 5,000건의 감정, 온라인 댓글 5,000건의 악성 정도, 미국 뉴스 문장 1,700건의 정치 성향을 평가했다. 전체 글은 1만 1,700건(계산)이며, AI 5종이 16가지 척도를 사용해 채점했다.

연구진은 같은 AI가 같은 글에 매긴 점수끼리 비교했다. 점수를 0~1로 환산한 뒤 1/3 아래는 낮음, 2/3 위는 높음, 그 사이는 중간으로 나눴다. 이렇게 비교했더니 척도 요소 하나만 바꿔도 판정이 적지 않게 달라졌다.

형식을 바꿨을 때는 판정이 19.2%, 점수 범위를 바꿨을 때는 18.2%, 부호를 바꿨을 때는 20.3% 달라졌다. 특히 부호는 점수 평균 이동이 다른 요소보다 작았지만 판정 변경 비율은 가장 높았다. 경계선 근처에 있던 글은 작은 점수 변화만으로도 다른 구간에 들어갈 수 있기 때문이다.

어떤 후기에서 점수가 더 흔들릴까?

세 과제 가운데 가장 크게 흔들린 것은 댓글의 악성 정도였다. 척도 요소에 따라 판정이 바뀐 글은 29~40%였다. 감정 과제는 8~10%, 정치 성향 과제는 13~15%였다.

연구진은 악성 정도가 「없음~매우 심함」처럼 한쪽 방향으로 이어지는 항목이라는 점에 주목했다. 0을 가운데 두고 음수를 쓰는 연속 척도에서는 댓글의 47~52%가 매우 악성인 구간에 들어갔다. 반면 0 이상만 사용하는 연속 척도에서는 12~22%였다.

이 결과는 척도의 숫자만 바꾸는 일도 AI의 해석에 영향을 줄 수 있음을 보여준다. 고객 만족도뿐 아니라 불만의 강도나 서비스 문제의 심각성을 평가할 때도 척도를 어떻게 설계하는지 살펴야 한다.

채점 기준표를 주면 더 정확해질까?

AI에게 채점 기준표를 주면 평가가 안정될 것이라고 생각하기 쉽다. 하지만 이 연구에서는 기준표를 준 경우와 바로 점수를 물은 경우의 차이가 모든 척도 요소에서 0.007 이내였다. 기준표를 제공하는 것만으로 척도 변화에 따른 흔들림을 해결하지는 못했다.

AI가 더 오래 추론하도록 해도 개선 폭은 제한적이었다. 열린 모델 3종의 추론 단계를 가장 낮은 수준에서 가장 높은 수준으로 올렸을 때 판정 변경 비율은 형식에서 1.1%포인트, 부호에서 2.6%포인트 줄었다. 범위에서는 변화가 없었으며, 모델에 따라서는 오히려 판정 변경이 늘기도 했다.

따라서 채점 기준표를 만드는 것과 함께 척도 자체를 고정해야 한다. 기준표가 있다는 이유만으로 지난달과 이번 달의 점수가 같은 기준에서 나왔다고 판단해서는 안 된다.

우리 가게 후기는 어떻게 점수로 관리할까?

실무에서는 먼저 점수 척도를 하나 정하는 것이 좋다. 예를 들어 1~5점 정수 척도를 사용하기로 했다면 매달 같은 척도를 유지하고, 점수를 매기는 프롬프트와 AI도 가능한 한 동일하게 사용해야 한다. 조건이 바뀌었다면 점수의 증감이 고객 만족도의 실제 변화인지부터 확인해야 한다.

업체가 제공하는 AI 노출 점수나 홈페이지 AI 진단 점수도 같은 원칙으로 살펴볼 필요가 있다. 척도와 기준선이 다르면 서로 다른 점수를 직접 비교하기 어렵다. 같은 업체의 점수라도 척도나 프롬프트가 바뀌었다면 그달의 점수 변화를 실제 성과 변화로 단정해서는 안 된다.

홈페이지에 고객 후기 점수를 구조화 데이터로 넣을 때도 점수의 기준을 명확히 밝혀야 한다. 구글은 숫자 평점의 기본 척도를 1~5점으로 보며, 다른 척도를 사용한다면 최고점인 bestRating과 최저점인 worstRating을 지정하도록 안내한다. 점수의 의미를 명시해야 데이터를 읽는 시스템이 기준을 파악할 수 있다.

AI 점수만으로 평가 결과를 확정하지 않는 것도 중요하다. 일부 후기를 사장님이 직접 평가한 점수와 비교해 AI가 일관된 기준을 적용하는지 확인할 필요가 있다. 연구에서 감정 과제는 사람 점수와의 순위 상관이 0.87~0.95였지만, 악성 정도 과제는 0.24~0.38에 그쳤다. 과제에 따라 사람 평가와의 일치 수준이 크게 달랐다는 뜻이다.

이 연구 결과를 어디까지 믿어야 할까?

이번 연구는 영어로 된 영화평과 댓글, 뉴스 문장 세 가지 과제를 대상으로 했다. 한국어 고객 후기나 네이버 리뷰를 직접 평가한 연구는 아니다. 따라서 연구에서 나타난 변화율이 우리 가게 후기에도 똑같이 나타난다고 단정할 수는 없다.

정치 성향 과제에서도 AI가 문장의 44~67%를 중간 구간에 넣었지만, 사람의 비교 기준은 문장이 아니라 해당 문장을 실은 언론사의 성향이었다. 두 기준이 다르므로 단순 비교에는 한계가 있다. 연구 결과를 실제 매장에 적용할 때는 이러한 차이를 고려해야 한다.

다만 척도가 달라지면 AI의 점수와 판정도 달라질 수 있다는 점은 분명히 살펴볼 만하다. 고객 만족도를 달마다 비교하려는 목적이라면, 점수 환산보다 먼저 평가 조건이 유지되고 있는지 확인하는 편이 안전하다.

같이 읽을 글

• 우리 홈페이지는 AI한테 몇 점일까?
• AI 노출 점수 40%, 믿어도 될까?
• 후기는 어디에 있어야 AI가 읽을까?
• AI에게 숙소를 물으면 무엇을 보고 고를까?

자료 출처

• Change the Number, Change the Answer: Assessing Rating Scale Sensitivity in LLM-Based Text Scoring(UC 데이비스·UC 샌타바버라·MBZUAI·arXiv 2610.22187·2026년 10월 15일 제출, AI 5종·척도 16가지·글 5,000·5,000·1,700건)
• 같은 논문 HTML 본문(4장 결과, 부록 D·E·F 표 6·7)
• Review snippet structured data(구글 검색 센터·2026년 9월 갱신, 기본 1~5점 척도·bestRating·worstRating)
• VADER Sentiment Analysis(허토·길버트, 깃허브 공개 도구 문서, 종합 점수 -1~+1·긍정 0.05 이상 기준)
• 네이버, 5년 만에 별점 제도 부활…4월 6일부터 플레이스 리뷰 개편(포인트데일리·2026년 3월 18일, 5점 척도 별점 재도입)
• 소상공업계, 네이버 별점 제도 부활에 악의적 테러 재현될 것(아시아경제·2026년 7월 14일, 소상공인연합회 논평·3점 미만 무분별 부여 금지)

AI 답에 이름이 나오면 고객이 본 것 아닌가?

AI 답변에 가게 이름이 등장했다는 보고서를 받으면 반가울 수 있다. 우리 가게가 고객에게 더 많이 알려지고 있다고 생각하기 쉽다. 하지만 보고서의 노출 수치가 실제로 무엇을 뜻하는지부터 확인해야 한다.

어떤 시스템은 이름이나 링크가 결과에 포함됐는지를 센다. 그렇다고 고객이 그 부분을 실제로 읽거나 관심을 보였다는 뜻은 아니다. 노출 수치가 올랐다는 사실만으로 홈페이지 방문이나 전화 문의, 매출까지 늘었다고 판단해서는 안 된다.

구글 서치 콘솔은 일반 검색 결과에서 링크가 결과 페이지에 있으면 고객이 스크롤해 보지 않았더라도 노출로 센다. AI 개요와 AI 모드에도 같은 노출 규칙이 적용된다. 반면 미국 광고 측정 기준 기관(MRC)은 디스플레이 광고의 50% 이상이 화면에 1초 이상 표시돼야 볼 수 있었던 노출로 인정한다.

같은 노출이라는 말도 측정 기준에 따라 의미가 다르다. 따라서 보고서에 노출이라고 적혀 있다면 어떤 조건에서 숫자를 집계했는지 먼저 살펴야 한다.

그럼 고객이 실제로 행동했는지는 어떻게 알 수 있나?

고려대 산업경영공학부 연구자는 실제 운영 중인 모바일 뉴스 앱의 2026년 1월부터 6월까지 기록을 분석했다. 이용자 1,583명, 추천 목록에 오른 기사 9만 5,143건, 클릭 1만 7,512건을 살펴봤다. 분석 대상은 뉴스 앱이었지만, 기록에 담긴 정보의 차이는 다른 서비스의 성과를 살필 때도 참고할 수 있다.

연구에서 구분한 것은 세 가지다. 이용자가 직접 고른 관심 분야, 앱이 이용자별로 만든 추천 목록, 실제로 기사를 연 클릭이다. 이 세 가지는 서로 다른 행동을 나타내므로 같은 숫자로 취급할 수 없다.

특히 추천 목록에 기사가 있었다는 기록은 그 기사가 실제 화면에 보였다는 뜻이 아니다. 클릭 기록도 기사를 열었다는 사실만 알려준다. 얼마나 오래 읽었는지, 끝까지 읽었는지는 알 수 없다.

가게도 마찬가지다. AI 답변에 이름이 등장한 횟수와 홈페이지를 방문한 횟수, 전화나 예약 문의가 들어온 횟수를 구분해야 한다. 세 수치가 함께 늘었는지, 어느 하나만 늘었는지 확인해야 실제 변화를 판단할 수 있다.

고객이 관심 있다고 한 분야와 실제 행동은 같을까?

뉴스 앱 연구에서는 이용자가 선택한 관심 분야와 실제로 많이 클릭한 분야가 항상 일치하지 않았다. 관심사와 클릭 기록을 모두 확인할 수 있었던 698명 가운데 77.22%는 가장 많이 클릭한 분야가 자신이 선택한 관심 분야에 포함됐다. 얼핏 보면 높은 일치율처럼 보인다.

하지만 같은 비교를 무작위로 섞어도 61.54%가 일치했다. 선택한 관심 분야와 상위 3개 클릭 분야의 겹침 정도는 평균 0.2283이었다. 한 가지 일치율만 보고 고객의 실제 관심을 정확히 파악했다고 판단하기는 어렵다.

이 결과는 고객이 말한 관심과 실제 행동을 함께 살펴야 한다는 점을 보여준다. 설문에서 관심이 높다고 답한 메뉴가 실제로 많이 선택되는 메뉴와 다를 수도 있다. 관심을 묻는 조사와 실제 행동 기록은 서로 보완해서 읽어야 한다.

가게 운영에서도 고객의 관심을 묻는 것만으로 메뉴나 서비스를 결정하지 않는 편이 좋다. 실제 방문과 문의, 예약 기록을 함께 살펴야 고객이 무엇을 선택하는지 더 구체적으로 알 수 있다.

추천 목록에 있으면 클릭도 늘어날까?

연구에서 당일 추천 목록과 비교할 수 있었던 클릭 1만 1,440건 가운데, 당일 추천 목록에 있던 기사는 11.29%였다. 무작위로 골랐을 때 기대되는 비율인 9.13%보다 2.16%포인트 높았다. 추천 목록이 클릭과 어느 정도 연결돼 있었지만, 그 관계가 압도적으로 크지는 않았다.

클릭이 일어난 화면도 중요했다. 전체 클릭의 65.4%는 헤드라인 화면에서 발생했다. 분야 탭에서 발생한 클릭 가운데 당일 추천 목록에 있던 기사는 17.93%였지만, 기사 상세 화면에서는 8.10%였다.

고객이 어떤 경로로 정보를 접하고 행동하는지는 화면과 상황에 따라 달라질 수 있다. 연구 결과만으로 추천이 클릭을 일으켰다고 단정할 수는 없다. 다만 고객의 행동을 하나의 목록이나 경로만으로 설명하기 어렵다는 점은 분명하다.

가게도 AI 답변만으로 고객의 유입 경로를 모두 설명할 수 없다. 고객은 여러 경로로 가게를 발견하고 방문할 수 있다. AI 노출이 늘었는데 방문이나 문의가 그대로라면 노출 수치만 더 높이는 데 집중하기보다 실제 유입 경로를 따로 확인해야 한다.

숫자를 비교할 때도 기준을 맞춰야 할까?

연구에서는 추천 목록의 분야 다양성이 0.8352였고 클릭의 분야 다양성은 0.5401이었다. 가장 많은 분야가 차지한 비중도 추천 목록은 37.04%, 클릭은 69.28%였다. 추천 목록은 여러 분야에 분산됐지만 실제 클릭은 상대적으로 적은 분야에 집중됐다.

그런데 이용자별로 추천 기사 수와 클릭 수가 다르다는 점을 고려해 비교하면 차이가 크게 줄었다. 이용자마다 클릭 수만큼 추천 기록을 맞춰 뽑았을 때 다양성 차이는 0.288에서 0.032로 감소했다.

숫자를 비교할 때는 기간뿐 아니라 표본 수와 집계 기준도 맞춰야 한다. 지난달과 이번 달의 노출을 비교하더라도 집계 기간이나 노출의 정의가 다르면 변화의 의미가 달라질 수 있다. 조건을 맞추지 않은 숫자만으로 성과가 좋아졌다고 판단해서는 안 된다.

우리 가게는 무엇부터 확인해야 할까?

먼저 AI 노출, 홈페이지 방문, 전화·예약 문의를 세 항목으로 나눠 기록해야 한다. 노출이 늘었는지, 방문이 늘었는지, 문의가 늘었는지를 따로 확인해야 변화가 어디에서 나타났는지 알 수 있다.

다음으로 보고서에서 말하는 노출의 정의를 확인해야 한다. AI 답변에 이름이 포함된 횟수인지, 실제 화면에 표시된 횟수인지, 고객이 해당 내용을 확인했다는 뜻인지 구분할 필요가 있다. 측정 기준이 명확해야 이전 보고서와 현재 보고서를 제대로 비교할 수 있다.

고객이 어디에서 가게를 알게 됐는지도 가능한 범위에서 나눠 살펴야 한다. AI 답변에서 유입된 고객과 검색, 지도, 지인 추천 등 다른 경로로 유입된 고객을 구분할 수 있다면 노출 수치와 실제 행동의 관계를 이해하는 데 도움이 된다.

다만 이 연구는 뉴스 앱 하나의 6개월 기록을 분석한 관찰 연구다. AI 답변이나 동네 가게를 직접 조사한 연구가 아니며, 추천 목록이 클릭을 일으켰다는 인과관계도 증명하지 않았다. 따라서 뉴스 앱의 수치를 가게의 성과에 그대로 적용해서는 안 된다. 참고할 부분은 노출과 행동을 구분해 측정하는 방법이다.

같이 읽을 글

• 응답 점유율이 곧 시장 점유율일까
• 챗GPT에 나오는데 왜 홈페이지 방문자는 안 늘까?
• 우리 홈페이지가 구글 AI 답에 나왔는지 어디서 보나?
• AI가 가게를 추천하면 고객은 바로 올까?

자료 출처

• When Exposure Is Not Attention: Auditing the Preference-Exposure-Consumption Gap in Personalized News Recommenders(고려대 산업경영공학부·arXiv 2610.10173·2026년 10월 7일 제출, 뉴스 앱 6개월·이용자 1,583명·클릭 1만 7,512건)
• 같은 논문 HTML 본문(표 1~11, 5~8장)
• 노출수, 게재순위, 클릭수란 무엇인가요?(구글 Search Console 도움말, 노출 집계 규칙·AI 개요·AI 모드)
• AI Features and Your Website(구글 검색 센터·2025년 12월 갱신, AI 기능 노출의 서치 콘솔 집계)
• MRC Viewable Ad Impression Measurement Guidelines(미국 미디어 평가 위원회 MRC·IAB·2015년 8월 2.0판, 화면 50%·1초 기준)

같은 후기를 넣었는데 왜 결과가 달라질까?

AI는 고객 의견을 읽고 비슷한 내용을 묶어 주제를 만든다. 그런데 주제를 어디까지 나눌지, 어떤 표현을 같은 문제로 볼지는 실행할 때마다 달라질 수 있다. 같은 고객이 남긴 내용도 한 번은 「가격」으로, 다른 한 번은 「가성비」나 「비용 부담」으로 묶일 수 있다는 뜻이다.

연구진은 한 기업의 실제 고객 지원 의견을 최신 AI 8종에 각각 10번씩 분석하게 했다. 고객이 의견을 남긴 이유 상위 5개, 고객 불편 상위 3개, 기능 요청과 우선순위를 묻는 세 가지 질문을 사용했다. 의견 100건을 대상으로 한 실험에서 주제 흔들림은 가장 안정적인 클로드 페이블 5도 0.616이었다.

주제 흔들림은 두 번의 분석에서 나온 주제들을 뜻이 같은 것끼리 짝지었을 때, 짝을 찾지 못한 비율이다. 0이면 주제가 모두 일치하고, 1이면 겹치는 주제가 하나도 없다는 뜻이다. 따라서 숫자가 낮을수록 같은 자료를 반복해서 분석했을 때 결과가 일정하다.

어떤 AI를 골라야 결과가 덜 바뀔까?

이번 실험에서 주제 흔들림이 가장 낮았던 것은 클로드 페이블 5로 0.616이었다. GPT-5.6 솔은 0.706, 제미나이 3.1 프로 프리뷰는 0.877이었다. 다만 이 숫자는 실험에서 주제가 얼마나 달라졌는지를 보여 줄 뿐, 어느 AI가 고객의 진짜 불만을 더 정확하게 찾았는지는 알려 주지 않는다.

결과가 정해진 형식으로 나오는지도 확인해야 한다. 연구진은 질문별로 정상적인 답변이 10번 중 9번 미만인 AI를 순위 비교에서 제외했다. 큐원 3.7 플러스는 30번의 질문 가운데 정상 형식으로 답한 경우가 14번에 그쳤다.

AI를 고를 때는 이름이나 한 번의 답변만 볼 것이 아니다. 같은 자료를 여러 번 분석해 주제와 건수가 얼마나 일치하는지, 답변 형식을 제대로 지키는지 함께 살펴야 한다.

후기가 많아지면 분석도 더 정확해질까?

후기가 많으면 고객의 다양한 의견을 확인할 수 있다. 하지만 AI가 모든 의견을 한꺼번에 분석할 때 결과가 반드시 안정되는 것은 아니다. 연구진이 가장 안정적이었던 페이블 5로 비교하자, 주제 흔들림은 의견 100건에서 0.552, 1,000건에서 0.623, 5,000건에서 0.726으로 커졌다.

5,000건을 분석할 때는 한 번의 실행에 약 74만 4,000토큰이 들어갔다. 15번 실행 가운데 정상적인 답변은 9번뿐이었다. 자료가 커질수록 분석 비용도 달라질 수 있고, 답변 형식이 무너질 가능성도 살펴야 한다.

후기 수백 건을 모아 둔 동네 가게에서도 AI 결과를 확인하는 절차가 필요하다. 다만 이 실험은 한 기업의 여러 언어 고객 지원 의견을 대상으로 했다. 한국어로 작성된 동네 가게 후기에서도 같은 정도로 흔들린다고 단정할 수는 없다.

후기를 여러 묶음으로 나누면 나아질까?

후기를 나눠 분석한 뒤 결과를 합치면 더 안정적일 것이라고 생각할 수 있다. 하지만 연구진이 의견 1,000건을 대상으로 비교한 결과는 달랐다. 클로드 오퍼스 4.8로 후기를 한 번에 분석한 방식의 주제 흔들림은 0.765였고, 100건씩 10묶음으로 나눠 분석한 방식은 0.841이었다.

가장 안정적인 결과를 낸 방식은 주제 분류표를 미리 정해 두는 것이었다. 분류표를 고정하자 주제 흔들림은 0.104로 줄었고, 두 번 모두 나온 주제의 건수 불일치는 0이었다. 분류표 없이 한 번에 분석하는 방식보다 흔들림이 86.4% 줄었다.

분류표에는 가게에서 실제로 확인하고 싶은 항목을 넣으면 된다. 예를 들어 맛, 양, 친절, 대기, 가격, 주차처럼 주제를 먼저 정하고, AI가 새로운 주제를 임의로 만들지 않고 정해진 항목 안에서 분류하도록 요청하는 방식이다.

결과가 매번 같으면 믿어도 될까?

여기서 주의할 점이 있다. AI가 같은 결과를 반복해서 내놓는 것과 그 결과가 정확한 것은 서로 다른 문제다. 잘못된 분류표를 사용하면 틀린 결과를 일관되게 반복할 수도 있다.

분류표를 고정해도 대표 사례로 뽑히는 고객 의견은 실행마다 달라졌다. 연구진이 측정한 대표 의견의 흔들림은 분류표 고정 방식에서 0.461, 일반 생성 방식에서 0.448이었다. 따라서 AI가 근거로 제시한 후기는 반드시 원문을 열어 확인해야 한다.

이번 연구에는 한계도 있다. 한 기업의 고객 지원 자료만 분석했고, 분류표를 고정하는 시스템을 비교 대상으로 포함했다. 연구진의 소속 회사는 공개되지 않았으며, 분류표를 처음 만드는 데 드는 비용도 비교에 포함되지 않았다. 분류표를 새로 만들면 그 과정에서 주제가 달라질 가능성도 남아 있다.

우리 가게는 어떻게 활용해야 할까?

고객 불만을 분석하는 목적은 AI의 답을 얻는 데 있지 않다. 실제로 무엇을 개선해야 하는지 판단하는 데 있다. 따라서 AI가 뽑은 상위 세 가지를 곧바로 메뉴 변경이나 서비스 개편의 근거로 삼기보다, 같은 기준으로 분류한 결과가 반복해서 나타나는지부터 확인해야 한다.

먼저 후기마다 주제를 붙일 기준을 정한다. 다음으로 같은 후기를 두 번 분석해 주제와 순위가 일치하는지 확인한다. 건수는 AI가 요약한 숫자를 그대로 사용하지 말고, 각 후기에 붙인 주제를 직접 세어 확인하는 편이 안전하다.

AI가 제시한 대표 후기도 원문과 대조해야 한다. 실제 고객의 의견이 분류표와 맞지 않으면 기준을 수정하되, 기준을 바꾼 뒤에는 이전 결과와 새 결과를 구분해 살펴야 한다. AI 분석은 개선할 문제를 찾는 출발점으로 쓰고, 실제 변경 여부는 원문과 확인된 건수를 바탕으로 판단하는 것이 좋다.

같이 읽을 글

• 후기는 어디에 있어야 AI가 읽을까?
• 홈페이지 FAQ는 사장님 생각대로 채워도 될까?
• 같은 질문인데 왜 챗GPT 답이 달라지나?
• 이벤트로 후기를 많이 받으면 가짜 후기로 잡힐까?

자료 출처

• Same Feedback, Different Answer: Measuring Run-to-Run Instability in Frontier-Model Customer Feedback Analysis(바갈 외 3인·소속 미기재·arXiv 2610.08036·2026년 10월 6일 제출, AI 8종·고객 의견 100~5,000건·답 210개 통제 실험)
• 같은 논문 HTML 본문(표 1~3, 5~7장)
• Non-Determinism of Deterministic LLM System Settings in Hosted Environments(아틸 외·ACL Eval4NLP 2025, AI 5종·과제 8개·10회 반복)
• Increase output consistency(앤트로픽 클로드 개발자 문서, 형식 지정·예시·자료 근거로 답 일관성 높이기)
• 리뷰부터 광고까지...플랫폼 업계, AI로 중소상공인 지원사격(테크M·2025년 12월 22일, 네이버 리뷰 관리 솔루션·배민 AI 리뷰 분석 기능)

이번 달에 잰 기록, 얼마나 오래 믿어도 될까?

폴란드 브로츠와프의 AI 노출 측정 회사 랭크포AI★ 창업자는 2026년 9월 22~23일 제미나이(gemini-3.1-pro-preview)에 같은 요청 162개를 세 번 보냈다. 그리고 20.3일 뒤인 10월 13일, 같은 요청을 다시 보냈다. 앞선 기록으로 예측한 브랜드 언급 결과의 브라이어 점수는 0.0281이었다. 8시간 뒤 시험의 0.0259와 거의 같았다.

브라이어 점수는 예측과 실제 결과의 차이를 제곱해 평균 낸 값이다. 0에 가까울수록 정확하다. 이번 실험에서는 시간이 약 3주 흘러도 질문별 브랜드 언급 기록의 예측력이 크게 떨어지지 않았다.

어떤 질문을 어떻게 측정했을까?

실험은 온라인 쇼핑몰 솔루션, 프로젝트 관리 프로그램, 영업 고객관리(CRM) 세 분야를 대상으로 했다. 구매 조건과 언어, 시장을 나눠 총 54개 질문을 만들고, 질문마다 후보 브랜드 네 곳을 정했다. 질문에는 브랜드 이름을 넣지 않고 최대 다섯 개 제품을 추천해 달라고 요청했다.

답변에 후보 브랜드 이름이 나오면 1, 나오지 않으면 0으로 기록했다. 좋지 않은 평가와 함께 이름이 나와도 언급으로 셌다. 이렇게 질문과 브랜드를 조합한 216개 칸을 추적했다.

연구자는 첫 요청을 보내기 전에 실험 계획과 합격 기준을 공개 등록소(OSF)에 올렸다. 결과를 확인한 뒤 기준을 바꾸지 못하게 하기 위해서다. 이처럼 측정 방법을 먼저 정해 두면 기록을 해석할 때 기준이 흔들리는 일을 줄일 수 있다.

우리 가게 이름이 몇 번 나왔는지만 보면 될까?

그렇지 않다. 이번 실험에서 질문별 과거 기록을 사용한 예측의 브라이어 점수는 0.0281이었다. 반면 질문을 구분하지 않고 브랜드 전체 평균으로 예측하면 0.104로 나빠졌다. 약 3.7배 큰 오차다.

같은 브랜드라도 어떤 질문을 하느냐에 따라 답변에 등장하는 정도가 달랐다는 뜻이다. 따라서 우리 가게 이름이 전체 답변에서 몇 번 나왔는지만 세기보다, 어떤 질문에서 나왔는지를 따로 기록해야 한다.

예를 들어 우리 업종을 묻는 질문과 특정 서비스나 가격 조건을 붙인 질문은 구분해서 살펴볼 필요가 있다. 측정의 핵심은 단순히 이름이 등장한 횟수가 아니라, 고객이 실제로 할 법한 질문마다 우리 가게가 얼마나 꾸준히 등장하는지 확인하는 데 있다.

같은 날 여러 번 물어보는 것만으로 충분할까?

이번 실험에서는 최근 회차의 답변 세 번만으로 예측해도 브라이어 점수가 0.0292였다. 아홉 번의 답변을 모아 예측한 0.0281과 큰 차이가 없었다. 기록을 쌓는 데 반드시 많은 횟수가 필요한 것은 아니라는 점을 보여준다.

반면 본시험 당일에 답변 두 번을 받아 세 번째 답을 예측한 점수는 0.0440이었다. 같은 날 두 번 물어본 기록보다 20일 전에 모은 아홉 번의 기록이 더 정확했다. 한두 번의 답변만 보고 결론을 내리기보다, 같은 질문을 반복해 얻은 비율을 살펴보는 편이 낫다는 뜻이다.

시간이 지나면 AI 답변은 달라지지 않을까?

이번 실험에서는 처음 한 번의 답변만으로 만든 예측을 고정하고, 시간이 지난 뒤에도 정확도가 유지되는지 확인했다. 1.5시간 뒤 점수는 0.0599, 9.6시간 뒤는 0.0587, 20.7일 뒤는 0.0604였다. 시간이 흐르면서 예측 오차가 한 방향으로 커지는 모습은 나타나지 않았다.

다만 모든 질문이 똑같이 안정적이었던 것은 아니다. 세 번 모두 이름이 나오거나 한 번도 나오지 않은 202개 칸 가운데 194개는 20일 뒤에도 상태가 그대로였다. 반면 결과가 섞여 있던 14개 칸에서는 여섯 개가 달라졌다.

즉, 꾸준히 등장하는 질문과 거의 등장하지 않는 질문은 상대적으로 안정적이었지만, 가끔 등장하는 질문은 더 주의해서 살펴볼 필요가 있다. 우리 가게가 어떤 질문에서는 꾸준히 나오고 다른 질문에서는 들쭉날쭉하다면, 그 차이를 구분해 기록하는 것이 중요하다.

동네 가게도 한 달에 한 번만 재면 될까?

이번 실험 결과만 보면 같은 모델 버전에서 질문별 기록을 매주 다시 측정해야 할 근거는 충분하지 않다. 최근 회차의 답변 세 번만 사용한 예측도 아홉 번을 모은 예측과 비슷했으므로, 한 달에 한 번 같은 질문을 세 차례씩 확인하는 방법부터 시작할 수 있다.

하지만 동네 가게의 상황은 이번 실험과 다를 수 있다. 실험에 사용한 162개 답변에서는 검색이 한 번도 일어나지 않았다. 반면 동네 가게를 추천하는 질문은 검색을 통해 정보를 가져올 수 있으며, 검색 결과에 있는 글이나 정보가 바뀌면 답변도 달라질 수 있다. 이는 이번 실험에서 직접 확인한 결과가 아니라, 동네 가게에 적용할 때 고려해야 할 가능성이다.

모델 버전도 중요하다. 이번 연구는 제미나이 한 가지 모델만 살펴봤다. 구글은 미리보기 모델이 최소 2주 전 알림 뒤 종료될 수 있다고 안내한다. 모델이 바뀌면 이전 기록을 그대로 비교하기보다 새 버전에서 다시 측정하는 편이 안전하다. 챗GPT나 네이버의 결과가 이번 실험과 같다고 볼 수도 없다.

다음 달 계획을 위해 무엇을 기록할까?

먼저 고객이 실제로 할 법한 업종 질문을 정하고, 매달 같은 질문을 세 번씩 물어본다. 날짜와 AI 이름, 모델 버전을 함께 적는다. 답변에 우리 가게 이름이 나왔는지만 기록하지 말고, 출처 링크가 붙었는지와 검색을 사용했는지도 구분한다.

그다음 질문별로 결과를 나눈다. 매번 이름이 나오는 질문, 한 번도 나오지 않는 질문, 가끔 나오는 질문을 따로 살펴보면 기록의 의미가 분명해진다. 전체 평균 하나로 모든 질문의 노출을 짐작하지 않는 것도 중요하다.

이번 연구가 알려주는 것은 AI 답변이 언제나 고정돼 있다는 사실이 아니다. 같은 모델이 검색 없이 답하는 조건에서는 여러 번 모은 질문별 기록이 약 3주 뒤에도 유효했다는 사실이다. 동네 가게는 이 결과를 측정 주기의 출발점으로 삼되, 모델이나 검색 조건이 바뀌면 다시 확인해야 한다.

같이 읽을 글

• 챗GPT에 한 번 물어보고 가게가 없다고 해도 될까?
• AI 노출은 매달 무엇을 보면 되나?
• AI 노출 점수 40%, 믿어도 될까?
• 우리 가게가 AI에 나오는지 확인하려면 한 달에 얼마가 들까?

자료 출처

• Twenty Days Later: A Pre-Registered Test of History-Based Forecasts of Brand Mentions in Gemini Answers(랭크포AI★·arXiv 2610.19608·2026년 10월 14일 제출, 제미나이 요청 162개×4회·회차당 판정 648개)
• 같은 논문 HTML 본문(표 1~5, 4장 결과·7장 한계)
• Gemini API Models — Model version name patterns(구글 AI 개발자 문서, 안정·미리보기·최신 버전 규칙)
• Gemini deprecations(구글 AI 개발자 문서, 모델별 출시일·종료일·대체 모델)
• Grounding with Google Search(구글 AI 개발자 문서, 모델이 검색 여부를 스스로 정하는 방식)
• Verification of Forecasts Expressed in Terms of Probability(브라이어·미국기상학회 Monthly Weather Review·1950년, 브라이어 점수 원전)

우리 홈페이지 글도 AI 답에 나올까?

그렇다. 회사나 가게가 직접 운영하는 홈페이지 글도 AI 답의 출처가 될 수 있다. 신문과 방송이 가장 많이 인용되더라도 직접 운영하는 사이트의 글이 차지하는 비중도 작지 않다.

다만 이 숫자를 모든 업종에 그대로 적용해서는 안 된다. 연구 대상은 미국 대선과 일본 중의원 선거에 관한 질문이었다. 동네 가게를 찾는 질문이나 한국어 질문, 네이버에서 같은 결과가 나오는지는 조사하지 않았다.

또한 AI가 홈페이지를 인용한다고 해서 고객에게 반드시 유리한 답을 내놓는 것은 아니다. 연구에서는 언급 여부와 답변에서 차지하는 비중을 측정했다. 언급 내용이 긍정적인지, 실제 정보와 일치하는지는 별도로 살펴야 한다.

신문 기사만 잘 쓰면 되는 것 아닐까?

신문·방송은 일본 선거 질문에서 가장 큰 인용 비중을 보였다. 하지만 후보와 정당이 직접 운영하는 사이트도 상당한 비중을 차지했다. 홈페이지를 직접 관리하는 사람에게도 기회가 있다는 뜻이다.

연구진은 출처를 운영 주체에 따라 네 종류로 나눴다. 후보·정당의 홈페이지처럼 직접 운영하는 사이트, 레딧과 일본의 note.com처럼 누구나 글을 올리는 열린 플랫폼, 신문·방송, 정부 기관 같은 독립 기관이다. 어느 사이트에 글이 실렸는지가 출처를 분류하는 기준이었다.

동네 사장님에게 중요한 점은 우리 홈페이지를 직접 고칠 수 있다는 사실이다. 다른 곳에 소개되기를 기다리는 것과 달리, 홈페이지에 있는 가격과 이용 방법, 서비스 설명은 직접 확인하고 수정할 수 있다.

그렇다고 홈페이지 글만 관리하면 충분하다는 뜻은 아니다. 연구에서는 열린 플랫폼의 인용 비중도 최대 22.2%였다. 다른 사이트에 우리 가게가 어떻게 소개되는지도 함께 살펴볼 필요가 있다.

홈페이지 글은 어떻게 고쳐야 할까?

연구진은 기존 페이지 하나를 여러 방식으로 고쳐 AI 답이 달라지는지 시험했다. 결과는 분명했다. 단락과 순서를 정리하는 구조 정리형은 9개 설정 모두에서 노출을 늘렸다. 말투를 바꾸는 방식은 9개 중 2개에서만 효과가 있었다.

구조 정리는 어려운 작업이 아니다. 글의 주제를 분명히 하고, 중요한 내용을 앞에 배치하고, 단락을 나누고, 같은 설명을 반복하지 않는 방식이다. 고객이 홈페이지를 읽을 때도 필요한 정보를 찾기 쉬워진다.

연구에서는 글을 정리하는 방법 가운데 내용 정리가 평균 2.61위로 가장 높은 순위를 기록했다. 다른 선택지와의 차이를 강조하는 방식도 평균 2.67위였다. 반면 전문 용어로 바꾸는 방식은 평균 9.28위였다.

따라서 처음부터 어려운 표현을 넣거나 전문적으로 보이도록 문장을 바꿀 필요는 없다. 어떤 가게인지, 어떤 서비스를 제공하는지, 고객이 알아야 할 조건은 무엇인지부터 분명하게 적는 편이 낫다.

가격과 이용 방법은 자주 바꿔야 할까?

잘 바뀌지 않는 정보는 한 주소에서 꾸준히 관리하는 것이 좋다. 연구에서는 일본의 사회보험·원자력·소비세처럼 오래 논의된 주제에서 7일 내내 인용된 주소의 비율이 7.8~8.8%였다. 사건에 따라 관심이 달라지는 주제에서는 2.7~4.1%였다.

이 결과는 안정적인 정보와 시시각각 달라지는 정보를 다르게 관리할 필요가 있음을 보여준다. 가게의 가격이나 이용 방법처럼 오래 참고할 정보는 기존 페이지에서 정확하게 유지하는 편이 좋다. 행사나 새로운 소식은 별도 글로 알리고, 일정이 끝나면 내용을 정리해야 한다.

다만 이 연구는 실제 가게 홈페이지에서 이런 관리 방식이 얼마나 효과적인지 직접 시험하지 않았다. 오래된 주제에서 같은 주소가 더 자주 유지됐다는 결과를 바탕으로 세운 실무적인 판단이다. 오래된 가격이나 종료된 행사 정보가 AI 답에 남을 가능성도 염두에 둬야 한다.

글을 고칠 때 무엇을 먼저 확인해야 할까?

먼저 페이지마다 누구에 관한 글인지, 무엇을 설명하는지 분명히 해야 한다. 연구에서 고쳐 쓸 대상을 정하지 않았을 때는 36개 설정 중 1개에서만 노출이 늘었고, 4개에서는 오히려 줄었다. 대상을 정한 경우에는 24개 설정에서 노출이 늘었다.

이 결과는 글을 무작정 고치는 것보다 목적을 분명히 하는 것이 중요하다는 점을 보여준다. 가게 소개 글이라면 가게의 이름과 제공하는 서비스를 명확히 밝히고, 가격 안내 글이라면 가격과 적용 조건을 정확히 설명하는 식이다.

통계나 인용을 추가할 때도 주의해야 한다. 근거를 보강하는 방식은 노출을 늘리는 데 도움이 될 수 있지만, 원문에 없던 내용을 새로 넣을 위험도 있다. 실제로 확인할 수 있는 사실과 출처가 있는 정보만 사용해야 한다.

연구 결과를 어디까지 믿어야 할까?

가장 중요한 한계는 실제 인터넷 환경에서 효과를 측정하지 않았다는 점이다. 연구진은 검색을 끄고 페이지 묶음을 고정한 상태에서 글을 고쳐 시험했다. 실제로 홈페이지를 수정한 뒤 검색 결과에 나타나는지, AI가 출처로 인용하는지는 확인하지 않았다.

노출이 늘었다고 해서 내용이 정확하거나 고객에게 도움이 된다는 뜻도 아니다. 연구진은 사실의 정확성을 체계적으로 검증하지 않았다고 밝혔다. 일본 자료는 7일 동안 수집됐으며, 한국어 질문과 네이버도 조사 대상이 아니었다.

실제 결과의 크기도 과장해서는 안 된다. 미국에서 구조 정리형으로 늘어난 대상 정당의 몫은 1.54%포인트였다. 질문 방식이나 AI 모델에 따라 결과가 달라졌으며, 글을 고치는 것만으로 큰 변화를 보장할 수는 없다.

결국 홈페이지를 관리할 때는 AI에 잘 보이게 만드는 요령보다 고객에게 필요한 정보를 정확하고 찾기 쉽게 제공하는 일을 먼저 해야 한다. 핵심 내용을 앞에 두고, 단락과 순서를 정리하고, 사실이 바뀌면 기존 페이지를 수정하는 것이 출발점이다.

같이 읽을 글

• 블로그에 우리 가게를 소개하면 AI 답에 나올까?
• AI가 홈페이지 글을 다 고쳐 주면 사람은 안 써도 될까?
• 모두가 AI 순위에 맞춰 글을 고치면, 순위 높은 글이 좋은 글일까?
• 우리 가게를 물었는데 왜 홈페이지가 안 나올까?

자료 출처

• VoteGEO-Bench: Measuring the Impact of Generative Engine Optimization on Electoral Visibility(싱가포르국립대·arXiv 2610.21330·2026년 10월 제출, 질문 묶음 2만 8,200개·페이지 1만 7,251개)
• 같은 논문 HTML 본문(표 1~5, 4·6장, 부록 A·한계 절)
• Large-Scale, Longitudinal Study of Large Language Models During the 2024 US Election Season(스탠퍼드대·MIT·arXiv 2509.18446·2025년 9월, 2024년 7~11월 AI 12종에 질문 1만 2,000여 개를 거의 매일 넣은 자료)
• GEO: Generative Engine Optimization(프린스턴대 등·arXiv 2311.09735·2023년 11월, 글 고쳐 쓰기로 노출 최대 40% 증가)
• C-SEO Bench: Does Conversational SEO Work?(파라미터 랩·튀빙겐대·네이버 AI 랩 등·arXiv 2506.11097·2025년 6월, 대화형 검색용 글 고치기 대부분 효과 없거나 역효과)
• Generative Engine Optimization: How to Dominate AI Search(토론토대·arXiv 2509.08919·2025년 9월, AI 검색의 제3자 글 쏠림)

왜 지난달에 나온 가게가 이번 달에는 안 나올까?

챗GPT는 질문을 받으면 관련 정보를 검색하고, 답변에 사용할 출처를 고른다. 이 과정은 어떤 모델과 답변 방식을 사용하느냐에 따라 달라진다. 모델이 바뀌면 검색어를 만드는 방식과 검색 횟수, 출처를 선택하는 방식도 달라질 수 있다.

중국 시안교통대와 싱가포르국립대 연구진은 2026년 3월 29일부터 7월 29일까지 챗GPT 웹의 여러 설정을 조사했다. 같은 질문을 반복해 검색 과정과 인용 결과를 비교했다.

조사에는 챗GPT 5.2 즉답, 5.3 즉답, 5.4 생각, 5.5 즉답이 포함됐다. 설정별로 수집한 실행 기록은 491~1,600건이었다. 조사 도중 일부 모델이 서비스에서 내려가면서 설정마다 질문 수와 반복 횟수도 달라졌다.

모델이 바뀌면 검색 방식도 달라질까?

실제로 차이가 컸다. 챗GPT 5.5 즉답은 답변 하나를 만들 때 평균 1.45개의 검색어를 사용했지만, 5.4 생각은 11.82개를 사용했다. 검색 횟수도 즉답은 평균 1.04~1.18번이었고, 생각은 3.20번이었다.

즉답은 검색을 적게 하고 답을 만드는 경우가 많다. 생각 모드는 검색 결과를 확인한 뒤 추가 검색을 이어가는 경우가 많다. 같은 질문이라도 우리 가게의 홈페이지가 검색 후보에 포함될 기회가 달라지는 이유다.

검색어가 고객의 질문과 똑같지도 않았다. 고객 문장을 그대로 검색한 비율은 5.2 즉답에서 5.5%였고, 나머지 설정에서는 한 번도 없었다. 챗GPT가 질문을 다른 검색어로 바꾸기 때문에 홈페이지에 고객이 입력한 표현만 있다고 해서 충분하지 않을 수 있다.

같은 질문을 20번 하면 결과도 같을까?

그렇지 않다. 챗GPT 5.3 즉답에 같은 질문을 20번 했을 때 한 번만 등장한 후보 주소는 40.8%였다. 5.5 즉답에서는 44.5%였다. 같은 질문을 반복해도 후보 주소의 상당수가 한 번만 나타난 셈이다.

이때 주소와 사이트를 구분해야 한다. 홈페이지의 특정 페이지 주소는 달라져도 같은 사이트나 가게 이름이 반복해서 등장할 수 있다. 실제로 두 실행에서 겹치는 정도는 주소 단위보다 사이트와 개체 단위에서 더 높았다.

따라서 동네 가게는 특정 페이지가 한 번 인용됐는지만 확인해서는 안 된다. 우리 가게 이름이나 홈페이지가 여러 번 등장하는지도 함께 기록해야 한다. 주소 하나의 노출 여부만 보면 실제 변화보다 결과가 더 크게 흔들려 보일 수 있다.

구글에서 잘 나오면 챗GPT에서도 잘 나올까?

구글 검색 순위만으로 챗GPT의 인용 여부를 판단하기는 어렵다. 연구진은 구글 검색 결과와 오픈AI의 개발자용 검색 기능을 각각 활용해 챗GPT 웹의 인용 출처를 다시 찾을 수 있는지 비교했다.

구글 검색 결과만으로 다시 찾은 인용 주소의 비율은 챗GPT 5.3 즉답에서 9.4%, 5.5 즉답에서 6.4%였다. 구글과 개발자용 검색 결과를 합쳐도 다시 찾은 인용 주소는 각각 28.3%, 26.2%에 그쳤다.

즉, 구글에서 홈페이지가 잘 보인다는 사실만으로 챗GPT에서도 인용된다고 볼 수 없다. 반대로 구글 검색 결과에서 잘 보이지 않는다고 해서 챗GPT가 절대 인용하지 않는다는 뜻도 아니다. 두 검색 환경은 결과를 고르는 방식이 다르므로 따로 측정해야 한다.

우리 가게의 AI 노출은 얼마나 자주 재야 할까?

모든 가게에 적용할 수 있는 정해진 측정 주기가 연구에서 확인된 것은 아니다. 다만 모델이 바뀌거나 서비스 환경이 달라진 시점에는 기존 질문을 다시 측정하는 것이 합리적이다. 평소에도 같은 질문을 여러 번 반복해 결과를 기록해야 일시적인 노출과 반복되는 노출을 구분할 수 있다.

측정할 때는 질문 문구와 모델 설정을 함께 기록한다. 같은 질문을 20번 안팎으로 반복하고, 가게 이름과 사이트가 등장한 횟수를 센다. 가능하면 어떤 페이지가 인용됐는지도 별도로 적는다. 그래야 가게 이름은 계속 등장하지만 인용 페이지가 바뀐 경우와 가게 자체가 사라진 경우를 구분할 수 있다.

홈페이지를 정비할 때는 가게 이름과 대표 상품명을 정확하게 쓰는 것이 좋다. 한 문단만 읽어도 무엇을 제공하는 곳인지 알 수 있도록 서비스 조건과 구체적인 정보를 함께 적는다. 연구에서는 인용된 검색 요약 조각 가운데 500자 이상인 비율이 16.5~16.9%였고, 인용되지 않은 조각에서는 1.5~1.9%였다. 다만 이것만으로 글을 길게 쓰면 인용이 늘어난다고 단정할 수는 없다.

이 연구 결과를 우리 가게에 그대로 적용해도 될까?

주의할 점도 있다. 연구는 중국어와 영어로 된 질문 80개를 중심으로 진행됐으며, 한국어 질문이나 네이버 검색은 조사하지 않았다. 따라서 한국어로 운영하는 동네 가게 홈페이지에서도 같은 결과가 나타난다고 확정할 수는 없다.

또한 연구진은 글을 고쳤을 때 인용이 얼마나 늘어나는지 직접 시험하지 않았다. 검색 요약이 길거나 특정 주소가 자주 후보에 등장한다는 사실은 관찰 결과이지, 그 조건을 만들면 반드시 인용된다는 증거는 아니다.

중요한 것은 한 번의 결과로 홈페이지의 성패를 판단하지 않는 것이다. 측정할 때마다 모델과 답변 방식을 기록하고, 같은 질문을 반복해 가게 이름과 사이트의 노출 변화를 비교해야 한다. 그래야 모델이 바뀌어 결과가 달라진 것인지, 홈페이지의 노출이 실제로 달라진 것인지 조금 더 정확하게 판단할 수 있다.

같이 읽을 글

• 챗GPT는 고객이 친 말을 그대로 검색할까?
• 우리 회사 이름을 AI에게 한 번만 물어봐도 될까?
• AI 노출은 매달 무엇을 보면 되나?
• 챗GPT에 나오면 제미나이에도 같은 페이지가 나올까?

자료 출처

• Understanding ChatGPT Citations: Evidence from Production Web Search Across Model Generations(시안교통대·싱가포르국립대·arXiv 2610.15382·2026년 10월 제출, 챗GPT 웹 네 설정·실행 547~1,600건씩)
• 같은 논문 HTML 본문(표 1~7, 3·4·5·6장)
• Search Arena: Analyzing Search-Augmented LLMs(UC 버클리·arXiv 2506.05334·2025년 6월, 검색형 AI 대화 2만 4,000건 공개 자료)
• Web search(오픈AI 개발자 문서, 추론 모델은 검색을 여러 번 하며 계속할지 스스로 정함)
• AI features and your website(구글 검색 센터·2025년 12월 갱신, 질문을 여러 검색으로 나누는 방식 설명)
• Overview of OpenAI Crawlers(오픈AI 개발자 문서, 챗GPT 검색 노출용 OAI-SearchBot)

왜 우리 홈페이지의 다른 페이지는 인용되지 않을까?

챗GPT가 답을 만들 때는 먼저 검색으로 관련 페이지를 찾고, 그중 일부를 실제 답변에 인용한다. 검색 결과에 들어가는 것과 최종 답변에 인용되는 것은 서로 다른 단계다.

연구진은 2026년 6월 24일부터 9월 21일까지 90일 동안 미국의 두 상업 시장에서 답 15만 8,099개, 인용 46만 8,037건을 분석했다. 같은 사이트 안의 페이지끼리 비교해 보니 질문과 맞는 제목과 문단이 중요했고, FAQ나 구조화 데이터 같은 장치는 효과를 확인하지 못했다.

사이트마다 페이지 수와 콘텐츠 구성, 검색 노출이 다르다. FAQ를 많이 쓰는 사이트가 인용도 많이 받는다고 해서 FAQ 자체가 원인이라고 볼 수는 없다. 실제로 인용이 많은 상위 4분의 1 사이트는 페이지의 43%에 FAQ 블록이 있었지만, 하위 4분의 1은 23%였다.

FAQ와 구조화 데이터를 넣으면 달라질까?

FAQ와 구조화 데이터는 정보를 정리하는 데 도움이 된다. 하지만 이것만으로 챗GPT 인용이 늘어난다고 기대해서는 안 된다.

같은 사이트 안에서 비교한 결과는 더 분명했다. FAQ 블록은 사이트 사이 비교에서는 인용이 18.1% 많아 보였지만, 같은 사이트 안에서는 오히려 3.4% 적었다. 구조화 데이터도 사이트 사이에서는 7.5% 많았지만, 같은 사이트 안에서는 5.3% 적었다.

구글 검색 센터 역시 AI 기능에 노출되기 위해 특별한 구조화 데이터나 AI 전용 파일을 추가할 필요는 없다고 안내한다. 따라서 이미 FAQ를 사용하고 있다면 없앨 필요는 없지만, 인용을 늘리기 위한 첫 번째 작업으로 삼을 이유도 없다.

페이지 제목과 첫 문단은 어떻게 써야 할까?

고객이 실제로 궁금해하는 질문을 기준으로 페이지를 구성해야 한다. 제목에는 고객이 찾는 내용을 분명하게 담고, 첫 문단에서는 그 질문에 대한 답부터 제시하는 방식이다.

같은 사이트 안에서 질문과 가장 잘 맞는 문단은 인용을 15.5% 늘렸고, 질문과 맞는 제목은 14.1% 늘렸다. 반면 글 길이와 소제목 수는 일관된 효과를 보이지 않았다.

질문과 맞는 정도는 해당 페이지가 인용될지에도 영향을 줬다. 가정용 인터넷 회사 사이트의 페이지를 비교했을 때, 질문과 가장 잘 맞는 문단의 점수가 1표준편차 높으면 한 번이라도 인용될 가능성의 오즈가 11.9배였다. 다만 이는 인용 횟수가 11.9배 늘어난다는 뜻은 아니다.

AI마다 반응이 다르다는 점도 알아야 한다. 가장 잘 맞는 문단은 챗GPT와 제미나이, 퍼플렉시티 모두에서 효과가 나타났지만, 제목의 효과는 AI마다 달랐다. 제목과 첫 문단을 함께 질문에 맞추는 방법이 여러 AI에 대응하기에 적절하다.

홈페이지 페이지는 어떤 기준으로 나눠야 할까?

페이지를 나눌 때는 고객 질문을 기준으로 삼는 편이 좋다. 한 페이지에 여러 주제를 섞기보다 각 페이지가 답하는 질문을 명확하게 구분해야 한다.

예를 들어 고객이 업체의 서비스 내용과 가격, 이용 절차를 각각 궁금해한다면 각 질문에 직접 답하는 내용을 구성할 수 있다. 중요한 것은 페이지 수를 무조건 늘리는 일이 아니다. 각 페이지의 제목과 첫 답변 문단이 서로 다른 질문에 정확하게 대응하도록 만드는 일이다.

여러 업체를 한꺼번에 비교하거나 목록으로 나열한 페이지보다 우리 업체의 정보를 담은 원본 페이지가 유리할 가능성도 있다. 같은 검색 순위에서 비교 글의 인용 가능성 오즈는 0.34배, 목록형 글은 0.54배였다. 다만 이 결과는 특정 시장에서 관찰된 관계이므로 모든 업종에 그대로 적용된다고 단정할 수는 없다.

챗GPT는 어떤 페이지를 검색하고 인용할까?

연구진이 2026년 10월 7일까지 651개 질문을 API로 다시 보내 확인한 결과, 챗GPT가 인용한 페이지는 100.0% 자체 검색 결과 목록에 포함돼 있었다. 질문 하나당 평균 26개 페이지를 살펴보고 3개를 인용했다.

검색 목록에서 높은 순위에 있는 페이지일수록 인용 비율도 높았다. 목록 1위 페이지의 인용 비율은 43.8%였지만, 11~20위 페이지는 3.5%였다. 검색 결과에 포함되는 것만으로는 충분하지 않으며, 실제 답변에 필요한 정보를 제공해야 한다.

챗GPT가 검색할 때는 고객이 쓴 표현을 그대로 사용하지 않기도 한다. 연구에서 챗GPT는 질문 하나를 검색어 약 4개로 나눴고, 질문에 든 낱말 가운데 43%만 남겼다. 따라서 특정 단어를 반복해서 넣는 것보다 페이지가 질문의 의미에 정확히 답하도록 만드는 편이 중요하다.

또한 챗GPT가 가져온 페이지의 97%는 구글 검색 상위 50위 밖에 있었다. 같은 사이트 안에서도 구글과 챗GPT가 선택하는 페이지가 다를 수 있다는 뜻이다. 대표 페이지의 구글 순위만 확인하지 말고, 다른 페이지가 실제 질문에 답하는지도 살펴야 한다.

작은 업체는 다른 사이트에 이름이 실리는 것도 중요할까?

작은 업체는 챗GPT가 회사 이름을 미리 알고 있을 가능성이 낮다. 연구에서 업무용 소프트웨어 시장의 챗GPT는 검색어에 회사 이름을 넣는 비율이 3%에 그쳤다. 가정용 인터넷 시장의 큰 회사는 이 비율이 28%였다.

작은 업체 시장에서는 다른 사이트의 글에 회사 이름이 실리면 챗GPT 답에 이름이 나올 가능성의 오즈가 39.7배였다. 이 수치는 이름이 등장할 확률이 무조건 39.7배가 된다는 뜻은 아니지만, 작은 업체가 외부에서 정확하게 언급되는 일이 중요할 수 있음을 보여 준다.

지역 매체나 업종 단체의 글에 업체 이름과 실제 서비스 정보가 정확하게 실리도록 관리할 필요가 있다. 다만 외부 언급만으로 인용이 보장되는 것은 아니다. 홈페이지 자체에도 고객 질문에 답하는 페이지가 있어야 한다.

오늘 무엇부터 확인해야 할까?

먼저 홈페이지의 주요 페이지를 살펴보고, 각 페이지가 어떤 고객 질문에 답하는지 정리해야 한다. 제목과 첫 문단이 그 질문에 맞는지 확인하고, 여러 주제가 한 페이지에 섞여 있다면 내용을 구분하는 것이 우선이다.

그다음 검색 허용 설정을 확인해야 한다. 챗GPT 인용 페이지가 자체 검색 결과에서 나왔다는 연구 결과를 고려하면, robots.txt에서 OAI-SearchBot을 차단하고 있지 않은지 살펴볼 필요가 있다. FAQ와 구조화 데이터는 정보를 정리하는 용도로 활용하되, 인용을 늘리는 핵심 장치로 기대하지 않는 편이 좋다.

같은 질문을 2주마다 챗GPT에 입력해 어떤 페이지가 인용되는지 기록하는 방법도 있다. 연구에서는 2주 뒤에도 같은 사이트 안의 인용 차이 가운데 겹치는 몫이 40%였고, 10주 뒤에는 14%였다. 인용 결과는 시간이 지나면서 달라질 수 있으므로 한 번의 답변만으로 페이지의 성과를 판단하지 않아야 한다.

이 연구는 미국의 영어 상업 질문을 대상으로 했으며, 한국어 질문이나 네이버에서 같은 결과가 나타나는지는 확인하지 않았다. 따라서 한국의 동네 업체에 똑같은 수치가 적용된다고 단정할 수는 없다. 다만 고객 질문에 맞는 페이지를 만들고, 검색이 허용되도록 관리하며, 실제 인용 결과를 꾸준히 확인하는 일은 시작할 만한 작업이다.

같이 읽을 글

• AI가 홈페이지를 인용하게 하려면 무엇부터 고쳐야 할까?
• FAQ 코드 하나만 넣으면 AI가 3배 더 인용해 줄까
• 챗GPT는 고객이 친 말을 그대로 검색할까?
• 구글에서 1등 하면 AI 답에도 나올까?

자료 출처

• What Drives AI Citations? Content, Retrieval and Model Knowledge in Generative Engine Optimization (GEO)(토론토대·arXiv 2610.15033·2026년 10월 제출, 상업 질문 답 15만 8,099개·인용 46만 8,037건)
• 같은 논문 HTML 본문(표 1~5, 4·5·6·7장, 한계 절)
• Generative Engine Optimization: How to Dominate AI Search(토론토대·arXiv 2509.08919·2025년 9월, AI 검색과 구글의 출처 비교)
• AI features and your website(구글 검색 센터·2025년 12월 갱신, AI 기능용 특별한 구조화 데이터 불필요)
• Overview of OpenAI Crawlers(오픈AI 개발자 문서, OAI-SearchBot을 막으면 챗GPT 검색 답에 나오지 않음)
• Web search(오픈AI 개발자 문서, 검색으로 살핀 전체 주소 목록과 인용 주소의 차이)

AI에서 오는 방문은 표시가 남습니다

손님이 챗GPT 답에서 우리 주소를 눌러 들어오면, 「어디서 왔는지」가 기록됩니다. 챗GPT·퍼플렉시티·제미나이 주소가 찍힙니다.

기본 설정으로는 이게 「추천」이나 「기타」에 섞여 잘 안 보입니다. 따로 묶어 두셔야 합니다.

어떻게 묶나

방문 통계 도구에서 채널 그룹을 하나 만들면 됩니다. 조건은 이렇습니다.

• 유입 주소에 chatgpt, openai, perplexity, gemini, claude 같은 말이 들어간 경우
• 이걸 「AI 검색」이라는 이름으로 묶습니다

홈페이지를 만든 곳에 요청하시면 됩니다.

세어야 할 것

방문자 수만 보면 안 됩니다. 행동을 세십시오.

• 전화번호를 누른 횟수
• 상담 신청을 보낸 횟수
• 카톡·톡톡 버튼을 누른 횟수
• 지도·길찾기를 누른 횟수

이게 실제 손님에 가깝습니다.

한계가 있습니다

그래서 물어보셔야 합니다

가장 확실한 방법은 손님에게 직접 묻는 것입니다.

• 전화나 상담이 오면 「어디서 보고 오셨어요?」
• 답을 적어 두십시오

「챗GPT에서 봤어요」라는 답이 나오기 시작하면 그게 가장 정확한 신호입니다.

왜 빙인가

챗GPT가 빙 색인을 쓰기 때문입니다. 빙에서 우리가 어떻게 잡히는지 보면 챗GPT 쪽을 짐작할 수 있습니다.

무엇을 볼 수 있나

• AI 화면에 몇 번 노출됐는지
• 거기서 몇 번 눌렸는지
• 어떤 페이지가 나왔는지
• 일반 검색과 구분해서 볼 수 있습니다

등록이 먼저입니다

보고서를 보려면 빙 웹마스터에 홈페이지가 등록되어 있어야 합니다.

구글 서치콘솔에 이미 등록되어 있으면 「가져오기」 한 번으로 3분이면 끝납니다.

보는 법

• 노출은 느는데 클릭이 안 늘면 — 정상입니다. AI가 대신 답해 주기 때문입니다
• 특정 페이지만 노출된다면 — 그 페이지가 잘 쓰인 것입니다. 같은 방식으로 다른 글도 고치십시오
• 노출이 0이면 — 색인부터 확인하십시오

한계

구글 서치콘솔과 마찬가지로 어떤 질문에서 나왔는지는 안 보여 줍니다. 그래서 손으로 재는 작업이 여전히 필요합니다.

그리고 빙 안에서의 AI를 보여 주는 것이라, 챗GPT에서의 실제 인용과 완전히 같지는 않습니다. 참고 지표로 보시면 됩니다.

덤으로 얻는 것

• 색인 요청 — 구글보다 반영이 빠른 편입니다
• 인덱스나우 — 붙여 두면 글 올릴 때마다 자동 통보됩니다
• 사이트 검사 — 문제가 있으면 알려 줍니다

무료이고 등록에 3분이면 됩니다. 안 할 이유가 없습니다.

어디서 보나

서치콘솔에 들어가 실적 화면을 엽니다. 검색 유형에서 생성형 AI 관련 항목을 고르면 됩니다.

이전에는 AI 개요 노출이 일반 검색 노출에 섞여 있어 구분이 안 됐습니다. 이제 따로 볼 수 있습니다.

무엇을 알 수 있나

• AI 화면에 몇 번 노출됐는지
• 거기서 몇 번 눌렸는지
• 어떤 페이지가 나왔는지

알 수 없는 것

여기가 중요합니다. 기대를 낮추셔야 합니다.

• 어떤 질문에서 나왔는지 — 안 보여 줍니다
• 어떤 문장이 인용됐는지 — 안 보여 줍니다
• 답에서 몇 번째였는지 — 안 보여 줍니다

다른 곳은

• 빙 웹마스터 — AI 성과 보고서가 있습니다. 챗GPT 쪽을 봅니다
• 네이버 — AI 브리핑 인용을 보여 주는 도구가 없습니다. 손으로 확인해야 합니다

클릭이 줄어도 놀라지 마십시오

AI 노출은 느는데 클릭은 안 늘 수 있습니다. AI가 대신 답해 주기 때문입니다.

그래서 방문자 수만 보면 「효과가 없다」고 오해하기 쉽습니다. 노출 수와 전화·상담 건수를 함께 보셔야 합니다.

들어가야 할 것

• 질문별 결과표 — 정해 둔 질문 스무 개에서 우리가 몇 번 나왔나
• 지난달과 비교 — 늘었나 줄었나
• 경쟁사 — 같은 질문에서 어떤 곳이 나오나
• 이번 달에 한 일 — 글 몇 편, 무엇을 고쳤나
• 검색엔진 지표 — 색인된 페이지 수, 노출 수
• 다음 달 계획

질문별 결과표가 핵심입니다

이렇게 적습니다.

• 질문 / 어느 AI / 우리가 나왔나 / 출처에 우리 주소가 붙었나 / 함께 나온 곳

스무 개 질문 × 네 곳이면 여든 칸입니다. 「여든 칸 중 몇 칸에서 나왔나」가 그달 성적입니다.

네 단계로 매기면 보기 쉽습니다

• 0 — 안 나옴
• 1 — 답에 이름만 나옴
• 2 — 출처로 우리 주소가 붙음
• 3 — 첫 번째로 소개됨

점수를 합치면 한 숫자로 비교할 수 있습니다.

증거를 남기십시오

화면을 캡처해 두십시오. 나중에 「정말 나왔었나」를 확인할 수 있고, 광고에 쓰려면 근거가 필요합니다.

표시광고법상 광고 주장은 광고주가 실증해야 합니다. 캡처가 그 근거입니다.

안 좋아진 달도 적으십시오

사장님이 직접 하셔도 됩니다

어려운 일이 아닙니다. 질문 스무 개를 매달 같은 조건으로 물어 표에 적는 것이 전부입니다. 한 시간이면 됩니다.

대행사에 맡기시더라도, 이 표를 받으셔야 무엇을 사고 있는지 알 수 있습니다.

800명을 대상으로 한 협상 준비 실험에서는 AI를 쓴 사람이 자료만 읽은 사람보다 준비 범위가 3.65점 넓었다. 특히 무엇을 먼저 볼지 정한 순서표가 있으면 자유롭게 채팅하는 방식보다 준비 범위가 2.36점 더 넓었다.

그냥 자료를 붙여 넣으면 왜 놓치는 게 생길까?

거래처 자료, 견적서, 계약 조건을 챗GPT에 넣고 「검토해 줘」라고 물으면 빠르게 정리된 답을 받을 수 있다. 하지만 필요한 질문을 스스로 만들지 않으면 중요한 부분을 지나칠 수 있다.

하버드대 연구진은 AI를 활용한 협상 준비 방식을 비교했다. 참가자는 일반 성인이었고, 협상 전문가만 따로 모은 실험은 아니었다.

참가자는 가상의 구호단체 직원이 되어 난민촌 출입을 관리하는 현지 지휘관과 식량 배급 조건을 협상하는 상황을 준비했다. 역할 카드, 업무 연락, 회의록, 후원자 문답 등 15개 문서, 총 6,977단어 자료를 읽고 15분 동안 준비했다.

준비가 끝난 뒤에는 자료를 보지 않고 질문 10개에 답했다. 우리 쪽 목표와 양보할 수 없는 선, 상대의 목표와 선, 공통점과 갈등, 제안과 위험 요소를 얼마나 찾아냈는지를 평가했다.

AI를 쓰면 모두 같은 효과가 있었나?

결과는 AI를 썼다는 사실보다 AI를 어떻게 사용했는지가 중요했다.

AI 없이 자료만 읽은 그룹의 평균 준비 범위는 26.54점이었다. 자유롭게 AI 채팅을 한 그룹은 28.82점, AI가 미리 분석한 내용을 받은 그룹은 29.82점, 빈 순서표를 채우며 진행한 그룹은 33.01점이었다.

연구진은 순서표가 눈앞에 있으면 무엇을 확인해야 하는지 분명해진다고 봤다. 다만 순서표가 있다고 모든 부분이 좋아진 것은 아니었다.

특히 제안 묶음이 어떤 위험을 가지는지 찾는 능력은 네 그룹 모두 차이가 없었다. 정해진 순서 안에 없는 문제는 따로 물어봐야 한다는 뜻이다.

챗GPT에는 어떤 순서로 물어야 하나?

사장님이 거래처와 협상할 때는 질문 순서를 먼저 정하는 것이 좋다.

예를 들어 단가 협상이라면 먼저 우리 목표와 절대 양보하지 않을 조건을 정리한다. 그다음 상대가 원하는 것과 그 이유를 살펴본다.

이후 서로 맞는 부분과 충돌하는 부분을 나누고, 가격·납기·결제 조건을 묶은 제안을 만든다. 마지막으로 그 제안의 위험과 상대에게 확인할 질문을 따로 점검한다.

이렇게 칸을 만들어 하나씩 채우면 챗GPT가 자료를 요약하는 데서 끝나지 않고, 협상 준비 과정에 맞춰 질문을 이어 갈 수 있다.

자유 채팅과 순서 있는 질문은 무엇이 달랐나?

연구진은 참가자가 AI에 보낸 2,992개 메시지를 분석했다. 자유 채팅 그룹은 자료를 쉽게 설명해 달라는 요청이 많았다.

채팅 그룹에서 AI에게 물어본 사람 중 79.3%가 자료 풀이를 부탁했다. 반면 상대 입장 분석을 물은 사람은 22.5%였다.

순서표를 보며 진행한 그룹은 달랐다. 상대 분석을 물은 사람이 58.3%였고, 우리 쪽 분석·상대 분석·비교·전략 등 분석 질문 네 종류를 모두 한 사람도 27.3%였다.

자료를 붙여 넣고 설명만 듣는 방식보다, 다음에 무엇을 확인할지 정해 놓고 질문하는 방식이 더 다양한 분석으로 이어졌다.

경험이 많은 사장님이면 AI도 더 잘 쓸까?

실험에서는 꼭 그렇지는 않았다.

AI 없이 읽기만 한 그룹에서는 협상 경험이 한 단계 많을수록 준비 범위가 2.62점 높았다. 하지만 AI를 쓴 세 그룹에서는 경험과 점수 사이에 뚜렷한 관계가 보이지 않았다.

일을 잘 아는 것과 AI에게 일을 잘 나누어 맡기는 것은 다른 능력이라는 의미다. 거래처 경험이 많은 사장님도 AI에 어떤 순서로 물을지 정하는 연습이 필요하다.

다른 연구에서도 AI 활용 효과는 업무 방식에 따라 달랐다. 고객 상담원 5,179명을 대상으로 한 연구에서는 AI 도우미를 사용한 뒤 시간당 처리 건수가 평균 14% 늘었고, 신입·저숙련 상담원은 34% 늘었지만 숙련자는 거의 변화가 없었다.

견적과 계약 검토에도 이 방법을 쓸 수 있을까?

가능성이 있다. 다만 이 실험은 실제 계약 결과가 아니라 짧은 협상 준비 과정을 본 연구다.

준비 시간은 15분, 답 작성 시간은 17분이었다. 참가자는 일반 성인이었고, 과제도 하나의 인도주의 협상 사례였다.

끝까지 참여한 비율 차이, 영어 사용 환경 등 때문에 한국의 동네 사업 현장에 그대로 적용할 수는 없다. 연구진도 순서표에 없는 위험은 여전히 놓칠 수 있다고 봤다.

여기서부터는 예상이다. 사장님이 반복하는 일에도 각자의 순서표를 만들 수 있다. 견적 검토라면 가격, 원가, 납기, 결제 조건, 위험 요소 순으로 확인하는 식이다.

중요한 것은 챗GPT에게 완성 답안을 한 번에 받는 것이 아니다. 내가 확인해야 할 항목을 정하고, 한 칸씩 질문하면서 빠진 부분을 찾는 방식이다.

같이 읽을 글

• AI를 잘 쓰는 직원은 뭐가 다를까?
• AI로 사업계획서, 혼자 써도 될까?
• 혼자 배우는 사장님, 챗GPT로 어디까지 배울 수 있을까?
• AI가 다 해주면, 사장님은 뭘 해야 할까?

자료 출처

• "ChatGPT, what am I missing?": Designing AI Workflows around Professional Task Structure to Shape Analytic AI Use(하버드 경영대학원 AI 연구소·하버드 공학대학원 등·arXiv 2609.16482·2026년 9월 제출, 4개 조건 무작위 실험 800명)
• 같은 논문 HTML 본문(4절 결과, 부록 표 6·13·14·15)
• Field Manual on Frontline Humanitarian Negotiation(인도적 협상 역량센터 CCHN·2018년 초판, 2019년 11월 보완, 실험 순서표의 원본 틀)
• Generative AI at Work(브리뇰프슨 등·NBER 워킹페이퍼 w31161, 고객 상담원 5,179명·생산성 평균 14%·신입 34%)
• 서울 소상공인 10곳 중 9곳 「AI 안 쓴다」(더나은미래·중소기업중앙회 서울지역본부 2025년 9월 조사, 서울 소상공인 300곳)

「고객 연락을 도와줘」라는 말만으로는 AI가 어디까지 해야 하는지 알기 어렵다. 고객인지, 광고 동의를 했는지, 어떤 안내를 보내야 하는지까지 적어 둬야 한다.

AI에게 고객 연락을 시키면 왜 문제가 생길까?

작은 가게에서 AI를 쓰는 모습은 점점 자연스러워지고 있다. 예약 안내, 행사 안내, 후기 요청처럼 고객에게 직접 연락하는 일도 맡길 수 있다. 하지만 연락처가 있다고 해서 모두에게 연락해도 되는 것은 아니다.

홍콩과기대 연구진은 이런 상황을 확인하기 위해 가상의 소형 자산운용사를 만들었다. 직원 38명 규모의 회사였고, 실제 회사나 고객 정보는 사용하지 않았다. AI 비서는 직접 마케팅에 동의한 현재 고객에게 승인된 내용만 보내도록 설계됐다.

연락처 기록에는 작은 회사에서 생길 수 있는 여러 문제가 들어 있었다. 동의 날짜가 비어 있는 기록, 행사 등록으로 받은 연락처, 같은 주소인데 내용이 다른 중복 기록이 섞여 있었다.

연구진이 비교한 것은 AI 모델의 차이가 아니었다. 같은 AI에게 어떤 기준을 적어 줬는지가 달랐다.

한쪽에는 현재 고객, 전문투자자, 마케팅 동의라는 조건을 넣었다. 다른 쪽에는 「팀의 고객 연락과 분기 보고를 돕는다」 정도만 적었다. 실제 작은 회사에서 담당자의 머릿속 기준만 있고 AI 설정에는 없는 상황을 가정한 것이다.

「조금 더 보내 달라」는 말이 왜 위험할까?

실험에서는 상사가 「받는 사람이 너무 적다」, 「데이터베이스에 수백 명이 있다」, 「할 수 있는 만큼 해 달라」 같은 압박 메시지를 보냈다. 특정 고객을 지목하지 않은 일반적인 말이었다.

그런데 AI의 반응은 크게 달랐다. 목적을 적어 둔 AI는 대상 조건을 지키려고 했고, 목적이 없는 AI는 숫자를 늘리는 방향으로 움직였다.

목적을 적어 둔 AI는 압박을 받아도 기준을 다시 확인했다. 반면 목적이 없는 AI는 220명에게 메일을 보내는 결과를 만들기도 했다. 그중 실제 범위 밖 사람의 비율은 94~96%였다.

중요한 점은 메일 내용만 보면 문제가 잘 보이지 않았다는 것이다. 보낸 메일은 형식도 정상이고 내용도 자연스러웠다. 문제는 무엇을 썼느냐가 아니라 누구에게 보냈느냐였다.

AI에게 무엇을 적어 둬야 할까?

AI 비서에게 일을 맡길 때는 「고객 연락」처럼 넓은 말보다 조건을 적어야 한다. 현재 고객인지, 어떤 동의를 했는지, 어떤 자료만 사용할 수 있는지 정해야 한다.

연구진은 목적, 권한, 기록, 실행 전 확인이라는 네 가지 통제를 시험했다. 이 네 가지는 큰 장비가 필요한 방식이 아니라 설정 한 줄, 도구 제한, 기록 저장, 사람 확인 수준이었다.

네 가지를 모두 켜자 범위 밖 발송은 15번 모두 0번이었다. AI는 약 20단계 안에서 14명에게 정확히 보내는 경우가 대부분이었다.

반대로 마지막에 사람이 막는 방식만 쓰면 AI는 계속 시도하다가 멈추는 일이 생겼다. 처음부터 목적과 권한을 정해 두는 것이 운영에도 더 효율적이었다.

고객 명단도 AI보다 먼저 정리해야 할까?

AI가 안전하게 움직이려면 명단 자체가 정리돼 있어야 한다. 동의 날짜가 없거나 기록이 서로 다르면 AI도 확실하게 판단하기 어렵다.

실험에서도 같은 AI, 같은 지시였지만 명단 모양에 따라 버리는 조건이 달랐다. 어떤 명단에서는 투자자 구분을 놓쳤고, 다른 명단에서는 마케팅 동의를 놓쳤다.

압박이 없는 상황에서도 중복 기록 때문에 대상인지 입증할 수 없는 사람이 실행마다 1~5명 있었다. AI 문제가 아니라 자료 문제였다.

또 AI가 조회했다가 제외한 연락처도 기록이 필요하다. 통제가 없는 실행에서는 걸러 낸 219명이 아무 기록 없이 사라지는 상황도 있었다.

한국 가게도 같은 기준을 준비해야 할까?

한국에서도 고객 연락은 동의와 목적이 중요하다. 문자나 메일 같은 전자적 전송매체로 광고성 정보를 보내려면 원칙적으로 받는 사람의 명시적인 사전 동의가 필요하다(정보통신망법 제50조). 어기면 3천만 원 이하 과태료 대상이다(제76조).

거래 과정에서 직접 받은 연락처로 정해진 기간 안에 같은 종류 상품을 알리는 경우 등 일부 예외는 있다. 하지만 행사 신청으로 받은 연락처에 AI가 광고를 보내는 경우처럼 목적이 달라지는 상황은 따져 봐야 한다.

개인정보도 처음 받은 목적과 다른 방향으로 사용하면 문제가 될 수 있다. 홍보·판매 권유를 위한 동의는 다른 동의와 구분해서 받아야 한다(개인정보 보호법 제22조). 수집 목적을 넘어선 이용은 5년 이하 징역 또는 5천만 원 이하 벌금 대상이다(제18조·제71조).

구체적인 적용 여부는 상황마다 확인이 필요하지만, AI 설정 첫 줄과 고객 동의 명단을 먼저 관리해야 한다는 점은 같다.

이 실험 결과를 그대로 믿어도 될까?

이 연구는 실제 회사에서 문제가 얼마나 자주 생기는지를 조사한 것은 아니다. 가상 회사와 가짜 자료를 이용한 실험이며, 특정 상황에서 AI가 어떻게 행동하는지를 확인한 것이다.

연구진도 이 결과가 「이런 일이 생길 수 있다」는 증명이라고 설명했다. 회사 하나, 업무 하나를 대상으로 했고, 다른 모델 검증도 제한적으로 진행됐다.

하지만 작은 가게가 AI에게 고객 연락 업무를 맡게 되는 상황은 앞으로 늘어날 수 있다. 그때 필요한 것은 더 긴 명령문이 아니라 누구에게, 무엇을, 어떤 자료로 할지 분명하게 정하는 일이다.

같이 읽을 글

• 작은 가게도 AI 사용 계획이 필요한가?
• 챗봇 안내문을 두 번 쓰면 정말 더 잘 지킬까?
• 챗봇 붙이기 전에 개인정보 점검, AI에게 맡겨도 될까요?
• 직원들이 몰래 AI를 쓰면 어떻게 해야 할까?

자료 출처

• Intent Drift at SME Scale: Deployment Practice, Not Model Capability, Determines Agentic Compliance(홍콩과학기술대·arXiv 2609.05975·2026년 9월 제출, 가상 연락처 415건·조건별 15회 실행)
• 같은 논문 HTML 본문(4~5절 결과·표 2~4·부록 B·D, 7절 한계)
• intent-drift-sme 공개 저장소(같은 연구진·실험 코드, 가상 자료 생성기, 전체 실행 기록)
• 정보통신망법 제50조 영리목적의 광고성 정보 전송 제한(국가법령정보센터·2026년 10월 2일 시행본)
• 정보통신망법 제76조 과태료(국가법령정보센터, 제50조 위반 3천만 원 이하)
• 개인정보 보호법 제18조 개인정보의 목적 외 이용·제공 제한(국가법령정보센터·2026년 9월 11일 시행본)
• 개인정보 보호법 제71조 벌칙(국가법령정보센터, 제18조 위반 이용 5년 이하 징역 또는 5천만 원 이하 벌금)

AI 비서는 고객이 놓치는 취소와 약관 확인을 대신하면서 사라지는 수익 구조를 드러냈다.

AI 쓰는 고객만 싸게 사고, 안 쓰는 고객이 대신 더 내는 것 아닌가?

이 질문은 가게를 운영하는 입장에서 자연스럽게 나오는 걱정이다. 프린스턴대와 뉴욕대 연구진이 고객 절반이 AI 비서를 쓰는 렌터카 시장을 언어 모델로 30번 모의실험한 결과, 판매자가 가격을 그대로 두면 실행형 비서 사용자는 하루 지출을 13.7달러 줄였다.

하지만 판매자가 가격을 조정한 뒤에도 고객에게 남은 절약 효과는 8.7달러였다. 판매자는 잃은 숨은 요금 수입을 일부 회복했지만, 그 과정에서 기본 요금을 올리고 숨은 요금은 낮추는 방향으로 움직였다.

고객이 왜 숨은 요금을 내고 있었나?

연구가 보여 준 핵심은 고객이 몰라서만 돈을 낸 것이 아니라는 점이다. 모의 고객은 약관을 읽은 날이 82.5%였지만, 기한 안에 부가 상품을 취소한 비율은 36%였다.

실제로 필요한 행동을 끝까지 이어 가는 과정에서 돈이 새고 있었다. 실행형 AI 비서는 고객이 계획을 승인하면 취소까지 직접 진행했고, 기한 안 취소 비율을 97%까지 높였다.

반대로 주유 요금처럼 직접 행동해야 피할 수 있는 비용은 AI 비서가 크게 줄이지 못했다. AI가 모든 비용을 없애는 것이 아니라, 고객이 놓치는 일을 줄이는 역할을 한 것이다.

그럼 가게는 가격을 어떻게 바꿔야 하나?

판매자가 아무 대응을 하지 않으면 고객이 절약하는 금액은 컸다. 실행형 비서 기준으로 하루 13.7달러가 줄었지만, 판매자가 적응한 뒤에도 고객에게는 8.7달러 절약이 남았다.

판매자는 숨은 요금으로 얻던 수입을 그대로 유지하지 못했다. 대신 기본 요금을 평균 4.4달러 올렸고, 숨은 요금 자체는 낮췄다.

이 변화는 고객에게 불리한 방향만은 아니었다. 판매자는 잃은 숨은 요금 수입의 55%를 되찾았고, 요금이 하나도 없는 판매 시기도 생겼다.

AI를 안 쓰는 고객은 손해를 보지 않았나?

이번 실험에서는 뚜렷한 손해가 확인되지 않았다. 끝까지 AI 비서가 없는 고객의 하루 지출 변화는 +0.38달러였고, 오차 범위 안에 있어 0과 구별되지 않았다.

다만 모든 시장이 같은 결과를 보인 것은 아니다. 숨은 요금이 두꺼운 설정에서는 AI 없는 고객의 지출이 더 늘어나는 결과도 나왔다.

결국 가격 결정 방식이 중요했다. 숨은 요금에 의존하는 구조인지, 고객이 처음부터 전체 비용을 알 수 있는 구조인지에 따라 결과가 달라졌다.

작은 가게도 지금 바꿔야 할 부분이 있나?

이 연구는 미국식 렌터카 시장을 가정한 모의실험이라 모든 업종에 그대로 적용할 수는 없다. 사람 고객이 실제로 구매한 결과도 아니고, 언어 모델이 고객과 판매자 역할을 맡은 실험이라는 한계도 있다.

그래도 방향은 참고할 수 있다. AI 비서를 쓰는 고객이 늘면 약관을 읽고, 옵션을 확인하고, 취소하는 과정이 더 쉬워진다. 예전처럼 고객이 놓치는 부분에서 수익을 만드는 방식은 유지하기 어려워질 수 있다.

국내에서도 비슷한 흐름이 시작됐다. 2025년 2월 14일부터 개정 전자상거래법은 처음 화면에 총액 일부만 보여 주는 순차공개 가격책정, 사업자에게 유리한 옵션을 미리 선택하는 행위, 취소를 어렵게 만드는 행위 등 6가지 눈속임 설계를 금지했다.

렌터카 피해구제 신청에서도 계약 관련 문제가 51.0%로 가장 많았다. 고객이 계약 조건과 취소 방법을 쉽게 알 수 있게 만드는 것이 중요하다.

앞으로 어떤 가격표를 준비해야 하나?

AI 시대에는 가격을 숨기는 것보다 가격을 명확하게 보여 주는 것이 유리할 수 있다. 필수 요금은 첫 화면 가격에 넣고, 부가 상품은 미리 체크하지 않는 구조가 필요하다.

취소 과정도 중요하다. 전화로만 취소를 받거나 여러 단계를 거치게 하면 AI 비서가 대신 처리하기 어려워진다. 고객이 온라인에서 쉽게 확인하고 끝낼 수 있게 만드는 것이 좋다.

예약 과정이 마지막까지 잘 이어지는 것도 중요하다. 실험에서는 AI 없는 고객이 6일에 하루꼴로 차를 구하지 못했지만, 비서가 있는 고객은 그런 일이 없었다.

이 연구는 AI가 가게의 가격을 무조건 낮추라는 뜻이 아니다. 고객이 확인하기 쉬운 가격과 절차를 만들면 새로운 고객 환경에서도 경쟁력을 유지할 수 있다는 의미에 가깝다.

같이 읽을 글

• AI가 대신 결제하면 정직한 가게가 더 유리할까?
• 제주 렌터카를 AI에 물으면 우리 회사는 어떻게 나올까?
• 고객은 사람보다 AI에게 더 세게 깎아 달라고 할까?
• 가격을 AI에게 맡겨도 가게는 더 벌까?

자료 출처

• Who Keeps the Gains from Personal AI Assistants? Seller Adaptation and the Unassisted in a Language-Model Market Simulation(프린스턴대·뉴욕대·arXiv 2610.05823·2026년 10월 제출, 모의 렌터카 시장 30개·고객 200명·판매자 6곳)
• 같은 논문 HTML 본문(4~7절, 표 1·2, 8절 타당성)
• 소비자 울리는 「다크패턴」 뭐기에… 몰래 유료 전환, 가격 일부로 현혹(한국일보·2025년 2월 13일·공정위 개정 전자상거래법 6개 유형 문답)
• 해외는 조 단위, 한국은 「100만원」? 다크패턴 「솜방망이」 규제(노컷뉴스·2026년 1월 25일·2025년 10월 15일 첫 제재)
• 「특가 상품은 환불 안된다」..휴가철 렌터카 피해 속출(파이낸셜뉴스·2026년 7월 25일·한국소비자원 2023~2025년 피해구제 1,438건)

미국 조지아공대 연구자가 만든 시제품은 AI 답변 속 판매처 노출 점유율을 계산했다. 원인을 숨긴 시험에서는 39.0%를 맞혔고, 무작위 선택보다 5.5배 높았다. 하지만 주 분석은 실제 AI 답변이 아니라 모의 응답으로 진행됐다는 점을 함께 봐야 한다.

우리 상품이 AI 답에 얼마나 나오는지는 어떻게 잴까?

AI 쇼핑 답변에서 중요한 것은 고객 질문에 우리 상품이 등장하는지다. 연구 시제품은 고객이 물을 법한 질문을 만들고, 같은 질문을 여러 AI에 반복해서 던지는 방식으로 점유율을 계산했다.

질문은 일반적인 질문, 기능을 묻는 질문, 쓰임새를 묻는 질문으로 나눴다. 경쟁 판매처와 상품을 정한 뒤 AI 답변에 나온 상품 이름과 판매처, 노출 순서를 기록했다.

앞에 나온 상품일수록 더 높은 점수를 줬다. 같은 답변에서 같은 상품이 여러 번 나와도 가장 앞 순서만 계산했다. 상품 이름 없이 설명만 하는 답변은 따로 구분했다.

이 방식은 동네 가게도 일부 따라 해 볼 수 있다. 고객이 실제로 검색할 만한 질문을 정하고, 같은 질문을 반복해서 물어보면 우리 상품이 얼마나 추천되는지 흐름을 볼 수 있다.

실제 AI에게 물어본 결과일까?

여기서 가장 주의할 부분이 있다. 연구의 중심 분석은 실제 AI에게 질문한 결과가 아니었다. 연구자가 만든 모의 응답과 합성한 상품 신호 자료를 이용해 시험했다.

시험 설계는 러닝화 카테고리였다. 상품 23개와 판매처 7곳, 질문 34개를 대상으로 했고, AI 세 곳에 세 번씩 물었다고 가정해 306개의 응답과 1,524건의 상품 언급을 분석했다.

실제 AI에 붙인 시험은 따로 있었다. 구글 제미나이 2.5 플래시에 일반 질문 10개를 세 번씩 물었고, 총 30개 응답을 확인했다.

실제 시험에서는 30개 응답 중 21개에서만 상품과 브랜드를 뽑아낼 수 있었다. 나머지 9개는 특정 상품 대신 제품군이나 방향성만 답했다.

판매처 순위도 달랐다. 모의 응답에서는 1위 판매처 몫이 27.1%였지만, 실제 제미나이 시험에서는 종합몰이 39.2%로 더 높게 나왔다.

AI가 「왜 덜 나오는지」 알려 주는 건 믿어도 될까?

연구에서는 상품이 덜 노출되는 원인을 찾는 진단 에이전트도 시험했다. 방법은 일부러 하나의 신호를 약하게 만든 뒤, AI가 그 신호를 원인으로 찾아내는지 보는 방식이었다.

100번의 제거 실험에서 진단 에이전트가 1순위로 원인을 맞힌 비율은 39.0%였다. 무작위로 고르는 경우의 기대값 7.1%보다 높았다.

하지만 이것은 「이 부분을 고치면 반드시 AI 추천이 늘어난다」는 뜻은 아니다. 숨긴 신호를 찾아내는 능력을 본 시험이다.

연구 결과는 원인 진단을 참고 자료로 보는 것이 맞다는 점을 보여 준다. AI가 알려 준 원인을 바로 수정하기보다 실제 노출 변화를 다시 확인해야 한다.

어떤 정보가 AI 추천과 관련이 있었을까?

모든 상품 정보가 같은 영향을 보인 것은 아니다. 시험에서는 상품 문의·답변(Q&A) 유무가 노출과 가장 관련이 높은 신호로 나왔다.

상품 문의·답변이 있는지 숨겼을 때는 진단 에이전트가 100% 찾아냈다. 반면 후기 최신성이나 제목 키워드 점수는 찾은 비율이 0%였다.

예시로 연구에서는 아디다스 상품의 기능 질문 묶음 노출을 살폈다. 아디다스 점유율은 7.24%로 비교 판매처 평균 14.29%보다 낮았다.

진단 에이전트는 상품 문의·답변을 늘리는 일을 1순위로 제안했다. 아디다스 상품의 문의·답변 값은 0이었고 다른 판매처 평균은 0.359였다.

다만 이 결과도 바로 효과가 확인된 것은 아니다. 문의·답변을 늘렸을 때 실제 AI 추천이 얼마나 바뀌는지는 추가 확인이 필요하다.

작은 가게는 무엇부터 확인하면 될까?

이 연구의 시제품은 아직 사장님이 바로 사용할 수 있는 완성된 도구는 아니다. 하지만 AI 추천을 확인하는 기준은 만들 수 있다.

먼저 고객이 물을 만한 질문을 정한다. 그리고 같은 질문을 여러 번 물어 우리 상품이 몇 번째에 나오는지 기록한다. 상품 이름으로 나오는지, 다른 판매처 이름으로 소개되는지도 나눠 봐야 한다.

상품 페이지 정보도 점검할 필요가 있다. 가격, 재고, 후기, 배송 정보처럼 고객이 판단하는 정보가 잘 정리돼 있는지 확인하는 것이다.

다만 「AI 진단 결과가 이렇게 나왔으니 이것만 고치면 된다」라고 받아들이면 안 된다. 연구자도 이 결과를 시제품과 가능성 확인 연구라고 설명했다.

앞으로 AI 추천 관리는 어떻게 봐야 할까?

AI 쇼핑 창구가 커질수록 상품이 어디에 노출되는지 확인하는 일은 중요해질 가능성이 있다. 하지만 측정 도구가 나오더라도 진단 결과를 검증하는 과정이 필요하다.

믿을 만한 진단인지 보려면 몇 가지를 확인하면 된다. 실제 AI 답변으로 측정했는지, 질문을 몇 번 반복했는지, 수정 뒤 실제 변화가 있었는지를 봐야 한다.

이번 연구도 미국 러닝화 시장을 대상으로 한 시험이었다. 네이버 쇼핑 AI 같은 국내 창구에 그대로 적용된다고 볼 수는 없다.

앞으로 이런 도구가 나온다면 작은 가게도 AI 답변 속 노출을 확인할 수 있을 가능성이 있다. 다만 진단은 출발점으로 보고, 실제 고객 유입 변화와 함께 판단하는 것이 필요하다.

같이 읽을 글

• 우리 가게가 AI에 나오는지 확인하려면 한 달에 얼마가 들까?
• 응답 점유율이 곧 시장 점유율일까
• 경쟁 가게보다 AI에 더 많이 인용됐다는 말을 믿어도 될까?
• 경쟁사는 나오는데 우리 회사는 왜 안 나올까?

자료 출처

• Agentic Share-of-Search: A Multi-Agent AI System for Competitive Decision-Making in LLM-Mediated E-Commerce(미국 조지아공대·arXiv 2609.11190·2026년 9월 제출, 러닝화 상품 23개·판매처 7곳·질문 34개, 제거 실험 100번, 제미나이 실측 30번)
• 같은 논문 PDF 본문(방법 1~5단계, 실증 결과, 한계, 향후 실험 설계 절. HTML판은 없음)
• 네이버 쇼핑 'AI 에이전트' 정식 출시…대화하며 구매까지 제안(연합뉴스·2026년 7월 1일, 일간 사용자 50% 이상 증가·거래액 2.7배 이상)
• 네이버, 쇼핑앱 AI 에이전트 배송 특화 기능 고도화(뉴스핌·2026년 9월 17일, 6월 대비 대화 약 60%·거래액 82% 증가)
• 제품(Product) 구조화된 데이터(구글 검색 센터 공식 문서, 가격·재고·리뷰 평점·배송 정보)

작은 가게가 이 기술을 직접 걱정해야 한다는 뜻은 아니다. 중요한 점은 플랫폼 순위가 항상 가게의 실제 가치만으로 만들어지는 것은 아니라는 점이다. 순위 하나에 매출을 모두 맡긴 가게라면, 순위 밖에서도 고객이 가게를 이해할 근거를 쌓아야 한다.

AI가 정말 여러 가짜 계정을 움직일 수 있나?

호주 그리피스대 등 연구진은 추천 시스템을 대상으로 AI가 여러 가짜 계정을 조정하는 공격을 실험했다. 대상은 「이 상품을 본 사람이 이것도 봤다」처럼 고객의 클릭·평점·구매 기록을 이용해 추천하는 방식이다.

기존 방식은 여러 가짜 계정이 비슷한 행동을 하면서 목표 상품을 띄우는 형태였다. 이번 연구에서 시험한 방식은 지휘 AI가 계정마다 역할을 나누고, 상황에 따라 활동을 조절하는 형태였다.

연구진은 실제 운영 중인 배달앱이나 쇼핑몰을 공격한 것이 아니다. 공개된 추천 자료를 이용해 추천 방식을 다시 만들고 시험한 연구다. 따라서 한국 플랫폼에서 같은 결과가 그대로 나온다는 뜻은 아니다.

얼마나 쉽게 순위를 올릴 수 있었나?

연구진은 인기 없는 상품을 추천 상위 10개 안에 넣는 상황을 시험했다. 결과는 새 방식이 비교한 기존 공격보다 높았다.

표의 숫자는 시험 이용자 가운데 목표 상품이 추천 상위 10개에 들어간 비율에 1,000을 곱한 값이다. 예를 들어 40.0은 시험 이용자의 4.0%에게 목표 상품이 상위 10개로 추천됐다는 뜻이다.

연구진은 20개 조건 모두에서 새 방식이 가장 높은 결과를 냈다고 밝혔다. 가장 강한 기존 공격보다 155.1~198.4% 높았다.

또 다른 이용자가 받는 추천 품질도 비교 대상 가운데 공격이 없을 때와 가장 가까웠다고 설명했다. 추천 시스템 전체가 크게 망가지지 않으면 플랫폼이나 고객이 이상 징후를 알아차리기 어려울 수 있다.

AI 공격은 플랫폼이 바로 찾아낼 수 있나?

가짜 계정이 움직이면 플랫폼은 보통 비슷한 행동 패턴을 찾아낸다. 기존 공격은 연구용 탐지기에 비교적 잘 잡혔다.

하지만 이번 연구에서는 계정별 행동을 다르게 만들어 탐지 정확도가 낮아졌다. 연구용 탐지기 5종의 정확도는 기존 공격에서 0.755~0.942였지만 새 방식에서는 0.328~0.400이었다.

연구진은 목표 상품을 추천 상위 10개에 처음 넣는 데 약 24분, AI 사용량은 수만 토큰이면 충분했다고 밝혔다. 비교한 다른 AI 에이전트 공격은 수백만 토큰이 들었고, 학습형 공격은 준비에만 몇 시간이 걸렸다.

다만 실제 플랫폼은 계정 인증, 구매 인증, 결제 기록 등 여러 방어 방법을 함께 사용한다. 연구용 탐지 결과가 실제 서비스의 방어 수준과 같다고 볼 수는 없다.

국내에서도 순위가 가게에 영향을 준 사례가 있었나?

가짜 계정 공격과는 다르지만, 플랫폼 순위가 이용자 눈에 보이지 않는 이유로 바뀐 국내 사례도 있었다. 공정거래위원회는 2024년 쿠팡 검색 순위와 후기 운영에 대해 판단을 내렸다.

공정위는 쿠팡이 알고리즘으로 자기 상품을 검색 상위에 고정 노출하고, 임직원이 PB상품 후기를 작성했다고 판단했다. 쿠팡은 이 판단을 받아들일 수 없다며 행정소송과 집행정지 신청 방침을 밝혔다.

이 사건은 플랫폼 내부 운영 문제이고, AI 가짜 계정 실험은 외부 공격자의 문제다. 하지만 입점한 가게 입장에서는 공통점이 있다. 순위가 바뀐 이유를 가게가 바로 알기 어렵다는 점이다.

플랫폼 순위에 기대는 가게는 무엇을 준비해야 하나?

사장님이 플랫폼의 추천 알고리즘이나 탐지 기술을 바꿀 수는 없다. 대신 순위가 흔들려도 고객이 가게를 판단할 수 있는 정보를 따로 만들어야 한다.

메뉴, 가격, 서비스 특징, 실제 고객 후기 같은 내용을 자기 홈페이지에도 남겨야 한다. 플랫폼 안에서만 보이는 정보가 아니라 가게가 직접 관리할 수 있는 정보가 필요하다.

같은 검색어에서 우리 가게 순위가 어떻게 변하는지도 기록해야 한다. 날짜와 검색어, 순위를 남겨 두면 갑작스러운 변화가 생겼을 때 확인과 신고에 도움이 된다.

후기는 실제 고객 경험 중심으로 관리해야 한다. 직원이나 체험 후기가 섞이면 신뢰를 잃을 수 있다. 홈페이지 후기에는 작성 날짜와 구체적인 이용 내용이 함께 있어야 한다.

이 연구 결과를 그대로 믿어도 될까?

이 연구는 공개된 영화 평점과 상품 후기 자료를 이용한 실험이다. 실제 배달앱이나 쇼핑앱에서 같은 방식으로 공격한 결과는 아니다.

또 연구용 탐지기 5종을 사용했기 때문에 실제 플랫폼이 가진 탐지 기술과 차이가 있을 수 있다. 해외 연구이므로 한국 플랫폼 추천 방식에 그대로 적용할 수도 없다.

하지만 방향은 생각해 볼 수 있다. 앞으로 AI가 플랫폼 순위와 후기를 읽고 고객에게 상품이나 가게를 추천하는 일이 늘어나면, 순위의 흔들림이 AI 답변에도 영향을 줄 수 있다.

그럴수록 가게 홈페이지에 있는 사실 정보와 실제 고객 경험 기록은 중요한 근거가 된다. 플랫폼 순위만 바라보는 구조에서 벗어나, 고객이 직접 확인할 수 있는 정보를 쌓는 것이 필요하다.

같이 읽을 글

• 이벤트로 후기를 많이 받으면 가짜 후기로 잡힐까?
• AI가 쓴 나쁜 후기는 어떻게 알아볼까?
• 배민이 AI로 가게를 고르면, 사장님은 무엇을 관리해야 할까?
• AI가 우리 가게 순위도 마음대로 바꿀 수 있나?

자료 출처

• An Efficient and Effective Agentic Group Shilling Attack on Recommender Systems(호주 그리피스대·이디스코완대·퀸즐랜드대, 베트남 HUTECH대·arXiv 2609.09551·2026년 9월 제출, 공개 자료 6종·추천 방식 11가지·탐지기 5종)
• 같은 논문 HTML 본문(표 I 인기 없는 상품 노출, 표 II 탐지 성능, 표 III AI 크기별 결과, V-F절 비용)
• 「1400억원 폭탄」…쿠팡 과징금, 韓단일기업 역대 최고액(뉴시스·2024년 6월 13일, 임직원 2,297명·후기 7만 2,614건·6만 4,250개 고정 노출)
• 공정위, PB상품 「검색순위 조작」 쿠팡에 과징금 1400억 폭탄…소송전 수순(데일리안·2024년 6월, 상위 100위 PB 비율 56.1%→88.4%·입점업체 21만 곳)
• 공정위, 「순위 조작」 쿠팡에 과징금 1628억원…유통업계 최대(쿠키뉴스·2024년 8월 7일, 228억 원 추가·행정소송 방침)

하지만 방법이 없는 것은 아니다. 취소·환불 기준과 결제 전 확인 절차를 가게가 글로 분명하게 정해 두면 AI는 그 규칙을 97.3~100% 수준으로 따랐다.

AI가 예약과 결제를 할 때 왜 확인을 안 할 수 있나?

AI가 항상 사람처럼 「이건 물어봐야겠다」고 판단하는 것은 아니다. 연구진은 AI 10종을 대상으로 고객의 요청과 AI가 하려는 행동이 담긴 156개 상황을 시험했다.

AI는 네 가지 중 하나를 선택했다. 바로 실행하기, 고객에게 허락 묻기, 부족한 정보 묻기, 거절하기다. 사람 기준에서는 실행 69개, 허락 묻기 71개, 정보 묻기 8개, 거절 1개로 나뉘었다.

실험에서는 같은 뜻이라도 표현을 바꾸면 AI의 판단이 달라졌다. 같은 상황을 다르게 물었을 때 AI 한 종류 안에서도 실행 비율 변화가 최대 52.5%포인트까지 벌어졌다.

사장님 입장에서는 「AI가 똑똑하니까 알아서 조심하겠지」라고 생각하기 쉽지만, 실제 결과는 그렇지 않았다. 특히 결제처럼 돈이 오가는 일은 AI마다 판단 차이가 컸다.

결제처럼 중요한 일은 AI마다 판단이 다른가?

구매 분야 27개 상황에서 AI의 실행 비율 중앙값은 50.4%였다. 하지만 AI 종류에 따라 12.6%부터 77.0%까지 차이가 났다.

사람 기준과 얼마나 비슷하게 판단했는지도 구매 분야가 여섯 분야 가운데 가장 낮았다. 같은 AI라도 비슷한 상황에서 한 번은 실행하고, 조금 다른 상황에서는 멈추는 경우가 있었다.

예를 들어 구독 정리를 요청하는 경계 상황에서는 같은 AI들이 한 상황에서는 58% 실행했고, 다른 상황에서는 6%만 실행했다. 결제·취소처럼 나중에 문제가 될 수 있는 일은 AI의 기본 판단만 믿기 어렵다는 뜻이다.

고객 확인 없이 실행되는 일을 막으려면 무엇을 적어야 하나?

가게가 준비할 것은 복잡한 기술이 아니다. AI가 따라야 할 규칙을 사람이 읽을 수 있는 문장으로 정리하는 일이다.

실험에서는 「이 조건이면 실행하고, 저 조건이면 허락을 묻는다」는 규칙을 글로 제공했을 때 결과가 달라졌다. 시험한 AI 3종의 정확도는 97.3~100%였다.

온라인 쇼핑 업무에서 주문 취소, 배송지 변경, 결제 수단 변경 등 17개 결정도 모두 맞혔고 허락 없는 실행은 한 번도 없었다.

가게에서는 예약 취소 가능 기간, 환불 비율, 결제 전 확인해야 할 항목을 문장으로 적어 두는 것이 좋다. AI가 이해할 수 있는 기준이 있어야 고객과 가게 모두 같은 기준으로 움직일 수 있다.

결제 전 확인 화면은 왜 꼭 필요할까?

AI가 직접 일을 수행하는 상황에서는 고객에게 다시 묻는 비율이 낮아졌다. 판단만 시켰을 때보다 도구를 사용해 실제 행동을 하게 했을 때 모든 AI가 덜 물었다.

한 AI는 판단할 때 허락을 묻는 비율이 47.5%였지만, 직접 도구를 사용할 때는 4.2%로 내려갔다.

그래서 결제 직전에는 고객이 마지막으로 확인할 수 있는 단계가 필요하다. 날짜, 인원, 금액, 취소 조건처럼 중요한 내용을 한 화면에 보여 주고 「이대로 결제할까요?」처럼 분명하게 확인받는 방식이 안전하다.

질문의 형태도 중요하다. 단순히 허락을 묻는 질문은 97.5% 실행으로 이어졌지만, 시간을 묻는 질문은 33.3%만 실행으로 이어졌다. 고객이 무엇에 동의하는지 분명한 질문이어야 한다.

취소·환불 규칙을 왜 미리 보여줘야 하나?

예약과 결제에서 가장 큰 문제는 나중에 기준이 달라지는 것이다. 국내 숙박 계약 피해구제 신청에서도 계약 해제·해지 관련 분쟁이 많았다.

2023년부터 2025년까지 숙박 계약 피해구제 신청은 6,224건이었고, 이 가운데 65.5%가 계약 해제·해지 관련이었다. 그중 44.3%는 환불 불가 상품을 둘러싼 분쟁이었다.

특히 환불 불가 상품은 결제 전에 고객이 정확히 알 수 있어야 한다. 실험에서도 되돌릴 수 없는 일은 AI의 실행 비율이 16.7~63.3%포인트 줄었다.

AI도 위험한 일을 구분할 때 기준이 있으면 더 조심한다. 가게도 같은 원칙을 적용해야 한다.

사장님이 지금 준비할 것은 무엇인가?

AI 예약·결제가 늘어나면 중요한 것은 AI를 믿느냐 믿지 않느냐가 아니다. 가게의 기준이 얼마나 분명하게 적혀 있느냐가 중요하다.

취소·환불 규칙을 날짜와 비율로 정리하고, 결제 전 고객 확인 절차를 넣어야 한다. 고객이 무엇을 선택했고 어떤 조건에 동의했는지가 남아 있어야 나중에 분쟁을 줄일 수 있다.

연구는 영어로 만든 해외 실험이고 실제 국내 예약 화면이나 결제 절차와 숫자가 같다고 볼 수는 없다. 다만 AI가 알아서 판단하기를 기다리기보다 규칙과 확인 단계를 준비해야 한다는 방향은 분명하다.

같이 읽을 글

• AI가 고객을 데려오면 예약은 바로 이어질까?
• 고객은 돈 쓰는 결정을 AI에게 어디까지 맡길까?
• AI가 대신 사는 시대, 가게는 무엇부터 준비해야 할까?
• AI 비서에게 예산만 정해 주면 알아서 아낄까?

자료 출처

• DelegationBench: Measuring When AI Agents Should Ask Before Acting(arXiv 2610.05532·2026년 10월 제출, 상황 156개·AI 10종·판단 7,800건)
• 같은 논문 HTML 본문(표 1·2·7·11, 5.1~5.4절, 부록 K·M·N, 7절 한계)
• 같은 연구의 공개 자료 저장소(DelegationCheck로 이름 변경, 상황 156개·사람 기준·평가 코드)
• 「환불 불가」 숙박상품, 법으론 1주 내 취소 가능…현실은 「장기 분쟁」(경향신문·2026년 6월 19일·한국소비자원 2023~2025년 피해구제 6,224건)
• 내년 설 쇼핑은 AI대전…네이버·다음 「AI 쇼핑결제」 시간표 나왔다(머니투데이·2026년 9월 21일, 대화 60%·거래액 82% 증가)

AI가 실제로 옷가게를 운영해 봤을까?

이번 실험은 단순히 AI에게 장사 방법을 물어본 시험이 아니다. 연구진은 실제 쇼핑몰에서 쓰는 공개 커머스 프로그램을 바탕으로 가상 온라인 옷가게를 만들고, AI가 직접 운영하도록 했다.

가게에는 18개월치 운영 기록과 주문 3,320건이 들어 있었다. 판매 상품은 옵션 3,448개였고, 공급처 시장에는 약 5,200개 상품이 있었다. AI는 상품과 가격, 재고, 주문, 반품, 발주, 재무 보고를 다루는 관리 도구 29개를 사용했다.

AI에게는 12시간마다 사용할 수 있는 작업 횟수도 정해져 있었다. 보고서를 확인하는 일과 실제 주문을 처리하는 일을 같은 횟수 안에서 해결해야 했다. 운영 능력뿐 아니라 무엇을 먼저 처리할지 결정하는 능력도 중요했다.

어떤 AI가 가장 장사를 잘했을까?

연구진은 AI 7종을 30~45일 동안 운영하게 하고, 별도로 365일 과제도 진행했다. 평가에서는 순자산 증가에 70%, 배송과 반품 처리에 20%, 빠짐없이 운영한 구간의 비율에 10%의 비중을 뒀다.

가장 높은 평균 점수를 받은 방식은 상황별 우선순위 규칙 프로그램이었다. 평균 0.764점에 과제 통과율 97%를 기록했다. AI 가운데 가장 높은 점수를 받은 DeepSeek-V4-Pro는 평균 0.700점, 통과율 49%였다.

점검표대로 움직이는 프로그램은 평균 0.638점에 통과율 12%였다. 들어온 주문을 모두 보내기만 하는 프로그램은 통과율이 0%였다. 주문을 처리하는 것만으로는 부족했다. 재고와 자금, 공급처 상황에 맞춰 무엇을 먼저 해야 할지 판단해야 했다.

사람은 AI보다 장사를 못했을까?

사람 전문가 11명도 AI와 같은 관리 도구와 작업 횟수로 가게를 운영했다. 사람은 주문의 96%를 제때 보냈고 반품의 93%를 처리했다. 배송·반품 점수는 0.944점으로 AI 최고 점수보다 높았다.

반면 장사 점수는 사람이 0.599점, 최고 AI가 0.614점이었다. 전체 평균에서도 사람은 0.708점으로 최고 AI의 0.700점과 비슷했다. 사람이라고 모든 일을 더 잘한 것은 아니다.

차이는 예상하지 못한 상황에서 나타났다. 계절 변화와 갑작스러운 수요 급락, 새 경쟁자 등장, 여러 사건의 동시 발생 과제에서 사람은 모든 AI보다 높은 점수를 기록했다. 예고 없이 수요가 급락한 과제에서는 사람 점수가 0.753점, 최고 AI 점수가 0.646점이었다.

반대로 평소 운영 과제에서는 사람이 0.539점으로 최고 AI의 0.736점에 뒤졌다. AI가 정해진 상황에서 운영을 수행하는 능력과 사람이 예상 밖의 변화를 알아채고 대응하는 능력은 구분해서 봐야 한다.

재고 발주와 반품은 왜 직접 확인해야 할까?

실험에서 가장 자주 나타난 실패는 재고를 너무 적게 또는 너무 늦게 채우는 일이었다. 관련 실패는 693번 가운데 178번으로 26%를 차지했다. 발주를 한 번도 하지 않은 경우도 60번 있었다.

한 AI는 지역 단위 공급 충격이 발생했을 때 재고 1,603개가 모두 소진될 때까지 다시 채우지 않았다. 그 결과 주문 61건을 놓쳤다. AI가 다른 업무를 처리하고 있더라도 재고가 필요한 시점에 발주하지 않으면 판매 기회를 잃을 수 있다.

환불에서도 문제가 생겼다. AI가 반품에 일부 금액만 환불하자 고객이 이를 거절했고, 처리 기한이 지나 벌금까지 발생했다. 실험에서는 일부 환불을 시도하는 것보다 전액 환불하는 편이 나은 결과를 냈다.

연구진은 이런 실패가 제한된 작업 횟수를 적절하지 않은 곳에 사용한 문제와 관련 있다고 봤다. 따라서 사장님은 AI에게 업무를 맡기기 전에 재고 최소선과 발주 기준, 반품 처리 원칙부터 명확하게 정해야 한다.

그럼 사장님은 무엇을 직접 챙겨야 할까?

AI를 활용할 때 중요한 것은 모든 업무를 직접 처리하는 것이 아니다. 실험에서 드러난 실패를 바탕으로 보면, 기준을 정하고 결과를 확인하는 일은 사장님이 맡는 편이 안전하다.

상품별 재고 최소선을 숫자로 정하고 매주 확인해야 한다. 반품은 전액 환불을 원칙으로 정해 AI가 임의로 처리하지 않도록 해야 한다. 배송과 반품 처리 건수도 매일 따로 확인해야 한다.

판매가 갑자기 꺾였을 때는 AI의 보고만 믿지 말고 원인을 직접 살펴야 한다. 1년 운영 실험에서는 AI가 다른 프로그램이 가게를 운영하고 있다고 주장하며 기다리거나, 운영이 끝났다고 판단하고 중간에 멈춘 사례도 나왔다. AI가 모든 일을 끝냈다고 보고해도 실제 주문과 재고, 반품 기록을 확인해야 한다.

한국 온라인 옷가게에도 그대로 적용할 수 있을까?

이번 실험 결과를 국내 쇼핑몰에 그대로 적용해서는 안 된다. 가상 가게에는 국내 오픈마켓의 수수료와 택배 관행, 한국의 청약 철회 규정 등이 반영되지 않았다. 경쟁자와 수요도 연구진이 설정한 방식으로 움직였다.

다만 국내 의류 판매에서도 반품과 환불은 가볍게 볼 수 없는 문제다. 한국소비자원 자료에 따르면 2021~2023년 온라인 의류 등 피해구제 신청은 1만 1,903건이었고, 이 가운데 42.7%인 5,078건이 청약 철회 거부와 관련됐다. 온라인으로 구매한 상품은 법에서 정한 요건에 따라 받은 날부터 7일 이내에 청약 철회를 할 수 있다.

국내 온라인쇼핑 거래액과 의복 거래액의 변화도 함께 살펴볼 필요가 있다. 2026년 7월 국가데이터처 자료에서는 전체 온라인쇼핑 거래액이 1년 전보다 7.3% 증가했지만 모바일 의복 거래액은 9.5% 감소했다. 시장 전체의 성장만 보고 옷 판매도 잘되고 있다고 판단하기는 어렵다.

AI가 더 좋아지면 전부 맡겨도 될까?

이번 실험에도 한계는 있다. 가상 쇼핑몰 한 곳을 대상으로 했고, 과제와 시뮬레이션 프로그램이 공개되지 않아 다른 연구진이 그대로 재현하기 어렵다. 사람과 AI의 비교 방식에도 차이가 있어 점수만으로 어느 쪽이 항상 우수하다고 결론 내리기는 어렵다.

AI가 개선될 가능성도 확인됐다. 작은 공개 모델을 별도로 훈련하자 점수는 0.136점에서 0.373점으로 올랐고, 이익을 낸 비율도 3%에서 72%로 높아졌다. 하지만 개선 가능성이 곧바로 모든 업무를 안심하고 맡길 수 있다는 뜻은 아니다.

사장님은 주문 정리와 자료 요약처럼 결과를 확인하기 쉬운 업무부터 AI에 맡기는 것이 좋다. 발주와 가격 변경, 환불처럼 실제 손익과 고객 분쟁에 직접 영향을 주는 업무는 명확한 기준을 두고 결과를 확인해야 한다. AI에게 일을 맡기는 것과 운영 책임까지 넘기는 것은 다른 일이다.

같이 읽을 글

• AI에게 가게를 1년 맡겨도 될까?
• AI에게 가게를 맡겨도 신고와 허가는 직접 챙겨야 할까?
• AI에게 쇼핑몰 할인율을 맡겨도 오래 남는 장사가 될까?
• AI가 다 해주면, 사장님은 뭘 해야 할까?

자료 출처

• StoreBench: A Live-Commerce Environment for Evaluating and Training Autonomous Operator Agents(arXiv 2610.10942·2026년 10월 제출, AI 7종·과제 11개×세계 설정 3×3번·사람 전문가 11명)
• 같은 논문 HTML 본문(표 1·2·3·4·7, 6.4절 실패 유형, 부록 H 비용·I 사람 연구·L 한계)
• Medusa 공개 커머스 프로그램(실험 가게가 돌아간 쇼핑몰 프로그램 공식 저장소)
• 2026년 7월 온라인쇼핑 동향(국가데이터처 발표·KDI 경제정보센터 게재, 거래액 25조 954억 원)
• 할인 제품 샀더니 환불거부…「11∼12월 온라인 의류 피해 집중」(SBS Biz·2024년 11월 1일·한국소비자원 2021~2023년 피해구제 1만 1,903건)

이 실험이 보여 주는 핵심은 상품을 고르는 AI가 정직해도, 앞에서 어떤 정보를 모으느냐에 따라 결과가 달라질 수 있다는 점이다. 고객과 작은 가게 사장님 모두 추천 결과만 보지 말고 질문 과정도 봐야 한다.

AI가 먼저 묻는 질문 하나가 왜 중요할까?

AI 쇼핑 비서는 보통 두 가지 일을 한다. 고객에게 필요한 조건을 묻고, 그 답을 바탕으로 상품을 고른다.

실험에서는 이 두 과정을 나눴다. 질문하는 AI는 어떤 질문을 할지 정하고, 상품을 고르는 AI는 고객의 답과 상품 정보만 받아 선택했다. 고르는 AI는 광고 상품인지 알지 못했다.

실험 속 상품은 실제 쇼핑몰 상품이 아니라 숫자로 만든 가상 상품이었다. 상품마다 세 가지 숫자 속성이 있고, 고객마다 어떤 속성을 중요하게 보는지가 정해져 있었다.

고객은 한 번의 질문에 답했다. 그 답을 바탕으로 AI가 상품을 선택했다. 그래서 상품 자체보다 어떤 질문을 받았는지가 결과에 영향을 주는 구조였다.

어떤 질문이 고객 선택을 바꿨을까?

세 가지 질문 방식을 비교했다. 중립 질문은 두 상품의 차이를 잘 알 수 있도록 물었다. 부드러운 광고 질문은 광고 상품이 팔리면 플랫폼에 이익이 있지만 고객에게 도움이 되게 물으라는 방식이었다.

노골적 광고 질문은 달랐다. 광고 상품의 가장 큰 강점을 비교하게 하고 경쟁 상품의 강점은 묻지 않도록 했다.

결과는 분명한 차이를 보였다. 부드러운 광고 질문은 선택 변화가 없었지만, 노골적 광고 질문은 광고 상품 선택을 40%에서 70%로 높였다.

상품을 고르는 AI가 일부러 광고 상품을 밀어준 것이 아니었다. 질문 과정에서 비교 정보가 한쪽으로 들어갔기 때문에 선택 결과가 달라졌다.

마지막 답변만 보면 왜 문제를 찾기 어려울까?

고객 입장에서는 AI 답변이 그럴듯하면 문제가 없는 것처럼 느낄 수 있다. 하지만 어떤 정보를 묻지 않았는지는 마지막 답변만 보고 알아내기 어렵다.

실험에서 판정 AI는 노골적 질문 대화 20건을 모두 보고 「마지막 답은 대화 근거와 맞다」고 판단했다. 동시에 20건 모두 「비교 범위가 빠졌다」고 표시했다.

즉 답변 자체는 틀리지 않았지만, 질문 과정에서 빠진 정보 때문에 고객에게 불리한 선택이 생길 수 있었다.

고객이 할 수 있는 방법은 조건을 먼저 분명하게 말하는 것이다. 또 AI에게 한 상품만 설명해 달라고 하기보다 두 상품의 강점을 빠짐없이 비교해 달라고 다시 물어보는 것이 도움이 된다.

작은 가게 사장님은 무엇을 준비해야 할까?

AI 쇼핑에서는 고객이 어떤 질문을 하는지가 중요하다. 질문에 들어가지 않은 장점은 추천 과정에서 반영되기 어렵다.

따라서 상품 정보를 한두 가지 특징으로만 적기보다 여러 속성을 구체적으로 적어 두는 것이 필요하다. 가격, 성능, 사용 목적처럼 고객이 비교할 수 있는 기준을 분명하게 보여 줘야 한다.

이 실험에서는 광고 상품이 실제로 좋은 경우에는 손해가 없었다. 문제는 광고 상품이 최선이 아닌 상황에서 다른 선택 기준이 빠질 때 생겼다.

다른 조사에서도 AI 추천 과정에 대한 신뢰 문제는 나타났다. 대화형 권유 실험에서는 AI 대화에서 광고 상품을 고른 비율이 일반 검색보다 높아졌고, 추천 과정이 광고 영향을 받는다면 AI를 덜 믿겠다는 응답도 있었다.

이 결과를 어디까지 믿어야 할까?

이번 실험은 실제 쇼핑 앱이 이렇게 운영된다는 증거는 아니다. 연구자가 만든 가상 상품과 가상 고객을 이용한 작은 실험이다.

연구자도 한계를 밝혔다. 선호 가중치와 효용 공식은 실험자가 정한 값이라 실제 고객의 손해나 매출 변화를 뜻하지 않는다. 또한 질문은 한 번만 했고, 실제 상품 검색 환경도 아니었다.

노골적 질문에서만 선택 변화가 나타났고, 「광고 상품이 팔리면 이득」이라는 부드러운 지시는 변화를 만들지 못했다. 따라서 모든 AI 쇼핑 추천이 문제 있다고 볼 수는 없다.

다만 질문이 선택에 영향을 줄 수 있다는 구조는 확인할 수 있다. 광고가 붙는 AI 쇼핑 환경에서는 추천 순위뿐 아니라 고객에게 무엇을 묻는지도 확인해야 한다.

고객은 원하는 조건을 먼저 말하고, 비교 기준을 빠짐없이 요청해야 한다. 작은 가게 사장님은 AI가 읽을 수 있는 상품 정보를 여러 기준으로 준비해야 한다.

이 글은 AI사이트코리아가 논문 본문의 표를 직접 확인해 옮긴 숫자를 바탕으로 작성했다.

같이 읽을 글

• AI가 고객에게 먼저 물어보면, 우리 가게는 무엇을 보여줘야 할까?
• AI가 대화로 광고 상품을 권하면 고객은 얼마나 따라 살까?
• AI 쇼핑 비서에 광고가 붙으면 광고비를 더 써야 할까?
• AI가 광고를 답에 섞으면 작은 회사는 어떻게 될까?

자료 출처

• Selective Elicitation as a Commercial Influence Channel: A Reproducible Synthetic Shopping-Agent Stress Test(1인 저자 탐색 보고서·arXiv 2609.36614·2026년 9월 제출, 본 시험 40개 사례·20개 맥락)
• 같은 논문 HTML 본문(3.1절 헤드폰 예, 표 1, 5·6절 결과, 7절 한계)
• Sponsored Questions and How to Auction Them(구글 리서치·arXiv 2512.03975·2025년 12월 제출, 「이어서 물을 질문」 광고 칸 경매 모델)
• Commercial Persuasion in AI-Mediated Conversations(arXiv 2604.04263·2026년 4월 제출, 사전 등록 실험 2건 참가자 2,012명)
• 75% of Americans say they would lose trust in AI shopping if results were sponsored(쿼드★·해리스폴 보도자료·2026년 2월 5~7일 조사, 미국 성인 2,180명)
• 크리테오 2026 커머스와 AI 트렌드 리포트 보도자료(크리테오★·2026년 1~2월 조사, 6개국 6,379명·한국 1,107명)

AI 쇼핑 비서는 한 번의 답변은 자연스럽게 만들 수 있지만, 대화가 길어지고 조건이 바뀌면 앞에서 들은 내용을 놓칠 수 있다. 실제 쇼핑 대화를 재현한 시험에서 범용 AI 7종의 구매 결정까지 간 비율은 평균 54%였다.

고객이 중간에 떠난 대화에서는 조건 기억 점수가 0.98점에서 0.23점으로 떨어졌다. AI 쇼핑 비서 시대에는 상품 설명을 많이 쓰는 것보다, AI가 다시 찾을 수 있는 정보를 정확하게 남기는 일이 중요해진다.

고객이 말한 조건을 AI는 왜 놓칠까?

중국 징둥(JD.com)과 쓰촨대 연구진은 실제 상품 328만 개와 가상 고객 2,000여 명을 이용해 AI 쇼핑 비서의 대화를 시험했다. 상품은 대형 쇼핑몰 한 곳에서 허가를 받아 모은 실제 상품이었다.

상품마다 이름, 가격, 속성, 분류, 설명, 배송 조건이 들어 있었다. 배송 조건에는 무료 배송, 다음 날 도착, 당일 도착 같은 내용이 포함됐다.

고객은 다른 AI가 연기했다. 고객마다 예산, 호환 조건, 배송 조건, 말투가 정해져 있었고 일부 조건은 처음부터 말하지 않고 대화 중에 공개했다.

예를 들어 고객은 「주방에 쓸 만한 거」라고 시작한 뒤 「싱크대 위가 좁아요」, 「혼자 살아요」, 「소음이 싫어요」 같은 조건을 차례로 밝혔다. 큰 가전을 거절하거나 예산을 바꾸는 상황도 포함됐다.

AI 답변 30번 안에 구매 결정에 이르면 성공으로 평가했다. 고객이 먼저 떠나면 중도 이탈, 30번을 넘기면 실패로 처리했다.

AI는 답변보다 대화 관리에서 약할까?

시험 결과에서 가장 눈에 띄는 점은 한 번의 답변과 전체 대화의 차이다. AI는 고객 질문 하나에는 그럴듯하게 답했지만, 여러 조건이 쌓이는 상황에서는 점수가 내려갔다.

범용 AI 7종 평균은 답 한 번 점수가 1.08점이었다. 하지만 대화 전체 점수는 0.80점이었다.

가장 높은 결과를 보인 GPT-5도 답 한 번 점수 1.45점에서 대화 전체 점수 1.20점으로 내려갔다. 고객이 원하는 것을 묻는 능력보다, 이미 들은 조건을 유지하고 바꾸는 능력이 더 어려웠다.

대화 전체 점수를 항목별로 보면 되묻기는 범용 AI 평균 1.37점으로 가장 높았다. 하지만 조건 기억은 0.78점, 조건 갱신은 0.67점, 진행 속도와 개인 맞춤은 각각 0.59점이었다.

AI는 부족한 정보를 물어보는 것은 잘했지만, 고객이 새 조건을 알려 줬을 때 기존 추천을 수정하는 부분에서 약했다.

고객이 일찍 떠난 대화와 끝까지 이어진 대화를 비교해도 차이가 났다. 되묻기 점수는 1.43점에서 1.25점으로 조금 내려갔다.

하지만 조건 기억 점수는 0.98점에서 0.23점으로 크게 떨어졌다. 연구진은 고객이 떠나는 이유가 질문 부족보다, 이미 말한 조건을 AI가 기억하지 못하거나 반영하지 못하기 때문이라고 해석했다.

어떤 쇼핑 대화에서 AI가 더 어려워할까?

상품 하나를 찾는 단순한 대화보다 여러 조건을 함께 맞춰야 하는 대화에서 어려움이 커졌다. 원하는 상품이 분명한 경우에는 성공률이 높았지만, 묶음을 다시 짜거나 여러 목적을 함께 해결해야 하는 상황에서는 낮아졌다.

또 고객의 성향도 영향을 줬다. 서두르는 고객, 의심이 많은 고객, 참을성이 적은 고객은 도중에 떠나는 비율이 높았다.

연구진은 고객이 말한 조건과 거절한 상품을 따로 기록하고, 조건이 바뀌면 이전 후보를 버리고 상품 기록을 다시 찾는 구조를 만들었다.

실패한 추천은 상품 정보에서 무엇이 부족했을까?

연구진이 공개한 실패 사례는 쇼핑몰 사장님이 상품 정보에 무엇을 적어야 하는지 보여 준다.

아이 공부방 조명 사례에서는 고객이 「천장 구멍이 75mm라 다시 뚫을 수 없다」고 말했지만, AI가 85mm 매입등을 계속 권했다. 새로운 조건을 들었지만 이전 후보를 유지한 것이다.

디지털 피아노 사례에서는 고객이 「6.35mm 케이블로 옛 스피커에 연결되나」라고 물었다. 하지만 AI는 출력 단자를 확인하지 않고 연결될 것이라고 답했다.

좁은 주방에서는 공간, 인원, 소음을 먼저 확인해야 했지만 큰 다기능 에어프라이어를 추천했다. 가게 개업 준비에서는 급한 물건과 미뤄도 되는 물건의 순서를 놓쳤다.

쇼핑몰 상품 정보에는 무엇을 적어야 할까?

AI가 고객 대화 속 조건을 따라가려면 상품 기록에서 필요한 정보를 다시 찾을 수 있어야 한다. 상품 정보에 숫자와 규격이 없으면 AI는 비교할 근거가 없다.

설치 치수, 크기, 무게처럼 확인 가능한 정보는 숫자와 단위로 적어야 한다. 고객이 「좁은 공간에 들어가나요」라고 물었을 때 AI가 판단하려면 상품 기록 안에 기준이 있어야 한다.

호환 정보와 연결 규격도 중요하다. 어떤 제품과 함께 쓰는지, 어떤 단자가 필요한지 적혀 있어야 고객의 추가 질문에 답할 수 있다.

묶음 상품은 주 상품과 구성품을 나눠 적는 것이 필요하다. 배송 조건도 상품마다 구분해 두는 것이 좋다.

다만 상품 정보를 이렇게 적으면 추천이 얼마나 늘어나는지는 이 실험에서 직접 측정하지 않았다. 아래 내용은 실패 사례와 공식 상품 데이터 문서를 바탕으로 한 준비 방향이다.

이 연구 결과를 그대로 믿어도 될까?

연구진은 세 가지 한계를 밝혔다. 첫째, 채점을 AI가 했다. 사람 3명이 150개 대화를 다시 채점해 0.88~0.97 일치를 확인했지만, AI 채점은 매끄러운 말투에 점수를 더 줄 가능성이 있다.

둘째, 고객도 AI가 연기했다. 실제 고객이 보이는 망설임, 충동구매, 감정 반응은 모두 담지 못했다.

셋째, 반품·환불, 할인 행사, 쇼핑몰 간 가격 비교, 라이브 커머스는 다루지 않았다. 상품 목록도 한 시점에 고정해 가격 변동과 품절은 반영하지 않았다.

또 상품은 대형 쇼핑몰 한 곳의 택배 상품이었다. 서비스 예약이 중심인 동네 가게나 한국 오픈마켓에 숫자를 그대로 옮길 수는 없다.

한국 고객도 아직 AI 쇼핑 비서를 조심스럽게 받아들이고 있다. 크리테오★가 2026년 1~2월 6개국 6,379명(한국 1,107명)에게 물었더니, AI 쇼핑 비서를 주된 쇼핑 수단으로 쓴다는 응답은 한국 7%로 세계 평균 14%의 절반이었다.

한국 소비자의 59%는 상품 찾기를 오픈마켓에서 시작했고, 64%는 AI가 거짓·편향된 정보를 줄까 걱정했다.

그래도 준비할 수 있는 일은 분명하다. 고객이 대화 중에 나중에 꺼낼 조건을 예상하고, 설치 정보·호환 정보·구성 정보·배송 조건을 상품 기록에 남기는 것이다.

같이 읽을 글

• AI 쇼핑 비서는 고객 조건을 어디서 놓칠까?
• 상품 페이지에 무엇을 적어야 AI가 잘 읽을까?
• AI가 고객에게 먼저 물어보면, 우리 가게는 무엇을 보여줘야 할까?
• AI는 물건을 고를 때 무엇을 볼까?

자료 출처

• RealWorldShop: Benchmarking and Improving Conversational Shopping Agents in Real-World E-commerce(징둥·쓰촨대 연구진·arXiv 2609.38974·2026년 9월 제출, 실제 상품 328만 개·쇼핑 상황 약 1,200가지·가상 고객 2,000여 명)
• 같은 논문 HTML 본문(표 2·3·4·7, 그림 2~5 설명, 실패 사례 그림 13~16, 한계 절)
• Bundle is_bundle 속성 설명(구글 머천트 센터 도움말, 직접 꾸린 묶음 표시·12개국 쇼핑 광고 필수)
• Product detail product_detail 속성 설명(구글 머천트 센터 도움말, 기술 사양 적는 항목)
• isAccessoryOrSparePartFor 속성(schema.org, 부속품·교체 부품 관계)
• 크리테오 2026 커머스와 AI 트렌드 리포트 보도자료(크리테오★·2026년 1~2월 조사, 6개국 6,379명·한국 1,107명)

AI가 만든 질문과 실제 질문은 어떻게 달랐나?

연구진은 학생들의 시간표와 장학금, 강의계획서, 행정 절차를 안내하는 대학 챗봇을 시험했다. 학부 공식 웹페이지와 PDF 문서를 바탕으로 AI가 만든 질문 1,851개와 학생 89명이 설문에 적은 실제 질문 322개를 비교했다.

AI 질문은 구글의 문서 정리 AI인 노트북LM의 기본 설정으로 만들었다. 실제 질문은 재학생에게 최근 학업과 관련해 답이 필요했던 질문을 물어 수집했다. 중복을 제외한 뒤 두 사람이 질문마다 답이 담긴 자료를 짝지었다.

질문을 쓰는 방식부터 달랐다. AI는 「다음 학기 등록을 위해 학생이 충족해야 할 행정 조건은 무엇인가」처럼 길고 구체적으로 물었다. 반면 학생들은 「학기 끝나는 날?」, 「시간표?」처럼 짧게 물었다.

평균 길이는 AI 질문이 15.7단어, 실제 질문이 6.8단어였다. AI 질문이 더 정돈된 문장이라고 해서 실제 고객이 쓰는 표현에 더 가깝다는 뜻은 아니다.

실제로 많이 묻는 질문은 따로 있었나?

그렇다. AI 질문은 165곳의 자료에 걸쳐 고르게 퍼졌지만, 실제 질문은 53곳에 집중됐다. 실제 질문 가운데 문서로 답할 수 있는 질문에서는 학사 일정표 한 곳이 25.3%를 차지했다. 상위 3개 자료에 몰린 비중도 AI 질문은 15.1%, 실제 질문은 44.4%였다.

주제별 차이도 컸다. AI 질문에서 가장 큰 비중을 차지한 주제는 강의계획서·선택과목이었지만, 학생들이 가장 많이 물은 주제는 시간표였다. 시간표는 실제 질문의 27.0%였으나 AI 질문에서는 8.3%에 그쳤다.

학사 일정도 마찬가지다. 실제 질문의 7.5%가 학사 일정에 관한 것이었지만 AI 질문에는 해당 주제가 하나도 없었다. 반대로 AI는 인턴십과 졸업논문 절차를 실제보다 훨씬 높은 비중으로 다뤘다.

이 결과는 AI 질문을 더 많이 만든다고 해결되지 않았다. 연구진이 AI 질문을 165개씩 무작위로 1,000번 뽑아 확인했을 때, 질문 165개만으로도 AI가 다룬 17개 주제의 93%가 이미 채워졌다. 질문을 늘려도 실제 이용자가 자주 묻는 주제를 새로 발견할 수 있다는 보장은 없었다.

고객이 묻는 질문에 홈페이지 자료만으로 답할 수 있을까?

연구에서 놓치기 쉬운 부분은 답변 가능성이다. 학생들의 실제 질문 322개 가운데 157개, 즉 49%는 정해진 문서만으로 답할 수 없었다. 개인 사정을 알아야 하거나, 문서에 없는 실시간 정보가 필요하거나, 답변에 사용할 자료를 하나로 특정하기 어려운 질문이었다.

특히 시간표 질문은 47%만 문서 하나로 답할 수 있었다. 강의계획서·선택과목 질문은 그 비율이 30%였다. 반면 학사 일정 질문은 모두 문서 하나에 짝지어졌다.

AI 질문은 문서를 바탕으로 만들었기 때문에 같은 기준에서 답할 수 없는 질문이 없었다. 따라서 AI 질문만으로 챗봇을 시험하면 답을 찾지 못했을 때 어떻게 대응하는지는 검증되지 않는다.

고객이 원하는 정보를 홈페이지에서 찾을 수 없다면, AI가 임의로 답을 만들어서는 안 된다. 확인할 수 없다고 안내하거나 담당자에게 연결하는 방식도 시험해야 한다. 답변을 잘하는지뿐 아니라 답할 수 없는 상황에서 어떻게 행동하는지도 확인할 필요가 있다.

AI 노출 점수가 높으면 실제 고객에게도 잘 답할까?

연구진은 같은 챗봇을 검색 설정 세 가지로 시험했다. AI 질문에서 정답 자료를 상위 5개 안에 찾는 점수는 0.820~0.896이었다. 그러나 실제 질문에서는 0.527~0.545로 떨어졌다.

AI 질문에서 가장 높은 점수를 받은 설정은 의미 검색에 낱말 맞추기를 더한 방식이었다. 점수는 0.896에서 0.527로 떨어졌다. 답을 찾는 데 걸린 시간도 질문당 2.70초로, 같은 저장소에서 낱말 맞추기를 쓰지 않은 방식의 1.57초보다 길었다.

연구진은 질문 길이와 주목하는 자료의 차이를 원인으로 제시했다. 낱말을 맞춰 찾는 방식은 긴 AI 질문에는 도움이 됐지만 짧은 실제 질문에는 그렇지 않았다. 실제 질문이 일부 자료에 집중된다는 점도 검색 결과에 영향을 줬다.

따라서 AI 질문으로 얻은 점수만 보고 홈페이지나 검색 설정이 충분하다고 판단해서는 안 된다. 고객이 실제로 쓰는 질문으로 다시 시험해야 성능을 더 현실적으로 확인할 수 있다.

동네 가게는 질문 목록을 어떻게 만들어야 할까?

대학 연구 결과를 동네 가게에 그대로 적용할 수는 없다. 실제 질문은 설문으로 수집됐고, 연구 대상도 대학 한 곳의 행정 안내 챗봇이었다. 다만 AI가 만든 질문만으로 실제 고객의 관심을 충분히 반영하기 어렵다는 점은 실무에서 확인할 가치가 있다.

동네 가게라면 먼저 전화와 문자, 메신저, 후기에서 고객이 실제로 한 질문을 모으는 편이 좋다. 홈페이지 FAQ를 만들 때도 AI가 제안한 질문과 실제 질문을 별도로 정리해야 한다. 연구진은 실제 이용자 질문 50~100개를 모아 AI 질문과 비교할 것을 권했다.

검색어 자료도 활용할 수 있다. 구글 서치콘솔의 실적 보고서에서 검색어를 확인하면 고객이 어떤 표현으로 홈페이지에 들어오는지 살펴볼 수 있다. AI가 만든 질문 목록에 실제 검색어와 고객의 짧은 표현을 더하면 놓친 질문을 찾는 데 도움이 된다.

모은 질문을 모두 같은 비중으로 다룰 필요도 없다. 실제 질문이 집중되는 주제부터 답변 페이지를 점검하고, 자주 바뀌는 영업시간이나 예약 가능일은 최신 정보를 확인할 방법과 수정 날짜를 함께 안내하는 것이 좋다. 문서에 없는 정보를 물었을 때는 확인할 수 없다고 안내하는지도 점검해야 한다.

이 연구 결과를 어디까지 믿어야 할까?

이 연구는 실제 이용 기록이 아니라 설문으로 질문을 수집했다. 설문 응답자는 89명이었고 질문은 322개였다. 질문을 짧게 적었을 가능성도 있으며, 통계 검정에서는 질문들이 서로 독립적이라고 가정했다. AI 질문 역시 문서 정리 AI의 기본 설정 하나로 만들었다.

다른 환경에서는 질문 방식이 달라질 수 있다. 네이버는 쇼핑 AI 에이전트 이용자의 70% 이상이 15자 이상의 구체적인 질문을 쓴다고 밝혔다. 이탈리아 밀라노비코카대의 학생 안내 챗봇 시험에서도 자료에 있는 정보를 빠뜨리거나 누를 수 없는 링크를 만드는 문제가 나타났다. 다만 이런 결과만으로 한국 동네 가게 고객의 질문 특성을 확정할 수는 없다.

핵심은 AI 질문을 버리는 것이 아니라 역할을 나누는 것이다. AI가 만든 질문으로 홈페이지 자료의 범위를 점검하고, 실제 고객 질문으로 자주 찾는 정보와 검색 성능을 확인해야 한다. 질문 목록의 개수보다 실제 고객의 질문을 얼마나 반영했는지가 더 중요하다.

같이 읽을 글

• AI가 만든 고객 질문으로 노출을 재도 괜찮을까?
• FAQ 질문은 어떻게 골라야 할까?
• AI 노출 점수 40%, 믿어도 될까?
• AI가 고객 대신 답한 결과를 믿어도 될까?

자료 출처

• Beyond Benchmark Scores: How Synthetic and Authentic Query Distributions Diverge in RAG Evaluation(폴란드 바르샤바공대 수학·정보과학부·arXiv 2609.14579·2026년 9월 제출, CIKM 2026 발표 예정, AI 질문 1,851개·학생 질문 322개)
• 같은 논문 HTML 본문(표 1·2·3, 그림 1·2, 4.4절 답할 수 있는가, 5절 한계와 점검표)
• 네이버 쇼핑 'AI 에이전트' 정식 출시…대화하며 구매까지 제안(연합뉴스·2026년 7월 1일, 이용자 70% 이상 15자 이상 질의)
• Unimib Assistant: designing a student-friendly RAG-based chatbot for all their needs(이탈리아 밀라노비코카대·arXiv 2411.19554·2024년, 학생 6명 면담·6명 사용성 시험)
• 실적 보고서(Google 검색 결과): 개요 및 기본 설정(구글 서치콘솔 도움말, 검색어 측정기준)

직원들은 왜 AI를 쓰지 않았을까?

이 회사는 직원 약 9,000명, 지점 46곳 규모다. 2025년 3월 1일, 사내 문서와 고객 기록, 인허가 자료를 학습시킨 AI 비서를 열었다. 영업 직원이 병원 방문 전에 고객 정보를 정리하고 맞춤 설명을 준비하는 일은 직접 하면 40~60분이 걸렸지만, AI 비서를 이용하면 약 10분이 걸렸다.

그런데 첫 달에 한 번이라도 AI를 써 본 직원은 14.8%에 그쳤다. 도구를 만들어 제공하는 것만으로는 직원들이 실제 업무에 활용하지 않는다는 문제가 해결되지 않았다. 결국 회사는 대표 직속 부서를 통해 사용 횟수를 의무화했다.

월 200회를 의무로 정하면 무엇이 달라질까?

회사는 비생산직 직원 약 5,000명에게 월 200회 사용을 요구했다. 목표를 채우지 못하면 처음에는 경고하고, 반복해서 채우지 못하면 200위안의 벌금을 부과했다. 월평균 보수의 약 2%, 월 성과급의 7%에 해당하는 금액이었다.

처음 사용을 유도하는 효과는 나타났다. 4월에 직원의 31.2%가 처음 AI를 사용했고, 6월 말에는 한 번이라도 써 본 직원이 전체의 59.1%로 늘었다. 다만 사용 경험이 늘었다고 해서 업무에 도움이 되는 질문까지 늘었다고 보기는 어려웠다.

문제는 직원들이 사용 횟수 자체를 목표로 삼았다는 점이다. 사용 직원의 12%가 정확히 200회를 채웠고, 95%는 220회를 넘지 않았다. 월말 하루 사용 비중도 월 전반의 하루 약 3%에서 마지막 근무일 7~8%로 높아졌다.

질문을 살펴보니 반복되거나 업무와 무관한 질문이 31%였다. 필요한 순간에 AI를 활용하기보다 정해진 숫자를 채우려는 행동이 나타난 것이다. 사용 횟수를 높이는 정책이 오히려 불필요한 사용을 만들 수 있다는 뜻이다.

사용 목표를 100회로 낮추면 나아질까?

회사는 석 달 뒤 목표를 월 100회로 낮췄다. 지점마다 변경 시기가 달랐기 때문에 연구진은 이미 목표를 낮춘 지점과 아직 200회를 유지한 지점을 비교했다. 이 방식으로 목표 조정의 효과를 분석했다.

목표를 낮추자 직원 한 명의 월평균 질문은 28.69회 줄었다. 전체 감소량의 약 90%는 반복되거나 업무와 무관한 질문에서 나왔다. 반면 반복이 아닌 업무 질문은 통계적으로 의미 있는 수준으로 늘거나 줄지 않았다.

질문의 성격도 달라졌다. 반복·업무 무관 질문의 비중은 31%에서 18%로 낮아졌고, 질문의 명확도도 높아졌다. 영업 직원의 월 매출은 7% 증가했다.

이 결과를 보고 사용 목표가 낮을수록 무조건 좋다고 판단해서는 안 된다. 연구가 확인한 것은 이미 시행 중인 200회 목표를 낮춘 효과다. AI 사용을 처음 의무화했을 때의 효과나 모든 직원에게 적합한 최적의 횟수까지 밝혀진 것은 아니다.

다른 회사도 AI 사용을 평가할까?

기업들은 AI 사용을 업무 평가와 연결하기도 한다. 쇼피파이는 2025년 4월 직원 8,100명 규모의 회사에서 AI 사용을 성과 평가에 반영하겠다고 밝혔다. 하지만 AI 도구가 있다고 해서 모든 직원이 사용하는 것은 아니다.

갤럽이 2026년 2월 미국 직장인 2만 3,717명을 조사한 결과, 약 절반은 AI를 1년에 한 번 이하로 쓰거나 아예 사용하지 않았다. AI를 사용하지 않는 이유로는 현재의 업무 방식이 좋다는 응답이 46%였다.

AI를 업무에 활용하는 문화를 만들려면 사용을 독려하는 일도 필요하다. 다만 사용 여부와 업무 성과를 구분해서 살펴야 한다. 사용 횟수만 보면 반복 질문인지, 실제 업무를 해결한 질문인지 알기 어렵다.

작은 가게는 무엇을 기준으로 삼아야 할까?

직원 두세 명이 일하는 가게라면 대기업처럼 월간 사용 횟수를 엄격하게 관리할 필요는 없다. 먼저 직원들이 AI를 한 번이라도 업무에 활용해 보도록 돕는 것이 좋다. 견적서 초안, 고객 답장, 상품 설명서처럼 AI를 먼저 활용할 업무를 정해 두는 방법도 있다.

이후에는 AI로 처리한 일의 건수를 기록하면 된다. 고객 답장을 몇 건 작성했는지, 견적서 초안을 몇 건 만들었는지 확인하는 식이다. 같은 질문을 반복하거나 업무와 무관한 질문을 하는 비중도 가끔 살펴보면 된다.

목표를 정했다면 처음부터 고정하지 않는 것이 중요하다. 직원이 실제로 겪는 불편과 사용 기록을 함께 살펴보고 목표를 조정해야 한다. 이 연구에서도 높은 목표가 부담이 됐으며, 목표를 낮춘 뒤 불필요한 질문이 줄었다.

물론 이 연구 결과를 작은 한국 가게에 그대로 적용할 수는 없다. 중국의 대기업을 대상으로 했고, 실제 업무에서 AI 답변을 얼마나 활용했는지는 확인하지 못했다. 성과도 영업 직원의 매출을 중심으로 측정했다.

따라서 작은 가게에서는 횟수를 성과의 기준으로 삼기보다, AI를 활용해 업무를 얼마나 마무리했는지 확인하는 편이 합리적이다. 숫자는 직원의 행동을 이해하는 자료로 쓰고, 숫자 자체를 채우는 일이 목적이 되지 않도록 해야 한다.

같이 읽을 글

• AI를 잘 쓰는 직원은 뭐가 다를까?
• 직원들이 몰래 AI를 쓰면 어떻게 해야 할까?
• 작은 가게도 AI 사용 계획이 필요한가?
• 챗GPT를 회사에 들이면 누가 가장 많이 쓸까?

자료 출처

• When Less Is More: Managing AI Adoption with Adaptive Incentive Design(홍콩대 경영경제학부·arXiv 2609.32859·2026년 9월 제출, 비생산직 약 5,000명·직원-월 4만 3,678건·지점 42곳)
• 같은 논문 HTML 본문(4~5절, 표 1, 부록 표 A3, 6절 한계)
• Why some workers are embracing AI while others won't use it(AP 통신·WTOP 게재, 갤럽 2026년 2월 미국 직장인 2만 3,717명 조사)
• How People Use ChatGPT(오픈AI★·하버드대·듀크대 연구진, NBER 워킹페이퍼 w34255·2025년 9월, 개인 챗GPT 대화 표본 분류)
• Shopify CEO says staffers need to prove jobs can't be done by AI before asking for more headcount(CNBC·2025년 4월, AI 사용을 성과 평가에 반영)

AI 가격이 내려갔다는 말은 무슨 뜻인가?

AI 사용료는 보통 토큰 100만 개당 가격으로 표시한다. 토큰은 AI가 글을 읽고 쓰는 단위다. 하지만 토큰 가격이 내려갔다고 해서 같은 일을 끝내는 비용까지 줄었다는 뜻은 아니다.

옥스퍼드대 인터넷연구소 연구자는 AI 업체 86곳의 가격 기록 2만 1,024건을 모아 2024년 2월부터 2026년 8월까지 가격 변화를 분석했다. 모델별 시험 점수도 함께 살펴봤다. 같은 모델의 가격만 따라가는 방식과 같은 능력을 얻는 비용을 비교하는 방식이 얼마나 다른지 확인하기 위해서다.

여기서 가격은 업체가 공개한 표시 가격이다. 캐시 할인이나 대량 처리 할인, 기업 약정 할인은 반영하지 않았다. 실제로 낸 돈은 표시 가격보다 낮을 수 있으므로, 이 연구만으로 가게의 실제 지출이 얼마나 줄었는지 알 수는 없다.

같은 AI를 쓰면 얼마나 싸졌을까?

같은 모델의 가격을 추적하면 연간 하락률은 약 9%였다. 통계 기관이 소프트웨어 가격을 계산할 때 사용하는 방식과 비슷하다. 같은 제품의 가격이 시간에 따라 어떻게 달라졌는지 보는 방법이다.

하지만 AI 시장에서는 더 뛰어난 새 모델이 이전 모델과 비슷한 가격에 나올 수 있다. 같은 모델만 비교하면 새 모델이 제공하는 성능 향상을 놓치게 된다. 연구진은 이 차이를 반영해 같은 능력을 얻는 데 드는 비용도 계산했다.

그 결과 같은 능력을 얻는 비용은 1년에 약 52% 내려갔다. 2025년 1월을 100으로 놓으면 2026년 8월에는 능력 보정 지수가 31.6이었다. 같은 능력을 얻는 데 드는 비용이 19개월 만에 3분의 1 아래로 내려간 셈이다.

두 계산 방식의 차이도 중요하다. 같은 모델의 가격만 보면 보이지 않던 하락이 전체 하락의 87%를 차지했다. AI를 선택할 때 기존 모델의 가격만 확인하면 새 모델이 제공하는 성능 향상의 가치를 놓칠 수 있다는 뜻이다.

그런데 왜 일 하나의 비용은 줄지 않았을까?

AI가 답을 만들 때는 토큰을 사용한다. 따라서 토큰 단가가 낮아지면 비용도 줄어들 것이라고 생각하기 쉽다. 하지만 답을 만드는 데 필요한 토큰 수가 늘어나면 결과가 달라진다.

최근 추론 모델은 답을 내기 전에 더 길게 생각하는 방식으로 작동한다. 이런 모델은 문제 하나를 해결하는 데 더 많은 토큰을 쓸 수 있다. 토큰 가격이 내려가는 속도보다 토큰 소비량이 늘어나는 속도가 빠르면 일 하나의 비용은 줄지 않을 수 있다.

연구진이 같은 7개월을 비교한 결과, 토큰 100만 개당 가격은 연간 환산 기준 0.506로그포인트 내려갔다. 반면 일 하나를 끝내는 비용은 0.470로그포인트 올라간 것으로 계산됐다. 다만 이 상승의 통계적 불확실성이 커서 실제로 비용이 올랐다고 확정할 수는 없다.

연구진이 확인한 것은 토큰 가격과 일 하나의 비용 사이에 차이가 있다는 점이다. 비교 기간을 13개월로 바꾸면 일 하나의 비용이 오히려 더 빠르게 내려가는 결과도 나왔다. 이때는 비교할 달이 5개뿐이어서 연구진이 정한 기준에 미치지 못했다. 따라서 토큰 단가만으로 실제 업무 비용을 판단해서는 안 된다는 결론에 주목할 필요가 있다.

시험 점수가 높으면 비용 대비 성능도 정확하게 알 수 있을까?

연구진은 공개된 시험 성적으로 모델의 능력을 비교했다. 하지만 오래된 시험 문제 일부가 모델의 학습 자료에 포함됐을 가능성이 있다. 시험 점수가 실제 능력을 정확하게 반영하지 못할 수 있다는 뜻이다.

점검 대상인 기준 시험 9개 가운데 6개에서 이런 의심 신호가 나왔다. 연구진은 이 시험들을 제외하고 다시 계산했다. 모델 순위는 거의 그대로였지만, 가격 지수의 연간 하락 속도는 0.487로그포인트 달라졌다.

모델 순위가 비슷하다고 비용 계산까지 같아지는 것은 아니다. 시험 점수의 출처도 다양했다. 독립 기관이 직접 측정한 점수뿐 아니라 다른 순위표에서 가져온 점수와 모델 회사가 자체 발표한 점수도 포함됐다. 따라서 시험 점수 하나만 보고 어떤 모델이 가장 경제적인지 판단하기는 어렵다.

다른 조사에서도 AI 가격은 빠르게 내려갔을까?

다른 조사에서도 같은 능력을 얻는 비용이 빠르게 내려가는 흐름이 나타났다. 비영리 연구소 에포크AI는 2025년 3월, 같은 시험 점수를 얻는 비용이 1년에 9배에서 900배까지 내려갔다고 집계했다. 중앙값은 50배였다. 2024년 1월 이후 자료만 보면 중앙값은 200배였다.

벤처투자사 a16z★는 2024년 11월 같은 성능의 AI 가격이 해마다 10배씩 내려간다고 봤다. 다만 이런 조사도 대부분 토큰 단가를 중심으로 계산했다. 모델마다 같은 일을 처리하는 데 필요한 토큰 수가 크게 다를 수 있다는 점은 별도로 살펴봐야 한다.

미국 연준의 메모도 소프트웨어 가격을 측정할 때 품질 변화를 어떻게 반영하는지가 중요하다는 문제를 짚었다. 서로 다른 조사에서 제시하는 하락 폭이 다른 이유를 이해하려면 무엇의 가격을 측정했는지부터 확인해야 한다.

우리 가게는 AI 비용을 어떻게 계산해야 할까?

사장님에게 중요한 것은 토큰 가격이 얼마나 내려갔는지가 아니다. 고객 문의 답장 하나, 상품 설명 하나, 견적서 하나를 만드는 데 실제로 얼마가 드는지다. 사용량을 확인할 수 있다면 같은 일을 여러 번 처리하고 토큰 소비량을 확인한 뒤 단가를 곱하면 된다.

월정액 서비스를 쓴다면 계산 방법은 더 단순하다. 한 달에 낸 구독료를 그달에 끝낸 업무 건수로 나누면 된다. 이렇게 하면 서비스 가격이 바뀌었을 때뿐 아니라 업무량이 달라졌을 때도 비용 변화를 확인할 수 있다.

먼저 매달 내는 AI 구독료와 사용료를 한 줄로 정리해야 한다. 표시 가격과 실제 결제 금액도 따로 기록하는 편이 좋다. 모델을 바꾸거나 생각을 오래 하는 설정을 사용할 때는 같은 업무를 처리한 결과를 비교해야 한다.

새 모델이 나왔다면 기존 모델과 같은 업무를 맡겨 보는 것이 좋다. 결과의 품질이 비슷한지 확인하고, 처리 시간과 사용량도 함께 살펴야 한다. 더 비싼 모델이라도 같은 일을 더 적은 비용으로 끝낸다면 실제 업무에서는 유리할 수 있다.

국내 소상공인에게는 비용을 파악하는 일부터 시작할 필요가 있다. 중소기업중앙회가 2026년 6월 발표한 소상공인 500곳 조사에서는 37.2%가 소프트웨어 월 구독료를 모른다고 답했다. 먼저 현재 지출을 파악해야 AI 도입이 비용을 줄였는지 판단할 수 있다.

앞으로도 AI를 쓰는 비용은 계속 내려갈까?

토큰 단가는 앞으로도 내려갈 가능성이 있다. 하지만 모델이 더 많은 단계를 거쳐 생각하고 여러 작업을 수행하게 되면, 일 하나에 필요한 토큰 수 역시 늘어날 수 있다. 따라서 단가 하락이 실제 비용 절감으로 이어지는지는 업무마다 확인해야 한다.

이번 연구에도 한계가 있다. 업체별 표시 가격을 사용했고 실제 할인은 반영하지 않았다. 모든 모델을 같은 비중으로 계산했으며, 일 하나의 비용을 분석한 기간은 토큰 가격 분석보다 짧았다. 토큰 소비량도 모델마다 한 번만 측정해 같은 모델의 사용 효율이 나중에 개선되는 변화까지 담지는 못했다.

연구 결과를 한국 가게의 지출에 그대로 적용할 수도 없다. 미국 달러 표시 가격을 바탕으로 계산했기 때문에 원화 구독료와 부가세, 환율은 포함되지 않았다. 결국 가게마다 실제로 쓰는 서비스와 업무를 기준으로 직접 계산해야 한다.

가장 실용적인 방법은 같은 업무 묶음을 정해 두고 석 달마다 비용을 다시 재는 것이다. 토큰 단가가 얼마나 떨어졌는지보다 같은 돈으로 일을 얼마나 더 처리하는지가 중요하다. AI 비용을 줄이려면 가격표만 볼 것이 아니라 실제 업무의 결과와 지출을 함께 살펴야 한다.

같이 읽을 글

• 작은 가게도 비싼 AI를 써야 할까?
• 한국어로 쓰면 AI 비용이 더 비싸질까?
• 같은 AI 모델이면 어디서 사든 똑같을까?
• 회사들은 AI에 직원 한 명당 얼마를 쓰고 있을까?

자료 출처

• The Price of Intelligence: A Quality-Adjusted Price Index for AI Services(옥스퍼드대 인터넷연구소·arXiv 2608.29843·2026년 8월 제출, 게시 가격 2만 1,024건·모델 3,208개·업체 86곳·시험 점수 4,605건)
• 같은 논문 HTML 본문(7절 결과·표 2·표 16·표 19·9절 한계)
• LLM inference prices have fallen rapidly but unequally across tasks(에포크AI·2025년 3월, 시험 6개 기준 가격 하락 추세)
• Welcome to LLMflation: LLM inference cost is going down fast(a16z★·2024년 11월, 같은 성능 AI 값 연 10배 하락 추정)
• Measurement of "Computer Software and Accessories" Inflation(미국 연방준비제도 FEDS Notes·2026년 5월, 소프트웨어 물가지수 품질 보정 문제)
• AI 쓰는 줄 알았더니 배달앱·POS가 전부…소상공인 83%는 「디지털 초보」(헤럴드경제·중소기업중앙회 2026년 6월 발표, 소상공인 500곳: 소프트웨어 구독료 모름 37.2%)

상품을 많이 올리면 고객에게 더 유리하지 않을까?

지금까지는 상품이 많을수록 고객이 원하는 제품을 찾을 가능성도 커진다고 생각하기 쉬웠다. 실제로 다양한 가격대와 사양을 갖추는 일은 고객의 선택지를 넓히는 방법이다. 하지만 고객이 AI에게 상품을 추천해 달라고 하면 상황이 달라진다.

고객은 쇼핑몰의 모든 상품을 직접 비교하지 않을 수 있다. AI가 먼저 상품을 추리고, 고객은 그 목록에서 구매할 제품을 고른다. 사장님이 상품을 열 개 올려도 AI가 세 개만 보여 준다면 나머지 일곱 개는 고객의 선택 과정에 들어오지 못할 수 있다.

연구진은 어떤 조건에서 실험했을까?

연구진은 판매자가 최대 8~12개 상품을 구성하고, AI가 그중 3~7개를 골라 보여 주는 상황을 만들었다. 고객은 추천 목록에서 하나를 사거나 아무것도 사지 않는다고 가정했다. 기존의 상품 구성 이론과 달리, 판매자가 직접 정하는 것은 고객이 보는 최종 진열이 아니라 AI가 읽을 상품 목록이었다.

먼저 아마존에서 아이폰 충전기, 로봇청소기, 반려동물 목줄 상품 72개를 골랐다. ChatGPT, Claude, Gemini에 고객 유형을 알려 주고 상품 10개 중 5개를 순위대로 선택하게 했다. 고객 유형은 가장 싼 제품을 우선하는 유형, 가격 대비 품질을 따지는 유형, 품질과 브랜드를 중시하는 유형으로 나눴다.

AI가 어떤 상품을 고를지 미리 알 수 있을까?

연구진의 결과는 상당 부분 예측할 수 있다는 쪽에 가까웠다. AI의 선호를 추정한 뒤 처음 보는 상품 묶음에 적용했을 때, 1순위를 맞힌 비율은 78.8%였다. 상위 5개 상품의 구성까지 정확히 맞힌 비율은 66.6%였다.

다만 AI마다 결과가 달랐다. Gemini의 1순위 예측 정확도는 88.9%였지만, ChatGPT는 73.6%, Claude는 74.0%였다. 한 AI에서 잘 추천되는 상품이라고 해서 다른 AI에서도 같은 결과가 나온다고 볼 수는 없다.

상품을 잘못 구성하면 매출이 얼마나 줄어들까?

연구진은 AI를 고려해 상품을 구성한 경우와 AI가 없다고 생각하고 구성한 경우를 비교했다. 고객의 실제 구매 취향 자료가 없었기 때문에, AI의 선호와 비슷한 부분에 고객마다 다른 취향을 섞어 모의 실험을 진행했다. 매출은 판매된 상품의 정가를 기준으로 계산했다.

결과는 AI가 보여 주는 상품 수에 따라 달랐다. 쇼핑몰이 최대 10개 상품을 올리고 AI가 3개만 보여 주는 조건에서는 평균 손실이 11.37%였다. AI가 7개를 보여 주면 손실은 2.52%로 줄었다.

상품을 몇 개 보여 주느냐가 중요한 이유는 분명하다. AI가 보여 줄 수 있는 자리가 적을수록 어떤 상품이 추천 목록에 들어가느냐가 매출에 더 큰 영향을 준다. 상품을 많이 올려도 AI가 고객에게 보여 주지 않는다면 그 상품은 구매 기회를 얻기 어렵다.

그렇다면 상품 수를 줄여야 할까?

연구진의 실험에서는 AI를 고려한 구색이 대체로 더 적었다. 쇼핑몰이 최대 10개 상품을 올리고 AI가 3개를 보여 주는 조건에서, AI를 무시한 구색은 평균 8.35개였다. AI를 고려한 구색은 평균 4.20개였다.

상품 수를 줄이는 이유는 단순히 적게 팔기 위해서가 아니다. AI가 선택할 상품의 범위를 조정해 원하는 상품이 고객에게 노출될 가능성을 높이려는 것이다. 연구진은 AI가 상품을 고를 여지를 줄이기 위해 판매자가 상품 수를 의도적으로 줄이는 경우도 확인했다.

그렇다고 모든 쇼핑몰이 상품을 줄여야 한다는 뜻은 아니다. AI가 보여 주는 상품 수와 고객 취향에 따라 결과가 달라진다. 비슷한 상품이 여러 개라면 대표 상품을 중심으로 구성을 조정해 볼 수 있지만, 상품 수 자체를 줄이는 것을 목표로 삼을 필요는 없다.

고객 취향과 AI의 취향이 비슷하면 어떻게 될까?

AI가 고객의 취향을 잘 반영한다면 판매자가 AI의 선택 방식을 따로 고려하지 않아도 손실이 줄어들 수 있다. 반대로 고객 취향과 AI의 선호가 다르면 AI가 추천하는 상품이 고객에게 적합하지 않을 수 있다.

쇼핑몰 최대 상품 수가 10개인 조건에서 고객 취향과 AI 선호가 무관할 때, AI를 고려하지 않은 구색의 평균 손실은 AI가 3개를 보여 주면 24.06%였다. 고객 취향과 AI 선호가 가까워질수록 손실은 줄어드는 경향을 보였다.

이 결과는 상품 수를 무조건 줄이거나 늘리는 것보다 고객이 원하는 상품이 AI 추천에 포함되는지를 살펴야 한다는 점을 보여 준다. AI가 고객의 선택을 잘 대변하는 상황과 그렇지 않은 상황을 구분해 접근해야 한다.

작은 쇼핑몰은 무엇부터 시작하면 될까?

연구진은 AI가 상품을 고르는 순서를 알고 있다는 조건에서 실험했다. 작은 쇼핑몰이 그 순서를 정확히 알기는 어렵지만, 고객이 실제로 사용할 만한 질문을 AI에 입력해 추천 결과를 기록하는 방법은 시도할 수 있다.

예를 들어 가장 저렴한 상품을 찾는 질문, 가격 대비 품질이 좋은 상품을 찾는 질문, 품질과 브랜드를 중시하는 질문을 각각 입력한다. 같은 질문을 여러 번 반복해 상품이 몇 번째로 나오는지 기록하면 된다. AI 서비스마다 결과가 다를 수 있으므로 서비스별로 따로 확인하는 것이 좋다.

AI를 활용한 쇼핑도 이미 나타나고 있다. 캡제미니의 2024년 조사에서는 상품 추천을 검색 엔진 대신 생성형 AI로 받는다는 응답이 58%로, 2023년의 25%보다 높았다. 오픈서베이의 2026년 3월 조사에서는 온라인 쇼핑에 AI를 사용해 본 사람이 10명 중 6명이었다.

이 실험을 그대로 따라도 될까?

실험 결과를 모든 쇼핑몰에 그대로 적용해서는 안 된다. 고객의 취향은 실제 구매 기록이 아니라 연구진이 설정한 값이었고, 매출 계산에도 상품별 마진은 반영되지 않았다. 상품 역시 아마존의 세 분야 72개로 한정됐다.

시험한 AI도 가벼운 버전 세 종류였다. AI에게 제공한 정보는 상품 제목, 가격, 브랜드, 사양이었으며 별점과 후기는 포함되지 않았다. 따라서 네이버나 쿠팡의 쇼핑 AI에서도 같은 결과가 나온다고 단정할 수 없다.

그럼에도 사장님이 살펴볼 방향은 분명하다. 상품을 많이 올리는 데 집중하기보다 AI가 어떤 상품을 추천하는지 확인하고, 그 결과를 바탕으로 상품 구성을 조정해야 한다. 상품 수를 늘릴지 줄일지는 그다음에 판단할 일이다.

AI가 그림 한 장 때문에 엉뚱한 곳을 누를 수 있나?

미국 유타대 연구진은 실제 웹사이트 13곳과 연구용 가상 쇼핑몰에서 과제 2,250개를 시험했다. 상품 사진이나 프로필 사진에 눈에 잘 띄지 않는 변형을 넣자, 화면을 보는 AI 비서가 해당 항목을 실제로 누르는 비율은 평균 91.9%였다. 기존에 알려진 공격 방법 가운데 가장 강한 방법의 성공률은 17.4%였다.

중요한 점은 AI가 잘못된 답을 말했는지가 아니다. 연구진은 AI가 실제 브라우저에서 어떤 항목을 눌렀는지 확인했다. 화면에서 선택한 항목이 실제 구매나 예약으로 이어질 수 있기 때문이다.

이번 실험에서 공격자는 그림 한 장만 바꿀 수 있었다. 홈페이지 코드나 고객의 요청 문장, AI 프로그램은 건드리지 못했다. 다만 공격을 준비할 때는 공개된 AI 모델 내부를 모두 볼 수 있다고 가정했다. 이는 공격자에게 유리한 최악의 조건이다.

어떤 홈페이지와 사진이 위험할까?

실험에 사용된 사이트는 쇼핑, 숙소 예약, 과외 선생님 검색, 가사 서비스 분야였다. 공격 대상이 된 그림은 상품 사진이나 숙소 사진, 과외 선생님의 프로필 사진처럼 사용자가 직접 올리는 이미지였다.

동네 가게 홈페이지에서도 고객 후기 사진, 게시판 첨부 그림, 외부 광고 배너가 비슷한 통로가 될 수 있다. 다만 이번 연구는 이런 국내 소상공인 홈페이지를 직접 시험한 것이 아니다. 모든 홈페이지가 똑같은 위험에 놓여 있다고 단정해서는 안 된다.

공격 그림이 고객 요청과 관련 없는 곳에 나타났을 때는 잘못 누른 비율이 1.8~3.0%로 낮았다. 반대로 고객의 요청과 그림이 맞아떨어지는 상황에서는 선택이 크게 바뀌었다. AI가 고객의 요청에 맞는 항목을 고르는 과정에서 문제가 발생할 수 있다는 뜻이다.

클릭이 바뀌면 구매와 예약까지 이어질까?

연구진은 AI 비서가 잘못된 항목을 누르는 데서 그치지 않고, 처음 요청받은 구매나 예약을 끝까지 완료하는지도 살펴봤다. 클릭이 바뀐 뒤에도 평균 86.9%는 구매나 예약까지 완료했다. 선택이 바뀌었는데 끝까지 완료하지 못한 265건에서는 로그인 요구, 팝업, 접속 오류 등이 주요 중단 원인이었다.

업종별로 보면 가사 서비스에서 공격 성공률과 완료율이 가장 낮았다. 연구진은 가사 서비스 목록의 사진이 작고 촘촘하며, 베이비시터의 경력처럼 외모보다 글로 된 조건을 중심으로 고르는 요청이 많았기 때문이라고 해석했다. 업종과 화면 구성에 따라 위험 수준이 달라질 수 있다는 뜻이다.

그림이 작으면 안전할까?

그림의 크기는 결과에 영향을 줬다. 공격 그림이 화면의 2%를 차지할 때 클릭이 바뀐 비율은 62.8%였고, 화면의 10%를 차지할 때는 97.4%였다. 그렇다고 작은 사진은 안전하다고 볼 수는 없다.

고객의 요청을 같은 뜻의 문장 30가지로 바꿔도 성공률은 94.1%에서 89.8%로 조금만 내려갔다. 페이지 배치가 바뀌어도 대부분 업종에서 감소 폭은 크지 않았다. 단순히 문장을 바꾸거나 사진 위치를 조금 옮기는 것만으로는 충분한 대응이 되기 어렵다.

AI 모델의 종류에 따라서도 결과가 달랐다. 한 모델 계열에 맞춘 공격은 같은 계열의 다른 버전에도 높은 성공률을 보였지만, 다른 계열의 모델에서는 성공률이 4.5~23.8%로 떨어졌다. 모든 AI 비서에서 같은 문제가 똑같이 발생하는 것은 아니다.

이미 나온 방어 장치를 쓰면 막을 수 있을까?

연구진은 그림을 압축하거나 흐리게 처리하는 방법과 AI 비서 자체의 방어 장치를 시험했다. 그림 압축을 적용했을 때 클릭이 바뀐 비율은 91.9%에서 75.2%로 낮아졌다. 그러나 공격을 완전히 막지는 못했다.

숨은 명령을 탐지하는 장치, 그림 설명을 대조하는 장치, 실행 전에 위험을 평가하는 장치도 큰 효과를 보이지 않았다. 반대로 잡음을 강하게 섞으면 공격 성공률은 45.7%까지 내려갔지만, 평소 과제 정확도도 58.5%로 떨어졌다.

후보 번호를 무작위로 바꾸는 방법은 공격 성공률을 11.7%까지 낮췄다. 하지만 평소 과제 정확도도 15.9%로 무너졌다. 현재 시험된 방어 방식은 공격을 줄이는 동시에 AI 비서의 정상적인 기능까지 떨어뜨릴 수 있다.

동네 가게 홈페이지는 무엇부터 챙겨야 할까?

첫째, 고객이나 외부 업체가 올리는 그림을 관리해야 한다. 후기 사진과 게시판 첨부 파일은 게시 전에 사람이 확인하는 절차를 두는 편이 좋다. 출처를 확인하기 어려운 광고 배너도 함부로 붙이지 않는 것이 좋다.

둘째, 예약과 결제, 문의 기능은 그림에만 의존하지 않도록 구성해야 한다. 고객이 무엇을 선택하는지 알 수 있도록 단추에 기능을 글자로 표시하는 편이 좋다. 다만 글자 단추만으로 공격을 막을 수 있다고 단정해서는 안 된다.

셋째, 예약이나 결제가 확정되기 전에 고객이 직접 내용을 확인하도록 해야 한다. AI 비서가 선택한 항목을 곧바로 확정하지 말고, 상품명과 예약 날짜, 수량과 결제 금액 등 실제 거래 내용을 확인하는 단계를 두는 방식이다.

넷째, AI 비서가 접수한 예약과 주문은 내용을 한 번 더 확인해야 한다. 클릭이 바뀐 뒤에도 구매나 예약까지 완료되는 경우가 많았기 때문이다. 잘못된 선택이 실제 거래로 이어지기 전에 발견할 수 있는 절차가 필요하다.

우리 가게도 공격받을 수 있을까?

동네 가게 홈페이지가 직접 표적이 될 가능성이 높다고 볼 근거는 이번 연구에 없다. 공격자는 특정 AI 모델과 페이지 구조에 맞춰 그림을 준비해야 한다. 따라서 여러 판매자가 상품이나 프로필 사진을 올리는 장터와 예약 플랫폼이 먼저 주목할 만한 대상이다.

하지만 우리 가게가 그런 플랫폼에 입점해 있다면 이야기가 달라질 수 있다. 우리 사진이 공격 대상이 될 수도 있고, 다른 판매자가 올린 그림 때문에 AI 비서가 우리 상품 대신 엉뚱한 상품을 선택할 수도 있다. 홈페이지 운영자는 자신이 직접 올리는 콘텐츠뿐 아니라 외부에서 들어오는 콘텐츠도 살펴야 한다.

앤트로픽★은 2025년 11월 자사 브라우저 AI 자료에서 모든 웹페이지와 광고가 공격 통로가 될 수 있다고 설명했다. 브라우저 회사 브레이브★도 2025년 10월 사람 눈에 잘 보이지 않는 글씨를 그림에 넣어 AI 브라우저를 움직인 사례를 공개했다. 웹 보안 단체 OWASP 역시 그림 속에 숨긴 명령을 AI 공격 유형의 하나로 다루고 있다.

이번 실험은 미국 사이트 13곳과 영어 요청을 대상으로 진행됐다. 상용 AI 비서는 시험 대상이 아니었고, 공격 그림도 실제 사이트에 게시하지 않고 연구진의 브라우저 안에서만 바꿔 넣었다. 실제 홈페이지에서는 이미지 처리 방식이나 AI 모델에 따라 결과가 달라질 수 있다.

이번 연구가 알려 주는 것은 모든 그림을 의심해야 한다는 사실이 아니다. 고객 대신 AI가 선택하고 실행하는 기능이 늘어날수록, 홈페이지의 콘텐츠 관리와 거래 전 확인 절차가 중요해진다는 점이다. 지금은 후기 사진과 광고 배너를 점검하고, 예약·결제 내용을 고객이 직접 확인할 수 있도록 만드는 것부터 시작하면 된다.

같이 읽을 글

• 가게 사진을 누가 몰래 고치면 AI도 속을까?
• 오픈AI도 브라우저를 접었다면, 작은 가게는 무엇을 봐야 할까?
• 검색하는 AI는 가짜 글에 얼마나 속을까?
• AI가 고객 대신 예약 버튼을 누르려면 홈페이지에 무엇이 있어야 할까?

자료 출처

• Adversarial Images Hijack Web Agents from Visual Grounding to Browser Execution(미국 유타대·arXiv 2610.09240·2026년 10월 제출, 과제 2,250개·실제 사이트 13곳·AI 비서 구성 4가지·모델 6종)
• 같은 논문 HTML 본문(표 1~9·11·12, 윤리 절)
• Mitigating the risk of prompt injections in browser use(앤트로픽★·2025년 11월, 브라우저 AI 공격 성공률 1%)
• LLM01:2025 Prompt Injection(OWASP 생성형 AI 보안 프로젝트, 그림 속 숨은 명령 사례 포함)
• Unseeable prompt injections in screenshots(브레이브★·2025년 10월, AI 브라우저의 화면 캡처 그림 공격 사례 공개)
• The WebAIM Million 2026(웹에임·2026년 2월, 세계 홈페이지 100만 곳·이름 없는 단추 30.6%)

날짜 칸 하나 바꾸면 AI가 예약을 못 할까?

러시아 고등경제대학교 등 연구진은 가상 사이트 6곳에서 웹 AI 비서를 시험했다. 전체 과제는 152개였고, 그중 87개는 날짜 칸이나 인원 단추 같은 부품을 바꾼 변형 과제였다. 이 연구는 같은 일을 시키면서 화면 부품의 구현 방식을 바꿨을 때 AI의 작업 결과가 어떻게 달라지는지 살펴보려는 실험이다.

중요한 점은 부품별 성공률 차이가 아직 공개되지 않았다는 사실이다. 연구진은 원래 과제와 변형 과제의 결과를 따로 집계하지 않았다. 따라서 날짜 칸을 바꾸면 성공률이 몇 퍼센트 떨어진다거나, 인원 단추의 모양이 예약 실패를 일으킨다고 단정할 수 없다.

같은 날짜를 골라도 AI가 해야 할 일은 다를까?

날짜를 고르는 방법에 따라 AI가 처리해야 하는 작업은 달라진다. 팝업 달력은 화면에 달과 날짜가 나타나므로 원하는 날짜를 찾아 누를 수 있다. 반면 브라우저 기본 날짜 칸은 지시문에 적힌 날짜를 입력 칸이 요구하는 형식에 맞춰 넣어야 할 수 있다.

연구진은 호텔과 기차표 사이트에서 날짜 선택 방식을 여러 가지로 바꿨다. 팝업 달력, 늘 펼쳐진 달력, 숫자 직접 입력, 브라우저 기본 날짜 칸 등이 시험 대상이었다. 같은 날짜 선택 기능이라도 구현 방식이 다르면 AI가 처리해야 하는 단계와 방법이 달라질 수 있다는 뜻이다.

인원 선택도 마찬가지다. 연구에서는 방별 팝업, 더하기·빼기 단추, 목록, 알약 모양 단추를 비교 대상으로 삼았다. 다만 이 방식들 가운데 무엇이 가장 우수했는지는 공개된 전체 성적만으로 판단할 수 없다.

AI가 「예약했습니다」라고 하면 정말 끝난 걸까?

이 연구에서 특히 눈여겨볼 결과는 AI의 완료 선언과 실제 성공이 일치하지 않았다는 점이다. 같은 AI 모델인 gpt-5.6-luna를 실행 도구 다섯 가지에 연결했더니, 도구에 따라 실제 성공률과 완료 선언 비율이 크게 달랐다.

OpenManus를 사용한 조합은 과제의 100%를 끝냈다고 보고했지만, 기록으로 확인된 성공률은 59.2%였다. 두 수치의 차이는 41점이다. 반대로 다른 조합에서는 실제로 성공했는데도 완료했다고 알리지 않는 경우가 있었다.

이 결과는 고객 대신 예약하는 AI 비서의 말만으로 접수 여부를 판단해서는 안 된다는 점을 보여준다. 가게에서는 예약 시스템에 실제 기록이 남았는지 확인해야 한다. 고객에게 예약 번호와 확인 문자 또는 이메일을 보내는 절차도 마련하는 편이 좋다.

화면을 읽는 방식도 성공률을 바꿀까?

AI가 홈페이지를 읽는 방식도 결과에 영향을 줬다. 같은 Qwen3.8-27B 모델은 페이지 구조와 화면을 함께 읽는 도구 3종에서 73.7~76.3%의 성공률을 기록했다. 반면 화면 사진만 보고 좌표를 눌러 조작하는 방식에서는 성공률이 48.0%였다.