AI는 우리 가게의 가격과 영업시간을 정확히 가져갈까?

심층 조사 AI 12종을 시험한 연구에서 1위도 63.44%를 기록했다.

AI가 여러 홈페이지를 읽고 답을 만드는 시대에도 우리 가게의 가격과 영업시간이 정확하게 전달된다고 장담할 수는 없다. 중국 텐센트 대형언어모델 부서 연구진이 심층 조사 AI 12종을 시험한 결과, 1위도 채점 기준의 63.44%만 충족했다. 동네 사장님이 할 일은 분명하다. 가격과 시간을 기준일, 이용 조건, 공식 출처와 함께 홈페이지에 명확하게 적어야 한다.

AI는 정보를 많이 읽더라도 정확한 숫자와 날짜, 출처를 빠뜨릴 수 있으므로 홈페이지에 정보를 분명하게 남겨야 한다.

고객이 AI에게 물으면 우리 가게 정보도 정확하게 나올까?

고객이 AI에게 「이 근처 학원 수강료랑 상담 시간 정리해 줘」라고 요청했다고 생각해 보자. AI는 여러 홈페이지를 검색하고 내용을 읽은 뒤 학원별 정보를 정리한다. 이때 홈페이지에 수강료와 상담 시간이 명확하게 적혀 있다면 답변에 활용할 수 있지만, 실제로 정확하게 가져간다고 보장할 수는 없다.

연구진은 실제 이용자의 요청을 바탕으로 중국어 과제 102개와 영어 과제 101개를 만들었다. 사람들은 채점 기준을 만드는 데 4,500시간 넘게 들였고, AI 12종을 같은 검색·웹 읽기·코드 실행 도구로 시험했다. 과제마다 여러 조건을 확인하도록 설계한 실험이다.

실험 설계값
과제203개(중국어 102개, 영어 101개)
분야7개(회사·경쟁사 48개, 학술·전문 자료 37개, 금융 35개, 정책·정부 자료 27개, 업계 소식 25개, 기술 도구 22개, 생활 정보 9개)
채점 기준4,014개(과제당 평균 19.77개, 최소 11개, 최대 34개)
사람 작업 시간4,500시간 이상
시험한 AI12종(같은 검색·웹 읽기·코드 실행 도구 사용, 과제마다 3번 실행)
채점제미나이 3.1 프로가 기준마다 통과·실패 판정(사람 판정과 일치 84.25%)
시험 시기2026년 8월 며칠 사이

AI는 왜 그럴듯한 답을 내놓고도 틀릴까?

AI의 답변이 자연스럽고 읽기 쉽다고 해서 필요한 정보가 모두 들어 있다는 뜻은 아니다. 연구진이 만든 채점 기준의 약 40%는 정확한 숫자나 특정 사건, 문서 이름을 요구했다. 전체 기준 중 98.0%는 맞고 틀림을 확인할 수 있는 객관적인 항목이었다.

예를 들어 어떤 요금제의 가격을 조사한다면 금액만 적어서는 부족할 수 있다. 기준일이 언제인지, 어느 공식 페이지에서 확인했는지도 밝혀야 한다. 연구진은 이런 조건을 각각 확인하도록 기준을 만들었다.

채점 기준 구성(4,014개)비율
숫자·특정 사건·문서 이름을 콕 집어 요구약 40%
확인 가능한 객관식 항목98.0%
반드시 있어야 하는 항목81.3%
질문에 직접 적힌 요구62.0%
질문에는 없지만 당연히 필요한 요구38.0%

이 실험에서 가장 높은 점수를 받은 AI도 전체 채점 기준의 상당 부분을 충족하지 못했다. 보고서가 길고 설명이 매끄러워도 질문에서 요구한 값이나 날짜, 출처가 빠질 수 있다는 뜻이다. 가게 정보를 AI가 읽기 쉽게 정리하는 일과 AI가 실제로 정확하게 답하는 일은 구분해서 봐야 한다.

AI 12종 중 가장 높은 점수는 얼마였을까?

1위는 GPT-5.6 Sol로 63.44%를 기록했다. 2위 Claude Opus 5는 56.10%였고, 나머지 10종은 모두 50% 아래였다. 과제 203개 가운데 41개에서는 1위 AI도 50% 미만의 점수를 받았다.

AI종합 점수생활 정보회사·경쟁사과제당 반복 횟수최종 보고서 길이
GPT-5.6 Sol63.44%58.3%62.9%86.2회2만 3,679자
Claude Opus 556.10%53.7%52.4%39.0회1만 2,264자
Hy4 Preview49.73%47.1%46.7%40.0회9,959자
GLM-5.349.19%51.9%47.8%22.3회1만 381자
Qwen3.8-Max47.52%45.1%48.2%25.0회9,166자
DeepSeek-V4 Pro46.90%48.8%45.7%21.1회9,189자
Kimi-K345.79%51.6%44.5%18.7회7,832자
Doubao-Seed-2.1-Pro43.09%48.4%44.4%23.7회1만 2,089자
Claude Opus 4.841.94%43.1%40.0%12.1회7,576자
Hy338.90%41.1%40.2%31.0회6,522자
GLM-5.237.11%39.5%37.1%11.0회8,613자
Gemini-3.6-Flash34.72%44.5%32.8%17.8회1만 256자

생활 정보 분야의 점수도 살펴볼 필요가 있다. 1위 AI의 생활 정보 점수는 58.3%로, 회사·경쟁사 분야의 62.9%보다 낮았다. 다만 생활 정보 과제는 9개뿐이므로 이 차이만으로 모든 생활 정보에서 AI가 더 부정확하다고 단정해서는 안 된다.

검색과 읽기를 더 많이 반복한 AI일수록 점수가 높은 경향도 나타났다. 하지만 검색 횟수나 보고서 길이만으로 정확성이 결정되지는 않았다. 중요한 것은 정보를 많이 모으는 것뿐 아니라 질문에서 요구한 조건을 빠짐없이 확인하는 일이다.

우리 가게 홈페이지에서 무엇을 고쳐야 할까?

먼저 가격과 영업시간을 사진에만 넣어 두지 말고 본문 글자와 표로도 적어야 한다. AI가 웹페이지를 읽고 정보를 정리할 때 가격표 이미지에만 의존하면 필요한 값을 놓칠 수 있기 때문이다. 가격에는 「2026년 ○월 기준」처럼 기준일을 함께 표시하고, 변경된 내용은 바로 수정해야 한다.

할 일근거 숫자
가격은 「2026년 ○월 기준」처럼 기준일과 함께 글자로 적는다채점 기준 약 40%가 정확한 값을 요구, 예시 기준이 기준일까지 확인
가격·영업시간은 사진이 아니라 본문 글자와 표로 둔다실험 AI는 웹페이지를 글로 바꿔 읽음
바뀐 값은 바로 고치고 고친 날짜를 적는다기준일 뒤 자료를 쓴 보고서 점수 41.55%(26개 중 14개 통과)
공식 가격 페이지 하나를 정해 다른 곳과 값을 맞춘다예시 기준: 공식 가격 페이지를 출처로 밝혀야 통과
주소·영업시간·가격대를 구조화 데이터로도 넣고, 계절 휴무는 시작·끝 날짜로 적는다구글 필수 2개(이름·주소), 가격대는 100자 미만
조건(예약 필수, 평일만)은 값 바로 옆에 적는다1위 AI도 과제 20.2%에서 50% 아래

가격과 시간에는 이용 조건도 붙여야 한다. 예약이 필요한지, 평일에만 상담할 수 있는지, 계절에 따라 휴무하는지 등을 해당 정보 바로 옆에 적는 방식이다. 고객이 알고 싶은 조건과 실제 운영 조건이 한눈에 연결되도록 작성하는 것이 중요하다.

주소와 영업시간, 가격 정보가 여러 페이지에 흩어져 있다면 내용도 서로 맞춰야 한다. 공식 가격 페이지를 하나 정하고, 다른 페이지에도 같은 가격과 기준일을 표시하는 편이 좋다. 구글 검색 센터는 사업체의 구조화 데이터에서 이름과 주소를 필수 항목으로, 영업시간과 가격대, 전화번호 등을 권장 항목으로 안내한다.

날짜가 오래된 정보도 AI가 가져갈까?

그럴 수 있다. 연구진은 기준일을 지키지 못한 사례도 확인했다. 7월 20일 기준으로 공개 저장소 현황을 조사하라는 과제에서 한 AI는 기준일 이후인 8월 자료를 사용했다. 해당 보고서는 채점 기준 26개 중 14개를 충족해 41.55%를 기록했다.

실제 채점 사례통과한 기준점수놓친 것
업무 도구 두 기능 비교(중국어)18개 중 14개60.38%두 시작 방식을 함께 쓸 수 없다는 조건
겨울밀 재배 논문 찾기(중국어)15개 중 11개57.53%목록에 봄밀 논문이 섞임
7월 20일 기준 공개 저장소 현황(영어)26개 중 14개41.55%기준일 뒤인 8월 자료를 씀
실내 위치 측정 논문 정리(영어)18개 중 14개62.07%세 방법의 차이 설명 누락

이 사례가 모든 AI가 날짜가 오래된 정보를 선택한다는 뜻은 아니다. 다만 홈페이지에 가격이나 영업시간을 적어 놓았더라도 언제 확인한 정보인지 알 수 없다면 최신 정보인지 판단하기 어려울 수 있다. 정보가 바뀐 날짜를 표시하고, 현재 운영 기준과 맞지 않는 내용을 정리하는 것이 좋다.

특히 수강료, 상담 시간, 예약 가능 시간처럼 고객의 선택에 직접 영향을 주는 정보는 정확하게 관리해야 한다. 단순히 「상담 가능」이라고 적는 것보다 상담 가능 시간과 예약 필요 여부를 함께 적는 편이 명확하다. 고객이 비교할 때 필요한 정보를 홈페이지에서 직접 확인할 수 있어야 한다.

이 연구 결과를 어디까지 믿어야 할까?

이번 연구는 중국어와 영어 과제를 대상으로 했다. 한국어 질문이나 네이버 같은 국내 플랫폼에서 정보가 얼마나 정확하게 전달되는지는 시험하지 않았다. 따라서 이번 점수를 국내 모든 AI 서비스의 성능으로 그대로 해석해서는 안 된다.

채점은 AI 판정관이 맡았고, 사람의 판정과 일치한 비율은 84.25%였다. 사람이 별도로 30개 과제의 보고서 210개를 평가한 결과와도 순위가 강하게 일치했다. 다만 시험은 2026년 8월 며칠 동안 진행됐고, 실제 소비자용 심층 조사 서비스와는 실행 환경이 다를 수 있다.

연구진은 가격이나 영업시간만 따로 떼어 정확도를 계산하지도 않았다. 그러므로 홈페이지에 정보를 적으면 AI가 반드시 정확하게 답한다고 결론 내릴 수는 없다. 확인할 수 있는 사실은 심층 조사 AI조차 질문의 조건을 빠짐없이 충족하지 못했으며, 구체적인 값과 날짜, 출처를 놓치는 일이 실제로 나타났다는 점이다.

동네 사장님이 준비할 방법은 복잡하지 않다. 가격과 영업시간을 글자로 적고, 기준일과 이용 조건을 붙이고, 공식 정보가 서로 일치하도록 관리하면 된다. AI가 어떤 정보를 선택할지 통제할 수는 없지만, 정확한 정보를 확인할 수 있는 홈페이지를 만드는 것은 가능하다.

요점 ① 심층 조사 AI 12종을 시험한 결과, 1위도 63.44%의 기준만 충족했다. ② 채점 기준 4,014개 중 약 40%는 정확한 숫자·사건·문서 이름을 요구했다. ③ 과제 203개 중 41개(20.2%)에서 1위 AI도 50% 미만의 점수를 받았다. ④ 기준일 뒤의 자료를 사용한 보고서는 41.55%를 기록했다. 가격·영업시간은 기준일, 이용 조건과 함께 글자로 적고 변경 날짜를 관리해야 한다.

같이 읽을 글

자료 출처

작성일

#AI의 눈 #심층 조사 #정확한 값 #영업시간 #가격 정보

← 칼럼 목록
무료로 신청하기→