AI가 우리 가게를 모른다고 하면 좋은 걸까?

AI가 틀린 답을 줄이는 대신 근거가 부족하면 아예 답하지 않는 실험이 나왔다.

AI가 모르는 것을 모른다고 답하는 기능은 가게 입장에서도 중요하다. 틀린 가격이나 위치를 말하는 일을 줄일 수 있기 때문이다. 다만 근거가 부족한 가게는 정확한 답 대신 아예 언급되지 않을 수도 있다는 점을 봐야 한다.

AI가 정확해질수록 우리 가게에 대한 근거가 더 중요해진다.

AI가 “모른다”고 답하게 만든 실험은 무엇을 했나

이번 실험은 AI가 근거 없이 답하지 않도록 만드는 방법을 시험했다. 세 가지 모델인 GPT-4o-mini, GPT-4o, GPT-3.5-turbo에 50개 질문을 던지고 정확도, 환각률, 거부율을 비교했다.

방법은 세 가지였다. “모르면 모른다고 답하라”는 지시문을 주는 방법, 근거가 부족하면 답을 막는 점수 규칙을 쓰는 방법, 두 방법을 함께 쓰는 방법이다.

모델방식정확도환각률거부율
GPT-4o-mini아무 조치 없음62%38%42%
GPT-4o-mini지시문만98%0%82%
GPT-4o-mini점수 규칙만80%20%60%
GPT-4o-mini지시문+점수 규칙(혼합)98%0%82%
GPT-4o아무 조치 없음70%30%50%
GPT-4o지시문만98%0%82%
GPT-4o점수 규칙만82%18%62%
GPT-4o지시문+점수 규칙(혼합)98%0%82%
GPT-3.5-turbo아무 조치 없음50%50%30%
GPT-3.5-turbo지시문만94%6%76%
GPT-3.5-turbo점수 규칙만76%24%56%
GPT-3.5-turbo지시문+점수 규칙(혼합)96%4%78%

결과를 보면 지시문과 점수 규칙을 함께 쓰는 방식은 정확도와 환각률을 크게 개선했다. 하지만 정확한 답을 할 수 있는 질문까지 거부하는 과잉 거부도 나타났다.

정확해졌는데 왜 답을 안 하는 경우가 생기나

AI가 틀린 답을 하지 않도록 기준을 엄격하게 만들면 근거가 조금만 부족해도 답하지 않는 쪽으로 움직일 수 있다. 실제로 GPT-4o-mini와 GPT-4o는 지시문만 사용했을 때 거부율이 82%까지 올라갔다.

특히 문제는 정확한 질문까지 거부하는 경우다. 실험에서는 GPT-4o-mini와 GPT-4o에서 답할 수 있는 질문의 10%까지 답하지 않는 과잉 거부가 나타났다.

점수 규칙만 사용했을 때는 환각률이 18~24%로 나타나 지시문보다 결과가 좋지 않았다. 두 장치를 함께 사용했을 때 정확도와 환각률이 함께 개선된 이유도 여기에 있다.

정말 모르는 질문에서는 얼마나 정직해지나

근거 자료 없이 답하기 어려운 질문 100개를 따로 시험하자 차이가 더 분명해졌다. 아무 조치가 없으면 세 모델 모두 모르는 질문을 아는 것처럼 답해 환각률이 100%였다.

모델방식정직하게 거부환각률
GPT-4o-mini아무 조치 없음0%100%
GPT-4o-mini지시문만100%0%
GPT-4o-mini점수 규칙만98%2%
GPT-4o-mini혼합98%2%
GPT-4o아무 조치 없음0%100%
GPT-4o지시문만100%0%
GPT-4o점수 규칙만99%1%
GPT-4o혼합100%0%
GPT-3.5-turbo아무 조치 없음0%100%
GPT-3.5-turbo지시문만62%38%
GPT-3.5-turbo점수 규칙만100%0%
GPT-3.5-turbo혼합100%0%

GPT-4o-mini와 GPT-4o는 지시문만으로도 이 질문에 대해 100% 정직하게 거부했다. 반면 GPT-3.5-turbo는 지시문만 사용했을 때 정직하게 거부한 비율이 62%에 그쳤고, 환각률은 38%였다.

GPT-3.5-turbo에서는 점수 규칙을 더하자 정직하게 거부한 비율이 100%가 됐다. 모델에 따라 모르는 것을 구별하는 데 필요한 장치가 달라질 수 있다는 점을 보여준다.

AI는 무엇을 보고 “모른다”고 판단하나

이번 실험의 점수 규칙은 세 가지 신호를 사용한다. 같은 질문을 반복했을 때 답이 일치하는지, 질문 표현을 바꿔도 같은 답이 나오는지, 답에 사용한 내용이 실제 근거 자료에서 추적되는지를 본다.

신호뜻계산 방식
자기일관성같은 질문을 3번 따로 물었을 때 답이 얼마나 겹치는지3개 응답 중 다수결 동의 비율
말바꿈 안정성질문을 다르게 표현해도 같은 답이 나오는지재구성 질문·원 답변의 의미 중복도
근거 추적률답에 쓴 단어들이 실제로 준 자료에서 찾아지는 비율문맥 대비 추적 가능한 단어 비율

세 신호를 평균 내고 1에서 뺀 값이 지지 부족 점수다. 이 점수가 0.55를 넘으면 답을 막는다.

따라서 홈페이지에 정보가 없거나 정보가 서로 다르면 AI가 답할 근거를 확보하기 어려워진다. 반대로 가격, 영업시간, 주소 같은 사실이 명확하게 적혀 있고 여러 페이지에서 같은 내용이 확인되면 답할 근거를 만들기 쉬워진다.

그럼 우리 가게 홈페이지는 무엇부터 봐야 하나

가게 입장에서는 이 세 가지 신호를 홈페이지 점검 기준으로 볼 수 있다. 중요한 것은 정보를 많이 넣는 것보다 고객이 궁금해할 사실을 명확하게 적고, 서로 다른 페이지에서 같은 내용을 유지하는 것이다.

가격과 영업시간, 주소처럼 답변에 바로 쓰일 수 있는 정보가 문장으로 분명하게 적혀 있는지도 확인해야 한다. 페이지마다 숫자가 다르면 AI가 어느 정보를 근거로 삼아야 할지 판단하기 어려워진다.

신호홈페이지에서 봐야 할 것참고 숫자(자사 측정)
근거 추적률가격·영업시간·주소가 문장으로 명확히 적혀 있는지9/16 측정, 챗GPT 인용 31건 중 자기 홈페이지 출처 10건·네이버 블로그 0건
말바꿈 안정성여러 페이지·블로그·지도 정보가 같은 숫자를 말하는지9/20 측정, 청소기 답변은 인용 3곳 모두 제조사 공식몰만 links로 사용
자기일관성같은 질문을 여러 번 해도 같은 답이 나오는지9/19 측정, 한의원 질문에서 챗GPT는 지도카드·비용 150~400만 원만 답하고 특정 업체 언급은 0건

이번 실험에서 중요한 것은 “AI가 틀리지 않게 만드는 것”과 “AI가 우리 가게를 답할 근거를 갖게 만드는 것”이 서로 연결되어 있다는 점이다. 정확한 답을 우선하는 AI라면 근거가 없는 가게에 대해 잘못된 정보를 만들어내기보다 답하지 않는 쪽을 택할 수 있다.

그래서 정확도가 올라가는 흐름 자체는 가게에도 나쁘지 않다. 틀린 가격이나 위치가 퍼지는 일을 줄일 수 있기 때문이다. 다만 그 전에 AI가 우리 가게에 대해 답할 만한 근거가 홈페이지에 갖춰져 있어야 한다.

결국 이번 실험은 “AI가 우리 가게를 말하지 않을까”라는 걱정만 보여주는 것이 아니다. AI가 함부로 답하지 않는 환경에서는 오히려 홈페이지에 있는 사실 정보의 명확성과 일관성이 더 중요해진다는 점을 보여준다.

요점 ① 지시문+점수 규칙 방식은 정확도 96~98%, 환각률 0~4%를 냈다. ② 거부율은 60~82%까지 올라갔고, 답할 수 있는 질문의 10%까지 답하지 않는 과잉 거부가 나타났다. ③ 근거 없는 질문 100개에서 GPT-3.5-turbo는 점수 규칙을 더하자 정직한 거부가 62%에서 100%로 높아졌다. ④ 지지 부족 점수의 임계값은 0.55이며, 자기일관성·말바꿈 안정성·근거 추적률을 함께 본다.

같이 읽을 글

자료 출처

작성일

#AI의 눈 #환각 #절제 #인용 #GEO

← 칼럼 목록
무료로 신청하기→