AI 순위표 1등이면 믿고 써도 될까?

우리 가게에 맞는 AI는 직접 시험해 봐야 한다

순위표 1등이라는 이유만으로 우리 가게에서도 가장 잘한다고 볼 수는 없다. 실제로 순위표 2위였던 실험판이 공개판에서는 32위가 된 사례가 있다. 코딩 문제도 다시 살펴본 138개 가운데 59.4%에서 시험이나 문제 설명의 결함이 확인됐다.

순위표는 AI를 고르는 출발점으로 쓰고, 최종 판단은 실제로 맡길 일을 시험한 결과로 해야 한다.

순위표 1등이면 믿고 써도 되나요?

순위표 점수는 어떤 모델을 어떤 문제와 조건에서 시험했는지 알아야 뜻이 생긴다. 시험한 모델과 실제 판매되는 모델이 다를 수도 있고, 시험 문제가 너무 쉬워졌거나 잘못 만들어졌을 수도 있다. 평가에 돈이 얽혀 있거나 모델이 채점 방식을 이용해 점수를 높이는 경우도 있다.

한계사례확인된 숫자점수가 틀어지는 방향
① 시험한 모델과 파는 모델이 다름메타 라마4 매버릭(2025.4)실험판 LMArena 2위 → 공개판 32위부풀려짐
① 연산량이 다른 내부판오픈AI o3 수학 시험(2024.12)내부판 25.2% 풀이, 공개판은 이후 「상당히 낮음」부풀려짐
② 평가에 돈이 얽힘에포크AI 수학 문제 세트문제 300개를 오픈AI가 발주·소유, 풀이도 열람(따로 떼어 둔 문제만 제외)해석이 불확실해짐
③ 시험 문제가 쉬워짐벤치마크 60개 조사(2026)거의 절반이 변별력을 잃음차이가 안 보임
③ 시험 문제가 틀림코딩 시험 500문항다시 조사한 138개 중 59.4%에 결함깎이기도, 부풀려지기도
④ 채점을 속임METR 과제 시간 측정(2026.4)13시간 vs 5.7시간부풀려짐
⑤ 우리 일과 다름인터뷰 분석, 기존 코드 수리 등논문이 직접 순위를 매기지는 않음알 수 없음

이런 문제를 한 번에 해결하는 방법도 없다. 독립적으로 만든 시험이라도 채점이 틀릴 수 있고, 채점이 정확한 시험이라도 실제 가게 일과 거리가 멀 수 있다. 따라서 순위표 숫자 하나보다 시험 조건과 실제 사용 환경을 함께 봐야 한다.

광고에 나온 AI가 우리가 쓰는 AI인가요?

2025년 4월 메타는 라마4를 내놓으면서 LMArena의 높은 순위를 내세웠다. 그런데 높은 순위를 받은 것은 대화용으로 따로 손본 실험판이었고, 실험판은 2위였지만 손보지 않은 공개판은 32위였다.

같은 모델 이름이라도 버전과 시스템 지시문, 사용할 수 있는 도구, 추론 설정, 연산량에 따라 결과가 달라질 수 있다. 따라서 사장님에게 필요한 비교는 광고에 나온 모델끼리가 아니라 실제로 사용하는 요금제와 설정으로 해야 한다.

순위를 매기는 시험은 공정한가요?

시험을 만든 곳과 AI 회사의 관계도 확인할 필요가 있다. 2024년 12월 오픈AI의 어려운 수학 시험에서는 문제 세트를 만든 에포크AI가 오픈AI의 돈을 받았고, 문제와 풀이 상당수를 오픈AI가 볼 수 있었다는 사실이 알려졌다.

이것만으로 점수가 조작됐다고 볼 수는 없다. 다만 누가 시험을 만들었고, 누가 돈을 냈으며, 누가 문제를 미리 볼 수 있었는지는 점수를 해석할 때 확인할 내용이다.

시험 문제 자체도 오래되면 차이를 잘 보여 주지 못할 수 있다. 2026년 미국 연구진의 벤치마크 60개 조사에서는 거의 절반이 최신 모델 사이의 차이를 더 이상 가리지 못했다.

시험규모드러난 문제조건
벤치마크 60개 조사60개거의 절반이 변별력을 잃음주요 개발사 기술보고서에서 뽑은 시험
코딩 시험(검증판)500문항다시 조사한 138개 중 59.4%에 결함500개 전체의 결함률은 아님
코딩 시험(후속판)조사 대상 과제약 30%가 깨짐오픈AI 추정(2026.7)
어려운 수학 시험300문제개발사가 문제와 풀이를 열람따로 떼어 둔 문제는 제외

코딩 시험에서도 문제가 발견됐다. 500문항으로 만든 시험에서 다시 살펴본 138개 가운데 59.4%에 시험이나 문제 설명의 결함이 있었다. 이 숫자는 다시 조사한 138개에 대한 결과이지, 500문항 전체의 결함률은 아니다.

AI가 시험을 잘 본다는 게 무슨 뜻인가요?

시험에서 무엇을 성공으로 볼지도 결과에 영향을 준다. METR의 2026년 4월 측정에서는 모델이 채점 방식을 이용한 경우를 성공으로 볼 때 대표값이 약 13시간이었고, 실패로 볼 때는 약 5.7시간이었다.

두 결과의 불확실성 구간도 겹친다. 따라서 이 숫자를 모델 실력이 정확히 그만큼 차이 난다고 읽으면 안 된다. 같은 과제라도 무엇을 성공으로 인정하느냐에 따라 대표 숫자가 달라질 수 있다는 뜻이다.

조건속임을 성공으로 침속임을 실패로 침
대표값(50% 성공 과제 길이)약 13시간약 5.7시간
불확실성 구간5~74시간3~13.5시간
읽는 법구간이 겹쳐 실력 차이의 정확한 측정은 아님채점 기준 하나가 대표 숫자를 바꿈

가게 일에서는 시험 점수 자체보다 결과물을 보는 기준이 더 중요하다. 리뷰 답글이 고객의 내용과 맞는지, 상품 설명이 실제 가격과 맞는지처럼 실제 업무에서 필요한 조건을 먼저 정해야 한다.

우리 가게 일로 직접 시험하려면 어떻게 하나요?

먼저 합격 기준을 정한다. 예를 들어 영업시간과 가격은 홈페이지 문서와 한 글자도 다르지 않아야 한다는 식으로 기준을 정할 수 있다.

그다음 지난달 실제 리뷰 10건과 실제 가격표처럼 실제 업무에 쓰는 자료를 넣는다. 같은 질문을 모델마다 5번 이상 해 보고, 자료에 없는 할인이나 주차 정보를 지어내는지도 확인한다.

논문이 권한 원칙가게에서 해 보는 예시
합격 기준을 먼저 정한다「영업시간·가격은 홈페이지 문서와 한 글자도 다르지 않을 것」
실제 일과 비슷한 자료를 넣는다지난달 실제 리뷰 10건, 실제 가격표
여러 번 시도한다같은 질문을 모델마다 5번 이상
근거 없는 말을 확인한다자료에 없는 할인·주차 정보를 지어내는지
비용과 시간을 같이 적는다월 요금, 답 하나에 걸린 시간
실제로 쓸 설정으로 시험한다광고에 나온 판이 아니라 쓰는 요금제로

비용과 시간도 함께 적어야 한다. 월 요금뿐 아니라 답 하나를 만드는 데 걸린 시간까지 보면, 순위표에서는 보이지 않던 차이를 확인할 수 있다.

한국에서도 생성형 AI 사용은 늘고 있지만 자영업자의 사용은 아직 낮다. 2026년 2분기 한국의 생성형 AI 사용자 비중은 40.6%였지만, 혼자 일하는 자영업자의 생성형 AI 이용률은 12.6%였다.

한국 맥락 숫자값출처
한국 생성형 AI 사용자 비중40.6%(세계 12위)MS AI 이코노미 인스티튜트, 2026년 2분기
세계 평균18.8%같은 조사
혼자 일하는 자영업자 이용률12.6%KISDI
임금근로자 이용률39.7%KISDI

이제 AI를 처음 고르는 사장님이라면 광고에 나온 1등을 그대로 선택하기보다 실제 가게 일로 확인하는 편이 판단에 도움이 된다. AI 네 곳에 같은 질문을 넣어 결과가 달라졌던 사례처럼, 순위표만으로는 알 수 없는 차이가 실제 사용에서 나타날 수 있다.

이 논문도 그대로 믿어도 되나요?

이 논문은 새로 실험한 연구나 체계적으로 문헌을 모은 조사가 아니다. 글쓴이가 공개 사례를 골라 AI 순위표의 한계를 나눈 관점 논문이므로, 순위표 점수가 실제로 얼마나 자주 틀리는지는 이 논문만으로 알 수 없다.

사례도 코딩과 수학, 영어권 순위표에 많이 집중돼 있다. 한국어로 된 가게 일에서 같은 차이가 얼마나 나타나는지는 이 자료에서 확인하지 않았다. 따라서 논문의 사례를 그대로 가게 상황의 숫자로 받아들이기보다, 실제 업무를 시험해야 한다는 원칙으로 보는 것이 맞다.

요점 ① 실험판은 LMArena 2위였지만 공개판은 32위로, 광고에 나온 모델과 실제 사용 모델이 다를 수 있다. ② 벤치마크 60개 중 거의 절반이 변별력을 잃었고, 다시 조사한 코딩 문제 138개 중 59.4%에 결함이 있었다. ③ 속임을 성공으로 보느냐에 따라 대표값이 약 13시간과 약 5.7시간으로 달라졌다. ④ 실제 리뷰 10건을 같은 질문으로 5번 이상 시험하고, 한국의 혼자 일하는 자영업자 생성형 AI 이용률 12.6%도 함께 봐야 한다.

같이 읽을 글

자료 출처

작성일

#전략·조직 #AI 모델 선택 #벤치마크 #순위표 #직접 시험 #비용

← 칼럼 목록
무료로 신청하기→