작은 가게도 비싼 AI를 써야 할까?

가게에서 쓰는 AI를 전부 가장 비싼 모델로 돌릴 필요는 없다. 실험에서는 일마다 AI 등급을 나눠 맡기자 비용이 44% 줄었고, 정확도는 2.9포인트 낮았다. 특히 여러 자료를 모아 결과를 판단하는 단계에 더 좋은 모델을 쓰는 방식이 눈에 띄었다.

비싼 AI가 정말 25배 비쌀까?

비싼 모델과 싼 모델의 가격 차이는 비교 방법에 따라 다르게 보인다. 실험에 실제로 사용한 모델을 같은 항목끼리 비교하면 최상위 모델은 작은 모델보다 5배 비쌌다.

논문의 초록에는 최상위 모델이 작은 모델보다 토큰당 최대 25배 비싸다고 적혀 있다. 하지만 본문에서는 5~25배라고 설명하며, 실제 가격표에서 입력과 출력을 같은 항목끼리 비교하면 5배다.

현재 최고 등급의 가격은 작은 등급보다 10배 높다. 여기에 같은 글을 처리할 때 모델에 따라 읽는 토큰 수가 달라질 수 있어 실제 청구액 차이는 단가 차이보다 커질 수 있다.

모든 일을 비싼 모델로 해야 할까?

연구진은 기업 업무 54개를 대상으로 여러 방식의 AI 사용법을 비교했다. 8가지 방식을 3번씩 반복해 모두 1,157번 평가했고, 데이터베이스 조회문을 실제 데이터베이스에 돌려 결과가 맞는지 확인했다.

전부 최상위 모델로 처리하면 정확도는 29.0%, 과제당 평균 비용은 0.0182달러였다. 계획을 세울 때 단계별로 등급을 정하면 정확도는 26.1%, 비용은 0.0101달러였다.

즉 단계별 등급 지정은 전부 최상위로 처리하는 것보다 비용이 44% 적었다. 정확도는 2.9포인트 낮았지만, 연구진은 이 차이가 통계상 뚜렷하게 구분되지 않는다고 봤다.

전부 작은 등급으로 처리하는 방법도 있었다. 비용은 과제당 0.0039달러로 더 낮았지만 정확도는 24.6%였고, 연구진은 이것이 어디서나 가장 싼 방법은 아니라고 적었다.

비싼 모델은 어떤 일에 써야 할까?

실험에서 전체 단계의 45%는 작은 등급, 46%는 중간 등급, 8%만 최상위 등급을 사용했다. 계획 하나의 단계 수는 평균 1.8개였다.

자료 한 곳에서 필요한 항목을 뽑거나 조회문을 한 번 만드는 일은 대부분 작은 등급이 맡았다. 반면 두 자료를 맞춰 보거나 여러 도구의 순서를 짜는 일은 중간이나 최상위 등급이 더 많이 사용됐다.

실제 계획에서도 같은 흐름이 나타났다. 계약서 자료에서 좌석 수를 읽는 일과 배정 기록에서 좌석 수를 세는 일은 작은 등급이 맡았고, 두 결과를 맞춰 보고 결론을 내는 단계는 중간 등급으로 올라갔다.

가게 일에도 이 원칙을 적용할 수 있다. 후기 답글 초안이나 메뉴 문장 다듬기는 작은 등급으로 처리하고, 환불 규정과 주문 기록을 함께 보고 답하는 일은 중간 등급을 검토하는 식이다.

매출과 재고와 후기를 함께 보고 다음 달 계획을 정하는 일처럼 여러 결과를 모아 결정해야 한다면 중간에서 최상위 등급까지 필요할 수 있다. 다만 이 표의 가게 일 예시는 논문에서 직접 실험한 결과가 아니라 실험 원칙을 가게 업무에 적용한 예시다.

싼 모델을 쓰면 무엇을 조심해야 할까?

가장 조심할 부분은 앞 단계의 오류다. 싼 모델이 첫 단계에서 잘못된 결과를 내면 다음 단계가 더 비싼 모델이어도 그 오류를 그대로 받아들일 수 있다.

연구진의 21개 과제 예비 측정에서는 싼 등급을 섞은 방식의 실패가 단계끼리 독립이라고 가정한 계산보다 3.33배 크게 나타났다. 전부 최상위로 처리한 방식은 1.27배였지만, 연구진은 이 수치를 검증된 결과가 아니라 가설이라고 밝혔다.

그래서 앞 단계 결과를 확인하는 과정이 중요하다. 특히 자료를 읽거나 숫자를 옮기는 첫 단계에서 틀리면 이후의 판단에도 영향을 줄 수 있다.

등급을 고른 이유를 적는 과정도 영향을 줬다. 이유를 적는 칸을 없애자 두 자료를 대조하는 과제의 정확도가 0%로 떨어졌고 비용은 4배 넘게 늘었다.

모든 문제를 모델 등급만 바꿔 해결할 수 있는 것도 아니다. 한 종류의 여러 단계 조회 과제는 모든 방식에서 0%였고 실패의 79%가 첫 단계에서 발생했다. 이런 경우에는 모델 등급보다 일을 맡기는 방법 자체를 다시 살펴야 한다.

다른 실험에서도 비용을 줄일 수 있었을까?

다른 연구에서도 필요한 경우에만 강한 모델을 쓰는 방식으로 비용을 줄인 결과가 나왔다. 다만 기존 실험들은 한 번에 답하는 질문을 대상으로 했고, 이번 실험은 여러 단계로 이어지는 업무를 대상으로 했다는 차이가 있다.

스탠퍼드 연구진의 2023년 실험에서는 싼 모델부터 쓰는 방식으로 금융 뉴스 제목 분류 비용을 최대 98%, 평균 80% 줄였다. LMSYS·애니스케일의 2024년 실험에서는 질문마다 강한 모델과 약한 모델을 고르는 방식으로 비용을 85% 넘게 줄인 평가 세트도 있었고, 강한 모델로 보낸 질문은 14%였다.

앤스로픽 공식 가격 문서도 단순한 일에는 하이쿠, 대부분의 실제 업무에는 소네트, 가장 복잡한 추론에는 오퍼스를 쓰는 순서를 제시한다. 따라서 모든 업무를 가장 비싼 모델로 처리하는 것이 기본 원칙은 아니다.

구독형 AI를 쓰는 가게라면?

대부분의 사장님은 토큰마다 돈을 내기보다 월 구독으로 AI를 사용한다. 구독료가 다른 경우에도 업무에 따라 필요한 수준을 나누어 생각하는 원칙은 그대로 적용할 수 있다.

챗GPT Go는 월 1만 5천 원, 플러스는 월 2만 9천 원으로 약 1.9배 차이가 난다. 후기 답글이나 문장 다듬기처럼 한 번에 끝나는 일이 대부분이라면 낮은 요금제를 검토할 수 있고, 여러 자료를 모아 판단하는 일이 잦다면 윗 요금제를 검토할 수 있다.

이 판단은 구독 요금제를 직접 비교해 측정한 결과가 아니라 이번 실험의 원칙을 구독형 서비스에 적용한 예상이다. 따라서 실제 가게에서 필요한 작업을 먼저 나눠 보고 결정하는 편이 맞다.

결국 핵심은 비싼 AI를 많이 쓰는 것이 아니다. 작은 모델로 끝낼 수 있는 단계와 더 좋은 모델이 필요한 판단 단계를 나누는 것이다.

같이 읽을 글

• 같은 AI 모델이면 어디서 사든 똑같을까?
• AI 점원에게 결제까지 맡겨도 될까?
• 기업은 정말 챗GPT로 6개월 만에 본전을 뽑을까?
• 데이터센터에 돈을 쏟아붓는 일이 우리 가게와 무슨 상관일까?

자료 출처

• Planner-as-Router: Joint Plan-Time Model Routing for Cost-Efficient Multi-Agent Workflows(미국 개인 연구자 3인·arXiv 2609.32917·2026년 9월 제출, 54개 과제·1,157회 평가)
• Pricing — 모델별 토큰 단가·묶음 처리 50%·캐시 0.1배·토큰 약 30% 증가·상담 1만 건 약 37달러(앤스로픽 공식 문서·2026년 9월 열람)
• FrugalGPT: How to Use Large Language Models While Reducing Cost and Improving Performance(스탠퍼드·arXiv 2305.05176·2023년 5월)
• RouteLLM: Learning to Route LLMs with Preference Data(LMSYS·애니스케일·arXiv 2406.18665·2024년 6월)
• RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing(LMSYS 블로그·2024년 7월, 평가 세트별 85%·45%·35% 절감, 강한 모델 호출 14%)
• 챗GPT '저가 요금제' 확대‥한국 월 1만 5천 원(MBC 뉴스·2026년 1월, Go 1만 5천 원·플러스 2만 9천 원)