# AI 비서에게 예산만 정해 주면 알아서 아낄까?

_작은 가게가 AI 비용을 관리할 때는 총액보다 어떤 일에 싼 방법과 비싼 방법을 쓸지 정하는 규칙이 먼저다._

> GPT-5.4는 비싼 조사가 필요한 115문제에서 예산을 202에서 644로 늘려도 자동 조사를 고른 비율이 0%에서 2.6%로만 올랐다. 반대로 Gemini는 불필요한 비싼 조사를 1.4%에서 19.4%로 늘렸다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-agent-budget-ignored-304-tasks
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-01

AI 비서에게 「이번 달은 5만 원까지만 써」라고 말한다고 해서 알아서 돈을 아끼지는 않는다. 한 시험에서 GPT-5.4는 비싼 조사가 필요한 문제에서도 예산이 넉넉해졌을 때 자동 조사를 고른 비율이 0%에서 2.6%로만 올랐다. 반대로 Gemini 2.5 Pro는 싼 검색으로 충분한 문제에서 예산이 늘자 불필요한 비싼 조사를 1.4%에서 19.4%로 늘렸다.

예산은 지출 상한일 뿐이고, AI가 무엇을 살지 정하는 규칙까지 대신해 주지는 않는다.

## 예산만 정해 주면 왜 안 될까?

AI가 일을 하면서 쓸 수 있는 도구에는 가격 차이가 있다. 이 시험에서는 내부 키워드 검색이 18, 웹 검색이 70, 자동 조사 도구가 260, 사람 호출이 520이었다. 싼 모델과 비싼 모델의 가격 차이도 1 대 8로 정했다.

| 행동 | 가격(추상 단위) | 성격 |
|---|---|---|
| 도구 설명 보기 | 4 | 확인용 |
| 도구 찾기 | 8 | 확인용 |
| 내부 키워드 검색 | 18 | 싼 검색 |
| 문서 하나 읽기 | 22 | 싼 읽기 |
| 웹 검색 | 70 | 중간 |
| 자동 조사 도구 | 260 | 비싼 수단 |
| 사람 호출 | 520 | 마지막 수단 |
| 싼 모델 : 비싼 모델 | 1 : 8 | 모델 고르기 |

시험은 304개 문제로 진행됐다. 어떤 문제는 싼 검색만으로 답할 수 있었고, 어떤 문제는 비싼 조사가 필요했으며, 처음부터 전제가 틀린 문제는 확인한 뒤 멈추는 것이 맞았다.

| 묶음 | 문제 수 | 맞는 판단 |
|---|---|---|
| 비싼 조사가 필요한 질문 | 115 | 싼 검색으로 안 되니 자동 조사로 넘어가기 |
| 모델 고르기 질문 | 100 | 50개는 비싼 모델 필요, 50개는 싼 모델로 충분 |
| 싼 검색으로 되는 질문 | 72 | 비싼 도구 쓰지 않기 |
| 전제가 틀린 질문 | 10 | 확인 후 「답 없음」으로 멈추기 |
| 첨부파일 질문(GAIA) | 7 | 모델 고르기 |
| 합계 | 304 | 답할 수 있는 294개 중 169개(57.5%)는 비싼 쪽, 125개(42.5%)는 싼 쪽이 맞음 |

그래서 중요한 것은 「얼마까지 쓸 수 있나」만이 아니다. 「이 일은 어디까지 싼 방법으로 하고, 언제 비싼 방법으로 넘어가며, 언제 멈출 것인가」를 미리 정하는 것이 더 중요하다.

## 정답률이 높으면 돈도 잘 쓰는 것 아닐까?

그렇지는 않다. 시험에서는 늘 비싼 길부터 가는 규칙이 전체 성공률 76.3%를 기록했고, 될 때까지 반복하는 규칙도 73.0%였다. 하지만 아껴야 하는 문제에서는 각각 12%와 0%에 그쳤다.

| 비교용 규칙(정답 접근 가능) | 더 써야 하는 문제 | 아껴야 하는 문제 | 경제 판단 점수 | 평균 성공률 | 평균 비용 |
|---|---|---|---|---|---|
| 늘 비싼 길부터 | 100% | 12% | 12.2% | 76.3% | 335 |
| 될 때까지 반복 | 100% | 0% | 0.0% | 73.0% | 441 |
| 늘 싼 길부터 | 24% | 34% | 23.9% | 26.6% | 71 |
| 예산을 따지는 규칙 | 50% | 22% | 22.0% | 42.4% | 173 |

평균 정답률만 보면 비싼 도구를 계속 쓰는 방법이 좋아 보일 수 있다. 그러나 가게 입장에서는 싼 검색으로 끝낼 일을 비싼 조사로 처리하면 비용이 쌓이고, 반대로 돈을 더 써야 하는 일을 계속 싼 방법으로 붙잡고 있으면 답을 얻지 못한다.

따라서 AI를 평가할 때는 정답률 하나만 보면 안 된다. 싸게 끝냈어야 할 일에 얼마나 돈을 썼는지와, 더 써야 할 일을 얼마나 포기했는지를 따로 봐야 한다.

## 실제 AI는 어떻게 돈을 썼을까?

도구를 직접 고르게 한 AI 세 종류의 결과는 더 낮았다. 평균 성공률은 3.9~24.0%, 경제 판단 점수는 3.6~7.3%였다.

| AI(도구 직접 선택) | 더 써야 하는 문제 | 아껴야 하는 문제 | 경제 판단 점수 | 평균 성공률 | 평균 비용 |
|---|---|---|---|---|---|
| Sonnet | 30% | 7% | 7.3% | 24.0% | 207 |
| Gemini 2.5 Pro | 22% | 6% | 6.1% | 17.4% | 268 |
| GPT-5.4 | 4% | 5% | 3.6% | 3.9% | 97 |

Sonnet과 Gemini 2.5 Pro는 싼 검색으로 충분한 문제에서 추가 조사를 계속했다. 각각 해당 문제의 74%, 99%에서 예산을 넘겼다. 반대로 GPT-5.4는 돈을 거의 쓰지 않았지만 검색 대신 원래 알고 있던 지식으로 짐작해 답하는 경우가 많았다.

GPT-5.4는 평균 비용이 97로 셋 중 가장 낮았다. 하지만 성공한 한 건을 만드는 데 드는 비용은 셋 중 가장 높았다.

비용을 아끼는 것과 제대로 판단하는 것은 같은 일이 아니다. AI가 무조건 싼 방법만 고르게 만드는 것도 답은 아니다.

## 예산을 늘리면 비싼 일에는 더 쓰게 될까?

이 시험에서 가장 눈에 띄는 부분이다. 비싼 조사가 필요한 115문제에서 정답 경로의 비용은 322였다. GPT-5.4의 예산을 202에서 370, 다시 644로 올렸지만 자동 조사를 고른 비율은 0%에서 0.9%, 2.6%로만 변했다.

| 조건 | 예산(부족→충분→넉넉) | 결과 |
|---|---|---|
| 비싼 조사가 필요한 115문제, GPT-5.4 | 202 → 370 → 644 | 자동 조사 0% → 0.9% → 2.6% |
| 싼 검색으로 되는 72문제, GPT-5.4 평균 비용 | 90 → 240 → 480 | 34 → 62 → 90 |
| 같은 문제, Sonnet 평균 비용 | 90 → 240 → 480 | 122 → 161 → 191 (자동 조사는 넉넉할 때 1.4%) |
| 같은 문제, Gemini 평균 비용 | 90 → 240 → 480 | 116 → 191 → 248 |
| 같은 문제, Gemini 불필요한 자동 조사 | 90 → 240 → 480 | 1.4% → 1.4% → 19.4% |

예산이 충분해도 비싼 도구를 거의 선택하지 않은 것이다. 반대로 싼 검색으로 해결할 수 있는 72문제에서는 예산이 커지자 Gemini가 불필요한 자동 조사를 1.4%에서 19.4%로 늘렸다.

결국 예산을 알려 주는 것과 예산을 보고 다음 행동을 바꾸는 것은 다른 문제다. AI에게 「돈을 아껴라」라고만 말하는 것보다 어떤 조건에서 다음 단계로 넘어갈지를 정해 주는 편이 낫다.

## 작은 가게는 비용 한도를 어떻게 걸어야 할까?

가게에서 AI를 쓸 때는 일을 먼저 나누는 것이 좋다. 메뉴, 영업시간처럼 내부 자료에 답이 있는 일은 싼 모델과 내부 자료로 처리하도록 정한다. 경쟁 가게 가격처럼 밖을 찾아야 하는 일만 넓은 검색이나 비싼 모델을 허용한다.

근거가 부족하면 「모름」으로 멈추게 하는 규칙도 필요하다. 돈이 걸린 환불이나 예약 변경처럼 사람의 판단이 필요한 일은 미리 정한 조건에서만 사람에게 넘기도록 한다.

총액 한도도 필요하다. 다만 「이번 달 5만 원까지」라는 한도는 돈을 무한정 쓰지 못하게 막는 장치이지, AI가 알아서 가장 싼 방법을 고르게 만드는 장치는 아니다.

한 달에 한 번 비용을 확인할 때도 평균 정답률 하나만 볼 필요는 없다. 싸게 끝냈어야 할 일에 돈을 얼마나 썼는지, 더 써야 할 일을 몇 번 포기했는지를 따로 보는 편이 실제 가게 운영에 더 맞다.

## 이 시험 결과를 가게에 그대로 적용해도 될까?

그렇게 보기는 어렵다. 시험 문제는 영어 위키 기반 질문 모음에서 가져왔고, 가게 예약이나 재고, 고객 상담을 대상으로 한 시험은 아니다. 가격도 실제 결제 금액이 아니라 도구 사이의 가격 차이를 보기 위한 추상 단위다.

문제 304개 가운데 사람이 현실성을 점검한 것은 45개였고, AI는 문제마다 한 번씩만 무작위성을 없앤 설정으로 실행됐다. 채점은 AI 채점기가 했으며, 사람 한 명이 96개 응답을 다시 채점했을 때 91.7%가 일치했다.

코딩형 AI는 평균 성공률이 더 높았지만 비용을 같은 가격표로 잰 것이 아니어서 비용을 아껴 썼다는 증거로 사용할 수 없다. 모델 버전이 바뀌면 결과도 달라질 수 있다.

따라서 이 시험의 숫자를 우리 가게의 실제 비용으로 그대로 옮겨서는 안 된다. 다만 예산을 적어 주는 것만으로 AI의 비용 판단까지 자동으로 좋아진다고 보기는 어렵다는 점은 분명하게 보여 준다.

요점 ① GPT-5.4는 비싼 조사가 필요한 115문제에서 예산을 202→370→644로 늘려도 자동 조사 선택이 0%→0.9%→2.6%였다. ② Gemini는 싼 검색으로 되는 72문제에서 예산이 커지자 불필요한 자동 조사를 1.4%→19.4%로 늘렸다. ③ 늘 비싼 길부터 가는 규칙은 평균 성공률 76.3%였지만 아껴야 하는 문제에서는 12%였다. ④ 도구를 직접 고른 AI 3종의 경제 판단 점수는 3.6~7.3%였으며, 총액 한도보다 싼 길·비싼 길·멈출 조건을 정하는 규칙이 중요했다.

## 같이 읽을 글

 

- 작은 가게도 비싼 AI를 써야 할까?

- AI에게 가게를 1년 맡겨도 될까?

- 직원을 줄이고 AI를 쓰는 게 정말 더 오래 버티는 길일까?

- 고객은 돈 쓰는 결정을 AI에게 어디까지 맡길까?
 

## 자료 출처

 

- EcoAgent-Bench: Evaluating Economic Decision-Making in Budget-Constrained LLM Agents(Jie Wu 외, Atlassian·arXiv 2608.05519·2026년 8월, 과제 304개·LLM 에이전트 7종·비교용 규칙 4종)

- CostBench: Evaluating Multi-Turn Cost-Optimal Planning and Adaptation in Dynamic Environments for LLM Tool-Use Agents(arXiv 2511.02734·2025년 11월·ACL 2026 본회의)

- 소상공인 10명 중 9명 「AI 활용 안 해」…도입 비용이 걸림돌(이데일리·중소기업중앙회 서울지역본부 조사·2025년 11월·서울 소상공인 300곳)

- 소상공인 80%가 디지털·AI 기술 활용…매출, 비용 변화는 적어(부산일보·중소기업중앙회 조사·2026년 6월·소상공인 500곳)

- Gartner Predicts Over 40% of Agentic AI Projects Will Be Canceled by End of 2027(BigDATAwire 게재 가트너 발표·2025년 6월·조직 3,400곳 이상 조사)

- CostBench 공개 코드 저장소(GitHub·2025년)