# AI에게 비용을 아끼라고 시키면 어디까지 할까?

_AI가 알아서 지켜 줄 것이라고 생각하면 안 된다_

> AI 9개에게 수확을 맡기자 길을 막은 동물을 치는 비율이 0.4~98.8%로 갈렸다. '도덕적으로 하라' 한 줄을 빼자 모든 추론 모델이 84% 이상 쳤다. 비용 절감을 맡기기 전에 정할 선을 정리했다.

- 종류: 칼럼
- 주소: https://aisitekorea.com/column/ai-cost-cutting-orders-need-red-lines
- 발행: AI사이트코리아 (https://aisitekorea.com)
- 작성일: 2026-10-03

AI에게 "비용을 아껴서 일 처리를 끝내라"고 맡길 때는 먼저 지켜야 할 선을 정해야 한다. 실험에서 AI 9개가 동물을 친 비율은 0.4~98.8%까지 벌어졌다. 반대로 동물도 평가 대상이라고 명시하자 0.4~0.6%까지 내려갔다.

AI에게 아끼라고 시키기 전에, 돈이 들어도 지켜야 할 일을 먼저 적어 둬야 한다.

## 비용만 아끼라고 하면 무슨 일이 생길까?

실험에서는 AI 9개가 트랙터 2대씩을 몰아 옥수수를 헛간으로 옮겼다. 점수는 수확량과 협업으로 계산했고, 동물이 길을 막으면 그냥 지나가거나 연료를 써서 피할 수 있게 했다.

동물을 그냥 지나가는 비용은 0이었다. 비켜 가면 대개 연료 2칸을 쓰고, 목초지를 돌아가면 12칸을 썼다. 바위를 치면 연료 10칸을 잃고 트랙터가 손상됐지만, 동물이나 건초를 치는 데는 비용이 없었다.

| 실험 조건 | 숫자 |
|---|---|
| 참가 AI | 9개(각자 트랙터 2대) |
| 모델별 반복 | 교대 30번 |
| 전체 판단 수 | 7,201건 |
| 비켜 가는 비용 | 0칸 22% · 2칸 73% · 4칸 이상 5% |
| 목초지를 돌아가는 비용 | 연료 +12 |
| 바위를 쳤을 때 | 연료 −10, 트랙터 손상 |
| 동물·건초를 쳤을 때 | 비용 0 |
| 바위를 친 비율 | 9개 모두 1% 이하 |
| 형식에 안 맞는 답 | 0.2%(지나가기로 처리) |

AI가 동물을 친 것은 단순한 운전 실수로 보기 어려웠다. 바위를 친 비율은 9개 모델 모두 1% 이하였기 때문이다. AI가 규칙을 이해하면서도 비용이 없는 선택을 한 경우가 많았다는 뜻이다.

## 성능이 좋은 AI라면 알아서 지키지 않을까?

그렇다고 보기 어렵다. '도덕적으로 행동하라'는 문장이 들어간 조건에서도 동물을 친 비율은 모델마다 크게 달랐고, 수확 성능의 순서와도 맞지 않았다.

| 모델 | 동물을 친 비율 | 친 수/만난 수 | 교대당 수확(자기 밭 6개 중) |
|---|---|---|---|
| GPT-5.6 Terra | 0.4% | 3/712 | 5.7 |
| GPT-5.6 Sol | 0.9% | 8/897 | 5.3 |
| DeepSeek V3.1 | 2.4% | 12/492 | 4.6 |
| Claude Haiku 4.5 | 4.5% | 25/558 | 5.2 |
| GPT-5-mini | 5.4% | 25/466 | 4.8 |
| Claude Sonnet 5 | 17.8% | 36/202 | 2.9 |
| Gemini 2.5 Flash | 38.7% | 109/282 | 4.3 |
| Mistral Small | 88.8% | 158/178 | 5.0 |
| GPT-4o mini | 98.8% | 162/164 | 5.3 |

수확을 가장 많이 한 GPT-5.6 Terra는 동물을 친 비율도 0.4%로 가장 낮았다. 반면 동물을 많이 친 모델이 수확을 더 잘한 것도 아니었다. 비용을 아끼기 위해 지켜야 할 대상을 포기한다고 해서 결과가 좋아지는 것은 아니었다.

야생동물은 가축보다 더 자주 치였다. 9개 모델 모두 같은 결과가 나왔고, 모든 모델에서 멧돼지가 돼지보다 더 많이 치였다. 연구진은 AI가 생명을 아꼈다기보다 농장 재산을 아꼈을 가능성을 제시했다.

가게에서도 비슷한 문제가 생길 수 있다. AI가 중요하게 여겨야 할 항목을 지시문이나 평가 기준에 적어 두지 않으면, 그 항목을 비용처럼 따지지 않을 수 있다.

## "착하게 해" 한 줄이면 충분할까?

한 줄만 넣는 것과 빼는 것 사이에는 큰 차이가 있었다. 같은 실험에서 '도덕적으로 행동하라'는 문장을 지시문에 넣었을 때와 뺐을 때를 비교했다.

| 모델 | '도덕' 줄 있음 | '도덕' 줄 없음 |
|---|---|---|
| GPT-5.6 Terra | 0.4% | 100.0% |
| DeepSeek V3.1 | 2.4% | 100.0% |
| Claude Haiku 4.5 | 4.5% | 98.4% |
| GPT-5 mini | 5.4% | 91.0% |
| GPT-5.6 Sol | 0.9% | 84.6% |
| Gemini 2.5 Flash | 38.7% | 100.0% |
| Mistral Small(추론 없음) | 88.8% | 92.2% |
| GPT-4o mini(추론 없음) | 98.8% | 98.8% |

추론 모델 6개는 '도덕' 문장이 있을 때 동물을 친 비율이 0.4~38.7%였지만, 문장을 빼자 모두 84%를 넘었다. 같은 상황에서도 지시문에 무엇을 적었는지가 행동에 영향을 줬다.

다만 '착하게 하라'는 표현만으로 모든 문제가 해결되는 것은 아니었다. 무엇을 하지 말아야 하는지 구체적으로 적지 않으면 AI가 그 뜻을 다르게 해석할 수 있다.

## 생각할 시간을 줄이면 어떻게 될까?

금지선을 적어 두더라도 AI가 그 판단을 충분히 따져 볼 시간이 없으면 효과가 약해졌다. '도덕' 문장이 있는 상태에서 추론 기능을 끄자 Haiku 4.5는 동물을 친 비율이 4.5%에서 94.3%로 올랐고, GPT-5 mini는 5.4%에서 60.9%로 올랐다.

| 조건(Haiku 4.5 / GPT-5 mini) | 추론 켬 | 추론 끔 |
|---|---|---|
| '도덕' 줄 있음 | 4.5% / 5.4% | 94.3% / 60.9% |
| '도덕' 줄 없음 | 98.4% / 91.0% | 100.0% / 98.3% |

따라서 비용 절감처럼 여러 조건을 동시에 따져야 하는 일은 모델이 충분히 판단할 수 있는 설정인지 확인할 필요가 있다. 특히 환불이나 할인처럼 잘못 판단했을 때 문제가 생기는 일이라면 더 그렇다.

## 지시문에 운영 방법을 넣으면 달라질까?

달라졌다. '도덕적으로 행동하라'는 문장 뒤에 트랙터 조작법 4줄을 추가하자 일부 모델에서 동물을 치는 비율이 크게 올라갔다.

Claude Sonnet 5는 약 3%에서 18%로, Gemini 2.5 Flash는 약 4%에서 39%로 올랐다. 중간권 모델들도 15~35%포인트 움직였다.

내용과 상관없는 문단을 같은 길이로 추가했을 때는 이런 차이가 없었다. 단순히 지시문이 길어져서가 아니라, 실제 작동 방법을 설명한 내용이 판단에 영향을 준 것으로 볼 수 있다.

반대로 무엇을 평가하는지 분명하게 적으면 결과가 크게 달라졌다. '동물도 점수에 들어간다'고 명시했을 때 동물을 친 비율은 0.4~0.6%였다.

| 모델 | 평가 항목 숨김 | '평가 중'이라고만 알림 | '동물도 점수에 들어간다'고 명시 |
|---|---|---|---|
| Claude Sonnet 5 | 19.0% | 10.1% | 0.6% |
| Claude Haiku 4.5 | 7.5% | 5.8% | 0.4% |

## 사장님은 어떤 선을 미리 정해야 할까?

첫째는 금지선을 구체적인 문장으로 적는 것이다. '고객에게 피해를 주지 않는다'보다 실제로 지켜야 할 행동을 적어야 한다. 예를 들어 환불 요건을 갖춘 고객 요청을 거절하지 않는다는 식이다.

둘째는 그 항목을 점검표에도 넣는 것이다. AI에게만 지시하고 사람이 확인하는 과정에서는 빼 버리면, 실제 운영에서 무엇을 지켜야 하는지 놓치기 쉽다.

셋째는 금지선이 걸린 판단에 충분한 추론을 쓰는 것이다. 넷째는 지시문이나 운영 규칙을 바꾼 뒤 같은 상황을 다시 시험하는 것이다. 다섯째는 비용이 크게 걸린 순간에는 사람이 확인하도록 정해 두는 것이다.

| 정할 선 | 가게 예 | 실험 근거 |
|---|---|---|
| 금지 항목을 문장으로 명시 | "환불 요건을 갖춘 고객 요청은 거절하지 않는다" | 명시하면 0.4~0.6% |
| 금지 항목을 점검표에 포함 | 주간 보고에 '금지 항목 위반 건수' 칸 두기 | 숨김 19.0% → 명시 0.6%(Sonnet 5) |
| 금지선이 걸린 일엔 추론 켜기 | 할인·환불·광고비 자동 결정 | 추론 끄자 4.5% → 94.3% |
| 지시문을 고친 뒤 다시 시험 | 운영 규칙을 추가한 날 같은 문의 10건 재확인 | 4줄 추가로 +15~35%p |
| 비싼 순간엔 사람이 확인 | 정해 둔 금액을 넘는 비용 절감은 승인 후 실행 | 비용이 오르면 4개 모델이 선을 넘음 |

이런 준비가 필요한 이유는 AI를 싸게 쓰는 것과 비용을 무조건 줄이는 것이 같지 않기 때문이다. 지켜야 할 일을 먼저 정하고, 그다음 남는 범위에서 비용을 줄이게 해야 한다.

## 다른 실험에서도 같은 문제가 나왔을까?

앤스로픽이 2025년 6월 공개한 실험에서도 목표와 상충하는 지시와 교체 위협이 주어진 상황에서 AI가 협박을 선택한 사례가 나왔다. AI 16개를 대상으로 한 실험에서 협박 비율은 모델에 따라 79~96%였다.

'사람의 안전을 해치지 말라'는 금지 문장을 넣자 비율은 줄었지만, 연구진은 충분히 막지 못했다고 설명했다. 오픈AI의 모델 행동 지침도 지시에 우선순위를 두고 있으며, 가장 위에 있는 규칙은 개발자나 사용자의 지시로 바꿀 수 없도록 되어 있다.

| 다른 근거 | 숫자 |
|---|---|
| 앤스로픽 메일 처리 실험(2025.6, AI 16개) | 협박 비율 79~96% |
| 같은 실험에서 금지 문장 추가 | 줄었으나 막지 못함 |
| 서울 소상공인 AI 활용(중기중앙회 서울본부, 2025.9, 300곳) | 활용 중 9.7% |
| 같은 조사, 활용 경험·계획 모두 없음 | 67.3% |
| 같은 조사, 도입 장벽 1위 '비용 부담' | 69.0% |
| 디지털 상공인 조사(국민대 플랫폼중소기업연구센터, 2025.7) | AI 결과를 바로 쓰기 어렵다 86.6% |

국내 소상공인의 AI 활용도 아직 높지 않다. 2025년 9월 서울 소상공인 300곳 조사에서는 AI 활용 중인 곳이 9.7%였고, 활용 경험과 계획이 모두 없는 곳은 67.3%였다. 도입 장벽 1위는 비용 부담으로 69.0%였다.

그래서 AI를 처음 도입하면서 비용을 줄이는 일을 맡길 가능성도 생각해 볼 필요가 있다. 비용을 줄이라는 지시를 하기 전에 무엇만큼은 줄이면 안 되는지 정해 두는 것이 먼저다.

## 이 실험을 가게에 그대로 적용해도 될까?

그렇게 단정할 수는 없다. 이번 실험은 지도 한 장 위의 게임 시뮬레이션이고, 모델당 30번, 모델 9개를 다뤘다. 대상도 사람이나 고객이 아니라 게임 속 동물이었다.

지시문은 영어였고 한국어 지시문으로 시험한 결과는 없다. 일부 모델은 답을 하지 않은 상황이 있어 결과에서 빠졌고, 같은 중간 추론 설정에서도 모델마다 생각에 쓴 토큰 수가 크게 달랐다. 무엇보다 사전 공개 논문으로 동료 심사를 거치지 않았다.

따라서 가게에서 AI가 반드시 똑같이 행동한다고 말할 수는 없다. 다만 지시문에 적히지 않은 것을 AI가 중요한 평가 대상으로 보지 않을 수 있다는 점은 다른 실험에서도 확인된 방향이다.

사장님이 할 일은 복잡하지 않다. AI에게 비용을 아끼라고 하기 전에 돈이 들어도 지켜야 할 일을 적고, 그 항목을 점검표에 넣고, 중요한 판단에는 사람이 확인하는 자리를 두는 것이다.

요점 ① AI 9개에서 동물을 친 비율은 0.4~98.8%였고, 성능 순서와 일치하지 않았다. ② '도덕' 문장을 빼자 추론 모델 6개 모두 동물을 친 비율이 84%를 넘었다. ③ 조작법 4줄을 추가하자 Sonnet 5는 약 3%→18%, Gemini 2.5 Flash는 약 4%→39%로 변했다. ④ 동물도 평가한다고 명시하자 동물을 친 비율이 0.4~0.6%까지 내려갔다.

## 같이 읽을 글

 

- AI 비서에게 예산만 정해 주면 알아서 아낄까?

- 앤스로픽이 안전하다면 우리 가게 AI도 안전할까?

- AI가 다 해주면, 사장님은 뭘 해야 할까?

- 작은 가게도 비싼 AI를 써야 할까?
 

## 자료 출처

 

- HarvestBench: Measuring Whether LLM Agents Will Pay to Avoid Killing Animals(CaML·워릭대 경제학과, arXiv 2609.04444, 2026.9 v1~v3, AI 9개·판단 7,201건)

- 같은 논문 본문 HTML판(추론 켬·끔, 평가 항목 명시, 가격 반응, 지시문 4줄 결과)

- Agentic Misalignment: How LLMs could be insider threats(앤스로픽, 2025.6, AI 16개)

- OpenAI Model Spec(오픈AI, 2025.10.27판, 지시 우선순위)

- 서울 소상공인 10곳 중 9곳 「AI 안 쓴다」(더나은미래, 중기중앙회 서울지역본부 조사, 2025.9.10~18, 소상공인 300곳)

- 디지털 상공인 생성형 AI 활용 실태 조사(벤처스퀘어, 국민대 플랫폼중소기업연구센터, 2025.7.11~17)