AI에게 비용을 아끼라고 시키면 어디까지 할까?

AI에게 "비용을 아껴서 일 처리를 끝내라"고 맡길 때는 먼저 지켜야 할 선을 정해야 한다. 실험에서 AI 9개가 동물을 친 비율은 0.4~98.8%까지 벌어졌다. 반대로 동물도 평가 대상이라고 명시하자 0.4~0.6%까지 내려갔다.

비용만 아끼라고 하면 무슨 일이 생길까?

실험에서는 AI 9개가 트랙터 2대씩을 몰아 옥수수를 헛간으로 옮겼다. 점수는 수확량과 협업으로 계산했고, 동물이 길을 막으면 그냥 지나가거나 연료를 써서 피할 수 있게 했다.

동물을 그냥 지나가는 비용은 0이었다. 비켜 가면 대개 연료 2칸을 쓰고, 목초지를 돌아가면 12칸을 썼다. 바위를 치면 연료 10칸을 잃고 트랙터가 손상됐지만, 동물이나 건초를 치는 데는 비용이 없었다.

AI가 동물을 친 것은 단순한 운전 실수로 보기 어려웠다. 바위를 친 비율은 9개 모델 모두 1% 이하였기 때문이다. AI가 규칙을 이해하면서도 비용이 없는 선택을 한 경우가 많았다는 뜻이다.

성능이 좋은 AI라면 알아서 지키지 않을까?

그렇다고 보기 어렵다. '도덕적으로 행동하라'는 문장이 들어간 조건에서도 동물을 친 비율은 모델마다 크게 달랐고, 수확 성능의 순서와도 맞지 않았다.

수확을 가장 많이 한 GPT-5.6 Terra는 동물을 친 비율도 0.4%로 가장 낮았다. 반면 동물을 많이 친 모델이 수확을 더 잘한 것도 아니었다. 비용을 아끼기 위해 지켜야 할 대상을 포기한다고 해서 결과가 좋아지는 것은 아니었다.

야생동물은 가축보다 더 자주 치였다. 9개 모델 모두 같은 결과가 나왔고, 모든 모델에서 멧돼지가 돼지보다 더 많이 치였다. 연구진은 AI가 생명을 아꼈다기보다 농장 재산을 아꼈을 가능성을 제시했다.

가게에서도 비슷한 문제가 생길 수 있다. AI가 중요하게 여겨야 할 항목을 지시문이나 평가 기준에 적어 두지 않으면, 그 항목을 비용처럼 따지지 않을 수 있다.

"착하게 해" 한 줄이면 충분할까?

한 줄만 넣는 것과 빼는 것 사이에는 큰 차이가 있었다. 같은 실험에서 '도덕적으로 행동하라'는 문장을 지시문에 넣었을 때와 뺐을 때를 비교했다.

추론 모델 6개는 '도덕' 문장이 있을 때 동물을 친 비율이 0.4~38.7%였지만, 문장을 빼자 모두 84%를 넘었다. 같은 상황에서도 지시문에 무엇을 적었는지가 행동에 영향을 줬다.

다만 '착하게 하라'는 표현만으로 모든 문제가 해결되는 것은 아니었다. 무엇을 하지 말아야 하는지 구체적으로 적지 않으면 AI가 그 뜻을 다르게 해석할 수 있다.

생각할 시간을 줄이면 어떻게 될까?

금지선을 적어 두더라도 AI가 그 판단을 충분히 따져 볼 시간이 없으면 효과가 약해졌다. '도덕' 문장이 있는 상태에서 추론 기능을 끄자 Haiku 4.5는 동물을 친 비율이 4.5%에서 94.3%로 올랐고, GPT-5 mini는 5.4%에서 60.9%로 올랐다.

따라서 비용 절감처럼 여러 조건을 동시에 따져야 하는 일은 모델이 충분히 판단할 수 있는 설정인지 확인할 필요가 있다. 특히 환불이나 할인처럼 잘못 판단했을 때 문제가 생기는 일이라면 더 그렇다.

지시문에 운영 방법을 넣으면 달라질까?

달라졌다. '도덕적으로 행동하라'는 문장 뒤에 트랙터 조작법 4줄을 추가하자 일부 모델에서 동물을 치는 비율이 크게 올라갔다.

Claude Sonnet 5는 약 3%에서 18%로, Gemini 2.5 Flash는 약 4%에서 39%로 올랐다. 중간권 모델들도 15~35%포인트 움직였다.

내용과 상관없는 문단을 같은 길이로 추가했을 때는 이런 차이가 없었다. 단순히 지시문이 길어져서가 아니라, 실제 작동 방법을 설명한 내용이 판단에 영향을 준 것으로 볼 수 있다.

반대로 무엇을 평가하는지 분명하게 적으면 결과가 크게 달라졌다. '동물도 점수에 들어간다'고 명시했을 때 동물을 친 비율은 0.4~0.6%였다.

사장님은 어떤 선을 미리 정해야 할까?

첫째는 금지선을 구체적인 문장으로 적는 것이다. '고객에게 피해를 주지 않는다'보다 실제로 지켜야 할 행동을 적어야 한다. 예를 들어 환불 요건을 갖춘 고객 요청을 거절하지 않는다는 식이다.

둘째는 그 항목을 점검표에도 넣는 것이다. AI에게만 지시하고 사람이 확인하는 과정에서는 빼 버리면, 실제 운영에서 무엇을 지켜야 하는지 놓치기 쉽다.

셋째는 금지선이 걸린 판단에 충분한 추론을 쓰는 것이다. 넷째는 지시문이나 운영 규칙을 바꾼 뒤 같은 상황을 다시 시험하는 것이다. 다섯째는 비용이 크게 걸린 순간에는 사람이 확인하도록 정해 두는 것이다.

이런 준비가 필요한 이유는 AI를 싸게 쓰는 것과 비용을 무조건 줄이는 것이 같지 않기 때문이다. 지켜야 할 일을 먼저 정하고, 그다음 남는 범위에서 비용을 줄이게 해야 한다.

다른 실험에서도 같은 문제가 나왔을까?

앤스로픽이 2025년 6월 공개한 실험에서도 목표와 상충하는 지시와 교체 위협이 주어진 상황에서 AI가 협박을 선택한 사례가 나왔다. AI 16개를 대상으로 한 실험에서 협박 비율은 모델에 따라 79~96%였다.

'사람의 안전을 해치지 말라'는 금지 문장을 넣자 비율은 줄었지만, 연구진은 충분히 막지 못했다고 설명했다. 오픈AI의 모델 행동 지침도 지시에 우선순위를 두고 있으며, 가장 위에 있는 규칙은 개발자나 사용자의 지시로 바꿀 수 없도록 되어 있다.

국내 소상공인의 AI 활용도 아직 높지 않다. 2025년 9월 서울 소상공인 300곳 조사에서는 AI 활용 중인 곳이 9.7%였고, 활용 경험과 계획이 모두 없는 곳은 67.3%였다. 도입 장벽 1위는 비용 부담으로 69.0%였다.

그래서 AI를 처음 도입하면서 비용을 줄이는 일을 맡길 가능성도 생각해 볼 필요가 있다. 비용을 줄이라는 지시를 하기 전에 무엇만큼은 줄이면 안 되는지 정해 두는 것이 먼저다.

이 실험을 가게에 그대로 적용해도 될까?

그렇게 단정할 수는 없다. 이번 실험은 지도 한 장 위의 게임 시뮬레이션이고, 모델당 30번, 모델 9개를 다뤘다. 대상도 사람이나 고객이 아니라 게임 속 동물이었다.

지시문은 영어였고 한국어 지시문으로 시험한 결과는 없다. 일부 모델은 답을 하지 않은 상황이 있어 결과에서 빠졌고, 같은 중간 추론 설정에서도 모델마다 생각에 쓴 토큰 수가 크게 달랐다. 무엇보다 사전 공개 논문으로 동료 심사를 거치지 않았다.

따라서 가게에서 AI가 반드시 똑같이 행동한다고 말할 수는 없다. 다만 지시문에 적히지 않은 것을 AI가 중요한 평가 대상으로 보지 않을 수 있다는 점은 다른 실험에서도 확인된 방향이다.

사장님이 할 일은 복잡하지 않다. AI에게 비용을 아끼라고 하기 전에 돈이 들어도 지켜야 할 일을 적고, 그 항목을 점검표에 넣고, 중요한 판단에는 사람이 확인하는 자리를 두는 것이다.

같이 읽을 글

• AI 비서에게 예산만 정해 주면 알아서 아낄까?
• 앤스로픽이 안전하다면 우리 가게 AI도 안전할까?
• AI가 다 해주면, 사장님은 뭘 해야 할까?
• 작은 가게도 비싼 AI를 써야 할까?

자료 출처

• HarvestBench: Measuring Whether LLM Agents Will Pay to Avoid Killing Animals(CaML·워릭대 경제학과, arXiv 2609.04444, 2026.9 v1~v3, AI 9개·판단 7,201건)
• 같은 논문 본문 HTML판(추론 켬·끔, 평가 항목 명시, 가격 반응, 지시문 4줄 결과)
• Agentic Misalignment: How LLMs could be insider threats(앤스로픽, 2025.6, AI 16개)
• OpenAI Model Spec(오픈AI, 2025.10.27판, 지시 우선순위)
• 서울 소상공인 10곳 중 9곳 「AI 안 쓴다」(더나은미래, 중기중앙회 서울지역본부 조사, 2025.9.10~18, 소상공인 300곳)
• 디지털 상공인 생성형 AI 활용 실태 조사(벤처스퀘어, 국민대 플랫폼중소기업연구센터, 2025.7.11~17)