다른 가게에서 잘된 AI 판단, 우리 가게에도 통할까?

다른 가게에서 AI로 가격이나 재고를 정해 잘됐다는 이야기를 들어도 그대로 따라 하면 안 된다. 같은 문제라도 경쟁자가 바뀌면 AI의 판단과 결과가 달라질 수 있다. 실제 실험에서는 경쟁자만 바꿨는데 100개 문제 중 79개에서 1등 AI가 달라졌다.

같은 문제인데 왜 결과가 달라졌나?

연구진은 시리얼 제조사를 가상으로 만들고 AI 6종에게 경영을 맡겼다. AI는 30일짜리 라운드를 6번 진행하면서 상품 12종의 가격과 생산량을 정하고, 판매 경로 3곳에 원재료 주문과 마케팅 예산, 자금을 나눴다.

가격을 올리면 수요가 줄고, 재고가 없으면 늘어난 수요도 팔지 못한다. 현금이 부족하면 원재료를 살 수 없기 때문에 앞에서 내린 결정이 뒤의 결과에도 영향을 준다.

핵심은 같은 문제를 두 가지 경쟁 환경에서 풀게 한 것이다. 한 환경에서는 평가받는 AI가 보수형·공격형·균형형·성장형·위험회피형 경쟁사 5곳과 겨뤘고, 다른 환경에서는 평가받는 AI 6개가 서로 경쟁했다.

문제 번호와 난수 조건, 난이도, 판단 틀, 라운드 수는 그대로 두고 상대만 바꿨다. 그래서 두 결과의 차이를 경쟁자 차이와 연결해서 볼 수 있었다.

경쟁자만 바꿨는데 1등 AI도 바뀌었나?

실제로 바뀌었다. 정해진 규칙으로 움직이는 경쟁사와 겨룬 환경에서는 딥시크가 평균 기업가치 252.29로 1위였지만, AI끼리 경쟁한 환경에서는 제미나이가 263.95로 1위였다.

제미나이는 첫 환경에서 평균 가치가 169.41로 6개 AI 중 가장 낮았지만, 두 번째 환경에서는 263.95로 94.54 올랐다. 반대로 딥시크는 17.58, 큐원은 18.74 떨어졌다.

문제 하나씩 보면 차이는 더 분명하다. 두 환경에서 1등이 같았던 문제는 100개 중 21개뿐이었다. 나머지 79개에서는 1등이 달라졌다.

문제별 AI 순서를 비교한 순위상관 평균도 0.182였다. 1이면 순서가 같고 0이면 관계가 없는 값이므로, 두 경쟁 환경에서 AI들의 순서가 상당히 달랐다는 것을 보여준다.

평균 1위만 보면 괜찮은 판단일까?

평균 성적이 높다고 해서 나쁜 결과가 적은 것은 아니다. 연구진은 평균 기업가치뿐 아니라 꼴찌로 끝난 비율과 나쁜 결과에서 1등과 얼마나 차이가 났는지도 따로 확인했다.

제미나이는 정해진 규칙형 경쟁사와 겨룰 때 22%의 문제에서 꼴찌였다. 하지만 AI끼리 경쟁한 환경에서는 꼴찌가 한 번도 없었다. 나쁜 10%에서의 격차도 0.73에서 0.27로 줄었다.

딥시크는 반대였다. 나쁜 10%의 격차가 0.16에서 0.39로 커졌다. 같은 AI라도 경쟁자가 누구냐에 따라 평균뿐 아니라 위험한 결과의 모습까지 달라졌다.

가게에 남의 성공 사례를 적용할 때도 평균 매출이나 평균 이익만 볼 수는 없다. 그 사례에서 가장 나빴던 달이 어땠는지, 큰 손실이 몇 번 있었는지를 함께 봐야 한다.

AI가 세운 계획은 실제로 실행됐나?

이번 실험은 AI가 말한 계획을 글로만 평가하지 않았다. 시뮬레이터에서 실제로 실행하고, 실행할 수 없는 부분은 고치거나 건너뛴 기록도 남겼다.

전체 실행 개입은 4,557건이었다. 이 가운데 3,761건인 82.5%는 설비 능력이 부족해 생산을 건너뛴 경우였다. 할 수 없는 투자 선택은 355건, 읽을 수 없는 답을 기본 결정으로 대신한 경우는 275건이었다.

이 결과는 남의 계획을 가져올 때 실행 조건도 확인해야 한다는 점을 보여준다. 다른 가게에서 직원과 설비를 충분히 갖추고 실행한 계획이라도 우리 가게의 인력과 설비, 현금 조건에서는 그대로 실행되지 않을 수 있다.

계획이 좋아 보이는지만 볼 것이 아니라 실제로 할 수 있는지도 따져야 한다. 실험에서 실행이 막힌 사례의 대부분이 설비 능력 부족에서 발생했다는 점이 그 이유다.

앞으로 경쟁 가게도 AI를 쓰면 어떻게 될까?

국내 소상공인의 AI 활용은 아직 기초 단계가 많다. 중소기업중앙회가 소상공인 500곳을 조사한 결과 80%가 디지털·AI 기술을 사용한다고 답했지만, 그중 83.3%는 배달앱·포스·키오스크 같은 기초 단계에 머물렀다.

정부 지원 사업에 참여한 곳은 3.2%였고, 참여하지 않은 곳의 76.2%는 사업이 있는 줄 몰랐다고 답했다. 국세청 국세통계에서는 2025년 폐업자가 975,681명이었고, 이 가운데 491,966명이 사업 부진을 이유로 들었다.

미국 사업자의 AI 정기 사용률은 2024년 7월 48%에서 77%로 올랐다. 국내 시장도 앞으로 경쟁 가게들이 AI를 이용해 가격이나 재고 같은 결정을 바꾸는 환경으로 움직일 수 있지만, 그렇게 된다고 단정할 수는 없다.

중요한 점은 경쟁 환경이 바뀌면 지금 잘되는 판단이 그대로 유지된다는 보장이 없다는 것이다. 이번 실험에서도 경쟁자만 바꿨을 뿐인데 100개 중 79개 문제에서 1등이 달라졌다.

남의 성공 사례를 볼 때 무엇부터 확인할까?

첫째는 경쟁자다. 그 가게의 경쟁자들이 가격을 거의 바꾸지 않았는지, 서로 계속 가격을 바꾸는 환경이었는지를 확인해야 한다. 같은 가격 판단이라도 상대가 어떻게 움직이는지에 따라 결과가 달라질 수 있다.

둘째는 평균이 아니라 나쁜 결과다. 평균 성적이 좋아도 꼴찌가 자주 나오는 판단일 수 있다. 제미나이의 꼴찌 비율이 경쟁 환경에 따라 22%에서 0%로 바뀐 것처럼, 평균만으로는 위험을 알기 어렵다.

셋째는 실행 가능성이다. 그 계획이 우리 가게의 설비와 인력, 현금 안에서 실제로 돌아가는지 확인해야 한다. 실험에서는 실행 개입의 82.5%가 설비 능력 부족 때문에 발생했다.

실제로 적용할 때는 상품 몇 개나 한 주 단위처럼 작게 시험하는 편이 안전하다. 결과를 확인하면서 경쟁 가게가 어떻게 반응하는지도 함께 봐야 한다.

이 실험을 어디까지 믿어야 할까?

이번 실험은 시리얼 제조사를 흉내 낸 가상 시뮬레이션이다. 문제는 100개였고 기간은 6라운드였으며, 함께 경쟁하는 환경의 참가자 구성도 한 가지였다.

연구진도 상대 구성이나 기간, 주어지는 정보가 바뀌면 결과가 달라질 수 있다고 적었다. AI 회사들이 내부 경로를 바꿀 수 있기 때문에 같은 이름의 모델이 두 환경에서 완전히 같은 버전이었다고 장담할 수도 없다.

동네 식당이나 미용실처럼 생산 설비보다 서비스와 단골이 중요한 업종에 이 결과를 그대로 적용할 수 있는지도 검증되지 않았다. 따라서 이 실험에서 가져갈 핵심은 특정 AI가 항상 더 좋다는 결론이 아니다.

같은 경영 문제라도 경쟁 조건이 달라지면 결과가 달라질 수 있다는 점이다. 다른 가게에서 통했다는 이유만으로 그대로 따라 하기보다, 경쟁자와 위험, 실행 조건이 우리 가게와 같은지부터 확인해야 한다.

같이 읽을 글

• AI 순위표 1등이면 믿고 써도 될까?
• AI에게 물어볼수록 가게가 비슷해질까?
• 똑똑한 AI를 같이 쓰면 가게들이 같은 실수를 할까?
• 창업 아이디어, AI에게 그냥 물어봐도 될까?

자료 출처

• ERPBench: Evaluating LLM Agents for Enterprise Decision-Making Across Competitive Market Ecologies(상하이 혁신연구원·상하이교통대·베이징이공대 GAIR Lab·arXiv 2609.04667·2026년 9월 제출, 경영 문제 100개·AI 6종·경영 과정 1,200개)
• '5년 이상 버티다 폐업' 최다…20년 넘은 음식점도 사라져(파이낸셜뉴스·연합뉴스, 2026년 7월, 국세청 국세통계 2025년 폐업자 975,681명)
• AI 쓰는 줄 알았더니 배달앱·POS가 전부…소상공인 83%는 '디지털 초보'(헤럴드경제, 2026년 6월, 중소기업중앙회 소상공인 500곳 조사)
• 2026 AI Impact Report(인튜이트 퀵북스, 2024년 7월~2026년 1월, 미국·캐나다·영국·호주 사업자 3만 4천여 명 설문 + 퀵북스 이용 사업체 530만여 곳 추적)
• 폐업 100만 시대 모면했지만 경영난 여전…소상공인 데이터 기반 맞춤형 지원(머니투데이방송, 2026년 6월)