AI에게 빨리 답해 달라고 하면 돈을 더 내야 할까?

AI 답변 속도는 이미 돈에 따라 달라진다. 오픈AI는 빠른 처리에 표준 요금의 2배를 받고 최대 2.5배 속도를 제공한다. 반대로 늦어도 되는 작업에는 50% 할인 요금이 있다.

연구진은 여기서 한 단계 더 나아갔다. 사용자가 요청마다 돈을 걸고, 더 급한 요청을 먼저 처리하는 「속도 경매」를 설계했다. 실험에서는 첫 응답 시간을 늘리지 않으면서 사용자들이 얻는 가치의 합을 12~18.6% 높였다.

지금도 AI 속도에 따라 요금이 다른가?

그렇다. AI 회사들은 이미 빠른 처리와 느린 처리를 나눠 팔고 있다. 오픈AI는 빠른 쪽에 패스트 모드를 두고 표준의 2배 가격에 최대 2.5배 속도를 제공한다. 반대쪽에는 플렉스가 있다. 느리게 처리해도 되는 작업에 50% 할인 요금을 적용한다.

앤트로픽도 속도에 따른 등급을 운영했다. 우선 등급은 1·3·6·12개월 단위로 처리량을 미리 약정하는 방식이었다. 다만 지금은 새 약정을 받지 않고 기존 계약만 유지한다.

핵심은 간단하다. AI 회사들은 모든 요청을 똑같이 처리하지 않는다. 붐비는 시간에는 비싼 등급의 요청을 먼저 처리하는 방식이 이미 쓰이고 있다.

그런데 왜 굳이 경매까지 필요할까?

고객이 화면 앞에서 기다리는 질문과 밤사이 처리해도 되는 작업은 급한 정도가 다르다. 그런데 빠른 처리와 느린 처리를 두세 개의 가격 등급으로만 나누면 요청마다 다른 사정을 반영하기 어렵다.

연구진은 그래서 요청마다 「이 요청을 더 앞에서 처리하기 위해 얼마를 낼 것인가」를 정하게 했다. 돈을 더 낼 가치가 큰 요청을 먼저 처리하는 방식이다.

문제는 AI 서버가 단순한 줄 세우기로 움직이지 않는다는 데 있다. 앞부분이 같은 질문을 이어서 처리하면 이미 계산한 결과를 저장해 두고 다시 쓸 수 있다. 이 저장분을 깨뜨리면서 순서를 바꾸면 오히려 전체 처리가 느려질 수 있다.

연구진은 앞부분이 같은 요청을 묶어 두고, 묶음 사이의 순서만 입찰가로 정했다. 이렇게 하면 저장된 계산 결과를 최대한 살리면서 급한 요청을 먼저 처리할 수 있다.

실제 실험에서는 얼마나 빨라졌나?

연구진은 기존 방식과 여러 처리 순서를 비교했다. 저장된 계산 결과를 살리는 기존 순서, 입찰가만 보고 순서를 정하는 방식, 요청이 들어온 순서대로 처리하는 방식을 놓고 실험했다.

새 경매 방식은 기존 방식과 비교해 첫 응답 시간과 저장된 계산 결과의 재사용을 유지하면서 사용자 가치의 합을 12~18.6% 높였다. 묶음 안의 요청 가치가 비슷한 경우에는 증가 폭이 최대 100%까지 나타났다.

반대로 입찰가만 보고 줄을 세우면 문제가 생겼다. 가치의 합은 높았지만 저장된 계산 결과가 깨졌다. 사슬형 작업에서는 첫 응답 시간이 2.4배, 긴 나무형 작업에서는 12배까지 늘었다.

짧은 작업에서는 결과가 반대였다. 저장 공간에 모두 들어가는 작업은 순서를 바꿔도 저장된 계산 결과가 사라지지 않는다. 이때는 굳이 요청을 묶어 둘 이유가 없어 새 경매가 오히려 가치의 20%를 잃었다.

그럼 가게도 매번 직접 돈을 걸어야 할까?

그럴 필요는 없다. 연구진은 기간 예산을 정해 두면 요청마다 입찰가를 자동으로 조절하는 방식도 실험했다.

예산이 예상보다 빨리 줄면 모든 요청의 입찰가를 같은 비율로 낮추고, 덜 쓰이면 올리는 방식이다. 자동 입찰을 사용하면 한 번만 하는 경매보다 가치의 합이 평균 약 10% 줄었지만, 연구진이 계산한 이론적 하한선보다는 높았다.

가게에서 실제로 이런 경매가 도입된다면 사용자가 직접 매번 가격을 정하기보다는 챗봇 업체나 자동 입찰 장치가 처리할 가능성이 크다. 다만 이것은 앞으로의 가능성에 대한 예상이지, 현재 정해진 요금 방식은 아니다.

가게 챗봇은 지금 무엇을 준비하면 될까?

경매가 생길지부터 걱정할 필요는 없다. 지금 더 중요한 것은 어떤 답이 빨라야 하는지 나누는 일이다.

고객이 예약이나 영업시간을 묻는 질문은 몇 초 안에 답하는 것이 중요하다. 반면 후기 답글 초안이나 하루치 문의 정리처럼 몇 시간 뒤에 해도 되는 작업은 같은 속도가 필요하지 않다.

이 구분은 AI 요금제가 바뀌어도 그대로 쓸 수 있다. 실시간으로 답해야 하는 작업과 늦게 처리해도 되는 작업을 나누면, 현재의 빠른 처리·표준 처리·할인 처리뿐 아니라 앞으로 다른 가격 방식이 나와도 대응하기 쉽다.

또 하나 볼 것은 반복해서 들어가는 안내 내용이다. 가게의 영업시간·가격·위치처럼 여러 질문에 반복해서 쓰이는 앞부분은 저장된 계산 결과를 활용할 수 있다. 앤트로픽 문서에서는 저장된 내용을 읽는 토큰에 우선 등급 사용량의 0.1토큰만 적용한다.

이 연구를 가게 요금표에 그대로 적용해도 될까?

아직은 어렵다. 실험은 80GB H100 1대와 320억 매개변수 모델 하나로 진행됐다. 실제 AI 회사처럼 서버 수천 대에 요청을 나누는 환경을 그대로 보여주는 실험은 아니다.

사용자 가치도 실제 사람이 지불한 돈이 아니라 컴퓨터로 만든 값이다. 입찰도 사용자가 자신의 가치를 솔직하게 적는다고 가정했다. 질문 자료 역시 문제 풀이와 코딩 기록 같은 평가용 자료를 섞어 만든 것이어서 실제 가게 문의와 같다고 볼 수 없다.

조건마다 실험을 3회씩 반복했다는 점도 봐야 한다. 따라서 이번 결과를 보고 곧바로 「가게 챗봇도 경매 요금제가 된다」고 말하기는 어렵다.

다만 한 가지 흐름은 분명하다. AI의 처리 속도는 이미 가격과 연결돼 있다. 가게 챗봇 업체에서 견적을 받을 때도 모든 작업을 같은 속도로 처리하는지, 실시간 답변과 일괄 처리를 나눌 수 있는지 확인할 이유가 생겼다.