치솟는 AI 비용에 기업들 비상… '토큰맥싱' 시대 저무나

AI를 적극 도입해 온 기업들이 예상치 못한 문제에 직면하고 있다. 읽고 해석하고 행동하는 봇, 즉 AI 에이전트가 빠르게 확산되면서 막대한 연산 비용을 만들어내고 있다. 한때 AI 연산 토큰을 많이 사용할수록 업무능력이 뛰어나다는 평가를 내리던 분위기는 사라지고 이젠 비용 효율성에 집중하기 시작했다고 경제주간지 이코노미스트가 14일 보도했다. 

미국의 한 빅테크 임원은 기업들이 직면한 새로운 문제를 "완전히 악몽이 될 것" 이라고 표현했다. 대기업들이 사용하는 수백 개의 소프트웨어에 각각 에이전트를 사용하기 시작하면 AI 비용이 통제 불능으로 치솟을 수 있다는 지적이다. 예산 관리가 AI를 도입한 기업들의 새로운 고민거리로 등장한 것이다. 

얼마 전까지만 해도 분위기는 정반대였다. 경영진과 투자자들은 AI 토큰 지출을 혁신의 신호로 보았으며 직원들은 AI 사용을 적극 권장받았다.  앤트로픽 등 AI 모델 기업들이 금액을 부과하는 기준인 토큰을 대량으로 소비하는 것이 일종의 훈장이었으며, 업계는 이를 토큰맥싱(tokenmaxxing)이라 불렀다. 기업들은 사내 순위표에 직원들의 AI 사용량을 자랑스럽게 게시했다. 메타는 사용량 상위 직원에게 '토큰 레전드(Token Legend)' 같은 칭호를 붙였다.

이에 따라 고성능 추론 모델과 에이전트처럼 토큰을 많이 사용하는 응용프로그램들이 인기를 끌었다. 때론 에이전트가 스스로 또 다른 에이전트를 만들어내 비용을 더 끌어올렸다. 이 같은 사용방식의 변화가 비용 지출을 기하급수적으로 끌어올렸다

법인카드 업체 램프(Ramp)는 고객사의 거래 데이터를 분석해 AI 사용 실태를 조사한 결과 고객사들의 전체 AI 지출이 지난 1년간 13배로 늘었다고 추산했다. 지난 4월 우버는 연간 AI 예산을 넉 달 만에 모두 써버렸다고 밝혔다. 다른 기업들도 비슷한 상황을 겪고 있다. 한 기업은 한 달에 토큰 비용으로 5억 달러를 썼다는 보도도 나왔다. 샘 올트먼 오픈AI 최고경영자는 고객들의 비용 부담이 커지는 것을 두고 "심각한 문제"라고 지적했다.

함께 읽으면 좋은 기사 AI 붐에 컴퓨팅파워 부족으로 수시로 다운…치열한 확보 경쟁

아직은 비용지출의 과다는대체로 빅테크들에 집중해 있다. 이들이 AI를 가장 먼저 도입했고, AI가 특히 소프트웨어 작성에 능하기 때문이다. 램프에 따르면 직원 1인당 AI 지출이 가장 많은 상위 1% 고객은 1인당 월평균 약 7,450달러를 쓴다. 램프 고객 중간값인 월 11달러와 비교하면 엄청난 차이다. 다만 이 같은 과도한  AI 비용도 샌프란시스코에서 개발자를 고용하는 비용에 비하면 낮은 편이며, 인도 델리에서 개발자를 쓰는 비용과 비교하면 높은 편이다.

이제 토큰맥싱은 저물고 있다. 메타와 아마존 등 일부 기업은 순위표를 없앴다. 모델 선택을 더 신중하게 고려하는 기업도 많다. 상당수 작업은 값비싼 굳이 최첨단 모델을 사용하지 않아도 된다. 기업의 클라우드 비용 절감을 돕는 아처라(Archera.ai)의 애런 카나는 작업의 종류에 따라 앤스로픽의 과거 모델인 소네트(Sonnet)가 최첨단 모델 오퍼스(Opus)의 20분의 1 수준 비용으로 같은 일을 처리할 수 있다고 설명한다. 또 중국 스타트업 문샷AI의 오픈소스 모델 키미(Kimi)는 그 비용의 다시 20분의 1 수준에 불과하다.

또 가격통제 방법은 지출 상한제다. 우버는 직원 한 명이 코딩 도구별로 매달 쓸 수 있는 토큰을 1,500달러어치로 제한했다. 컨설팅업체 소트웍스(Thoughtworks)의 레이철 레이콕은 토큰을 어떻게 배분할지는 AI에서 가장 큰 가치를 끌어낼 수 있는 곳이 어디인지에 달려 있다고 말한다. 그 결과 기업들은 대개 핵심 사업 기능, 이를테면 기술기업의 엔지니어에게 가장 많은 토큰을 배정한다고 그는 덧붙였다.

AI를 제품에 접목한 일부 소프트웨어 업체들은 고객의 비용 우려를 덜기 위해 성과 기반 과금처럼 새로운 가격 정책을 실험하고 있다. 소프트웨어 업체 인터컴(Intercom)은 자사 IT 지원 에이전트가 실제로 해결한 문의에 대해서만 고객이 비용을 내는 서비스를 제공한다. 대형 클라우드 업체들도 예산 관리 도구, 문의를 가장 적합한 모델로 분류하는 기능 등 비용 관리 서비스를 내놓았다.

모델 개발사 입장에서는 선택의 기로에 놓여있다. 이들은 고객이 비용에 부담을 느끼지 않으면서도 최대한 많은 토큰을 쓰기를 바란다. 현재 AI 서비스 제공 비용은 개발사들이 일부 떠안아 보조하고 있다. 실제로 오픈AI가 앤트로픽 고객을 끌어오기 위해 마련한 전략에는 대폭적인 가격 인하가 포함된 것으로 전해졌다. 그러나 결국 개발사들도 이익을 내야 하고, 이는 곧 가격 인상을 뜻한다. 예상대로 올해 하반기에 앤트로픽과 오픈AI가 기업공개(IPO)에 나선다면 가격 인상 압박은 더욱 거세질 전망이다. 그렇게 되면 고객들은 더 큰 AI 청구서를 받게 될 가능성이 높다. 

[email protected]