현재까지의 AI 모델의 트레이닝 비용

 

시간에 따른 AI 모델의 학습 비용 시각화하기

 

OpenAI의 ChatGPT나 Google의 Gemini Ultra와 같은 고급 AI 모델을 훈련하려면 수백만 달러가 필요하며 비용도 급격히 증가합니다.

 

연산 수요가 증가함에 따라 이를 훈련하는 데 필요한 컴퓨팅 성능에 대한 비용도 급증하고 있습니다. 이에 따라 AI 기업들은 제너레이티브 AI 시스템을 훈련하는 방법을 재고하고 있습니다. 여기에는 현재의 성장 궤도를 고려할 때 컴퓨팅 비용을 줄이기 위한 전략이 포함되는 경우가 많습니다.

 

이 그래픽은 스탠포드 대학교의 2024 인공지능 지수 보고서의 분석을 바탕으로 고급 AI 모델의 학습 비용 급증 추세를 보여줍니다.

 

학습 비용 결정 방법

AI 인덱스는 리서치 회사인 Epoch AI와 협력하여 클라우드 컴퓨팅 임대 가격을 기반으로 AI 모델 훈련 비용을 추정했습니다. 분석된 주요 요인으로는 모델의 학습 기간, 하드웨어의 사용률, 학습 하드웨어의 가치 등이 있습니다.

 

많은 사람들이 AI 모델을 훈련하는 데 비용이 점점 더 많이 든다고 추측하고 있지만, 이러한 주장을 뒷받침하는 종합적인 데이터는 부족합니다. AI 지수는 이러한 추정치를 제공하는 드문 자료 중 하나입니다.

 

급증하는 훈련 비용

작년에 OpenAI의 GPT-4는 약 7,840만 달러의 훈련 비용이 들었는데, 이는 1년 전 1,240만 달러였던 Google의 PaLM(540B) 모델보다 큰 폭으로 상승한 수치입니다.

 

참고로 2017년에 개발된 초기 AI 모델인 트랜스포머의 학습 비용은 930달러였습니다. 이 모델은 오늘날 사용되는 많은 대규모 언어 모델의 아키텍처를 형성하는 데 기초적인 역할을 합니다.

 

Google의 AI 모델인 Gemini Ultra는 이보다 훨씬 더 많은 1억 9,100만 달러에 달합니다. 2024년 초 현재 이 모델은 여러 지표, 특히 대규모 멀티태스크 언어 이해(MMLU) 벤치마크에서 GPT-4보다 뛰어난 성능을 보이고 있습니다. 이 벤치마크는 대규모 언어 모델의 성능을 측정하는 데 중요한 척도로 사용됩니다. 예를 들어, 57개 주제 영역에 대한 지식과 문제 해결 능력을 평가하는 것으로 알려져 있습니다.

 

미래의 AI 모델 훈련

이러한 과제를 감안하여 AI 기업들은 비용 상승에 대응하기 위해 언어 모델 학습을 위한 새로운 솔루션을 찾고 있습니다.

 

여기에는 특정 작업을 수행하도록 설계된 소규모 모델을 만드는 것과 같은 다양한 접근 방식이 포함됩니다. 다른 기업들은 자체적으로 합성 데이터를 만들어 AI 시스템에 공급하는 실험을 하고 있습니다. 하지만 아직 뚜렷한 돌파구는 보이지 않습니다.

 

현재 합성 데이터를 사용하는 AI 모델은 특정 질문을 받았을 때 말도 안 되는 대답을 내놓아 '모델 붕괴'라는 현상을 일으키고 있습니다.

 

https://www.visualcapitalist.com/training-costs-of-ai-models-over-time/