글로벌 공공 부문
정확도 높은 LLM을 훈련하기 위해 며칠이 걸리던 데이터 준비 시간을 몇 시간으로 줄인 Trillion Labs
목표
한국 AI 기업 Trillion Labs는 한국을 위해 고도로 정확한 LLM을 구축하는 과제를 극복하고자 국가 AI 개발을 발전시키고 있습니다.
대규모 한국어 LLM 개발의 연산 한계 극복
거대 언어 모델(LLM)을 구축하려면 대규모 데이터셋이 필요하며, 그 규모는 종종 2조 개의 토큰을 초과합니다. 중복 제거 및 셔플링과 같은 데이터 처리 작업은 시간과 컴퓨팅 비용이 많이 듭니다.
확장 가능한 다국어 모델을 개발하는 한국 AI 스타트업 Trillion Labs는 고품질 한국어 데이터 부족으로 이러한 어려움을 더욱 크게 겪고 있습니다. 영어권에서는 다양한 파운데이션 모델과 데이터셋을 활용할 수 있지만, 한국어와 같은 언어는 공개 데이터가 부족해 ‘저자원 언어’로 분류됩니다. 널리 사용되는 모델도 이러한 저자원 언어에서는 충분한 성능을 내지 못하는 경우가 많습니다.
로컬 인프라, 데이터 큐레이션, 로컬 인력 기술에 대한 투자는 국가 규모로 AI를 달성하고 대중에게 혜택을 줄 수 있는 유능한 모델을 구축할 수 있도록 지원하는 데 필수적입니다. Trillion Labs의 이러한 노력은 한국의 맥락을 잘 이해하는 모델을 통해 국내 생태계의 참여를 확대합니다.
한국어 정확도를 높이려면 고품질 데이터셋에 대한 투자가 필요합니다. 데이터 큐레이션과 학습 과정에서 발생하는 연산 지연은 실험 횟수를 제한해, 모델 성능 개선과 새로운 시도를 빠르게 반복하고 검증하는 데 걸림돌이 됩니다.
핵심 요약
- 1.7조 토큰 규모의 한국어 데이터에 대한 학습 시간은 CPU에서 24시간 걸리던 것이 H100 GPU 8개를 사용하면 3.4시간으로 단축되었습니다.
- 큐레이션된 100B 토큰의 데이터를 사용하여 한국어의 정확도를 5% 개선합니다.
- GPU 가속 데이터 큐레이션으로 전환함으로써 Trillion Labs는 기존 CPU 기반 접근 방식에 비해 비용과 에너지 소비량을 최대 10배 절감할 수 있었습니다.
- 최대 7배 가속화된 데이터 처리를 통해 Trillion Labs는 긴 데이터 처리에 10시간 이상 또는 며칠을 기다리는 대신 구축, 테스트 및 혁신에 시간을 할당할 수 있습니다.
대규모 데이터 처리 및 모델 학습을 위한 시간, 비용 및 에너지 절감
이러한 과제를 해결하기 위해 Trillion Labs는 GPU 처리를 활용하여 고품질 데이터셋 생성을 가속화하여 데이터 엔지니어링 시간을 단축하는 NVIDIA NeMo Curator를 사용했습니다. GPU를 사용하여 컴퓨팅 작업은 몇 시간만 걸릴 수 있습니다. 데이터 큐레이션 파이프라인은 한국어를 식별하고, NeMo Curator의 휴리스틱 및 사용자 정의 필터를 기반으로 구축한 맞춤 필터를 적용하는 것으로 시작합니다. 이후 의미가 유사한 문장을 제거하는 중복 제거 과정을 거쳐 데이터셋의 품질과 정확도를 유지하고 편향을 방지합니다. NeMo Curator는 리소스에서 고품질 한국어 데이터를 추출할 수 있습니다.
Trillion Labs의 공동 창업자인 Jason Park는 이렇게 말합니다. “중복 제거는 매우 큰 데이터 세트를 다룰 때 가장 시간이 많이 걸리는 프로세스 중 하나입니다.” “NeMo Curator GPU 가속화로 절약된 시간은 라이브러리를 사용하여 경험한 가장 중요한 이점입니다.”
신속한 데이터 처리, AI 혁신과 시장 영향
Trillion Labs는 GPU 가속 NeMo Curator 파이프라인을 통해 데이터 처리에 대한 새로운 접근 방식을 갖추고 있습니다.
- 이전에는 비용이 너무 많이 들었을 새로운 처리 접근 방식이나 정제 전략을 검색하여 수십 개의 “what-if” 실험을 생성합니다.
- 학습, 검증, 배포와 같은 다운스트림 활동을 가속화하여 프로덕션 준비 데이터셋을 더 빠르게 제공합니다.
- Trillion Labs의 데이터 플랫폼을 경쟁 우위와 지속적인 혁신을 위한 런칭 패드로 전환하여 분석 수준을 향상시킵니다.
Trillion Labs의 공동 창립자이자 CEO인 Jay Shin은 “이제 더 빠르고 유연하게 대응할 수 있게 되면서 데이터 분석 전 과정이 한층 발전했습니다. 우리의 데이터 플랫폼은 지속적인 혁신과 경쟁력 강화를 이끄는 발판이 되고 있습니다”라고 말했습니다.
또한 NVIDIA 제품은 Trillion Labs가 혁신 프로세스를 가속화할 수 있도록 지원합니다. 피드백 루프의 혁신은 프로토타입에서 프로덕션으로의 전환을 더 원활하게 합니다. 더 빠른 반복은 더 나은 모델로 이어지며, 이는 새로운 사용 사례와 더 심층적인 업계 협업을 의미합니다.
글로벌 규모에서 그 이점은 실질적입니다. AI 애플리케이션은 더 다양하고 품질이 높습니다. 제품화가 빨라지면 기업과 개인 모두 혁신의 기회를 더 많이 얻고, 다양한 AI 애플리케이션을 더욱 쉽게 활용할 수 있습니다. 데이터셋은 더 작지만 품질은 더 높으며, 큐레이션 프로세스에서 반복되는 저품질 콘텐츠가 제거되었습니다. 이러한 개선된 데이터셋으로 모델을 학습하는 것은 전반적인 학습 시간을 단축하고 비용과 에너지를 크게 절감할 수 있습니다.
국가 내에서 언어 모델을 개발 및 배포하면 문화 보존과 현지 경제 개발을 가능하게 합니다. 국내 AI 인프라에 대한 투자는 인재 확보와 혁신 촉진에 도움이 됩니다.
NVIDIA NeMo Curator는 훈련 및 맞춤화를 위해 텍스트, 이미지 및 비디오 데이터를 대규모로 처리하여 생성형 AI 모델의 정확도를 향상합니다.