데이터브릭스가 현존 최고 성능의 새로운 오픈 소스 대형언어모델(LLM)을 출시했다. 메타의 ‘라마 2’를 포함한 모든 오픈 소스 모델을 뛰어넘는 성능으로, 기업의 맞춤형 생성 인공지능(AI) 구축을 지원하겠다는 게 목표다.
테크크런치는 27일(현지시간) 데이터브릭스가 기업 맞춤형 모델 구축을 위한 오픈 소스 LLM ‘DBRX’를 출시했다고 보도했다.
이에 따르면 이번 모델은 ▲사용자 정의나 독점 데이터에서 실행하고 미세조정할 수 있는 기본 버전 ‘DBRX 베이스(DBRX Base)’ ▲미세조정 버전 ‘DBRX 인스트럭트(DBRX Instruct)’ 등으로 구분된다. 깃허브 및 허깅페이스에서 연구 및 상업용으로 다운로드할 수 있다.
특히 데이터브릭스는 데이터 전문 기업이라는 점을 최대한 활용했다. 즉, 기업은 데이터브릭스 플랫폼에서도 DBRX와 상호 작용하고, 고유 데이터로 맞춤형 DBRX 모델을 구축할 수 있다. AWS와 구글 클라우드, 애저 데이터브릭스(Azure Databricks)를 통해 마이크로소프트(MS) 애저에서도 사용할 수 있다.
DBRX는 매개변수 1320억개로 구성된 LLM으로, ‘전문가 혼합(MoE)’ 아키텍처를 도입했다. 즉, 16개의 소형 전문가 모델이 포함, 각 쿼리와 관련성이 높은 4개를 동적으로 선택한다. 그 결과 1320억 매개변수 중 360억개의 매개변수만 활성화, 빠르고 저렴한 운영이 가능하다는 설명이다.
데이터브릭스는 DBRX가 언어 이해, 프로그래밍, 수학 및 논리와 같은 표준 업계 벤치마크에서 메타의 '라마2 70B'와 미스트랄의 '믹스트랄-8x7B'와 같은 기존 오픈 소스보다 뛰어난 성능을 보였다고 발표했다. 오픈AI의 'GPT-4'에는 미치지 못하지만, 'GPT-3.5'의 성능도 능가하는 것으로 나타났다고 전했다.
알리 고드시 데이터브릭스 CEO는 “DBRX를 전 세계와 공유하고 업계를 더욱 강력하고 효율적인 오픈 소스 AI로 이끌게 돼 기쁘게 생각한다”라며 “GPT-4와 같은 기초 모델은 훌륭한 범용 도구지만, 우리는 독점 데이터를 깊이 이해하는 각 기업을 위한 맞춤형 모델을 구축하는 것”이라고 말했다.
또 DBRX를 훈련하는 데 약 2개월이 걸렸고, 비용은 1000만달러(약 130억원)가 들었다고 설명했다.
다만 데이터브릭스 고객이 아니면 DBRX를 사용하는 것이 매우 어렵다는 점은 문제로 꼽힌다.
DBRX를 실행하려면 최소 4개의 엔비디아 'H100' GPU가 있는 서버나 PC가 필요하기 때문이다. H100 한대의 가격은 수천달러에 달한다.
DBRX를 사용하기 위해 기업이 자체 인프라를 구축할 수는 있지만, 많은 개발자와 개인 사업자에게는 어려운 일이다. 또 다른 클라우드에서 모델을 실행할 수 있지만, 하드웨어 요구 사항이 높기 때문에 비용이 많이 들어간다.
이 외에도 데이터브릭스는 자사 고객에 사용자 지정 데이터에서 DBRX를 미세조정한 맞춤형 모델을 신속하게 구축 및 배포할 수 있도록 DBRX와 결합한 '모자이크 AI'의 통합 솔루션을 제공한다.
이 때문에 기업 고객이 자체 AI 모델 구축에 데이터브릭스의 데이터 리소스 활용을 유도하기 위해 오픈 소스로 DBRX를 출시했다라는 분석이 나오고 있다.
박찬 기자 cpark@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com