자연어학회 ‘NAACL’ 채택...'Yi'도 DUS 적용
업스테이지(대표 김성훈)는 대형언어모델(LLM) 솔라 개발 논문이 세계 최고 권위 NLP(자연어처리) 학회인 ‘NAACL 2024(북미 전산언어 학회)’에 채택, 6월16~21일 멕시코시티 현장에서 발표를 진행할 예정이라고 29일 밝혔다.
NAACL은 ACL, EMNLP와 함께 세계 3대 NLP 학회로 꼽힌다. 매년 구글, 메타, 아마존 등 글로벌 빅테크 기업과 수천여명의 NLP 연구자들이 참여해 최신 연구성과를 공유한다.
채택된 논문은 김다현 연구원, 박찬준 수석 연구원 등이 주도했으며, 김성훈 대표와 이활석 CTO 등 주요 경영진까지 모두 참여해 솔라 개발의 노하우를 담았다는 설명이다.
특히 ‘깊이 확장 스케일링(DUS, Depth-Up Scaling)’이라는 기법으로 LLM의 깊이 차원을 확장, 모델 규모를 늘리는 새로운 방법론을 제시했다고 전했다.
LLM은 텍스트 입력에서 처리, 출력까지 다양한 층위의 신경망 레이어로 구성하는데, 이러한 레이어를 조합해 모델의 성능을 끌어올리는 방식이다.
구체적으로는 ‘라마 2’ 아키텍처인 ‘미스트랄 7B’를 기반으로 DUS 기법을 적용, 모델의 깊이 차원을 확장해 107억 매개변수로 구성된 ‘솔라 10.7B’ 모델을 개발했다.
업스테이지 솔라는 지난해 12월 알리바바 ‘큐원'의 6분의 1도 안 되는 크기로 미스트랄AI의 ‘믹스트랄(Mixtral 8x7B)’ 등 글로벌 인기 모델 성능을 뛰어넘은 바 있다.
그 결과 허깅페이스 ‘오픈 LLM 리더보드’에서 세계 1위를 차지, DUS 기법의 우수성을 입증했다고 강조했다.
이번 논문을 통해 자체 LLM 개발 기술력을 세계적 권위 학회에서 인정 받은 것은 물론, 핵심인 DUS 방법론을 공식 인정받았다고 전했다.
또 DUS는 중국 인공지능(AI) 유니콘 기업 01.AI에서 언어모델 ‘Yi’를 개발하는 데 사용하는 등 글로벌 적용 사례도 생기는 추세라고 밝혔다.
한편 업스테이지는 지금까지 국내외 AI 관련 논문 110여편을 발표, 구글 스콜라 랭킹 기준 톱 7 NLP 분야 컨퍼런스에서 모두 논문 채택을 달성하는 등 연구를 이어가고 있다.
김성훈 업스테이지 대표는 “세계 최고 수준 언어모델 솔라를 개발한 기술력을 글로벌 탑티어 학회에서 인정받게 돼서 기쁘다”라며 “앞으로는 세계 최고 AI 기술력을 토대로 국내는 물론 해외 시장을 주도할 수 있는 강력한 LLM 개발에 힘쓸 것”이라고 말했다.
장세민 기자 semim99@aitimes.com
무단전재 및 재배포 금지
기사제보 및 보도자료 news@aitimes.com