카카오는 ‘카나나 테크니컬 리포트’를 통해 자체 AI 모델의 개발 과정과 성능을 상세히 밝히고 경량 모델인 ‘카나나 나노 2.1B’를 오픈소스로 공개했다고 27일 밝혔다.
이번에 공개된 테크니컬 리포트는 카카오가 개발한 ‘카나나’ 언어모델의 구조, 학습 방법, 성능 등을 담은 기술 논문이다. 리포트에는 ‘카나나’ 언어모델의 전체 라인업인 ‘카나나 플래그(Flag)’, ‘카나나 에센스(Essence)’, ‘카나나 나노(Nano)’의 사전 학습부터 후속 학습까지 전 과정이 상세히 기술되어 있다.
카카오는 ‘카나나’ 언어모델 개발에 혁신적인 학습 기법들을 적용하여 효율성과 성능을 동시에 향상시켰다. ‘단계별 사전 학습(Staged pre-training)’, ‘가지치기(Pruning)’, ‘지식 증류(Distillation)’, ‘깊이 업스케일링(DUS, Depth Upscaling)’ 등 최신 기술을 통해 학습 비용을 유사 모델 대비 50% 이상 절감했다. 이러한 기술적 진보를 통해 카카오는 경량 모델부터 초거대 모델까지 다양한 크기의 고성능 ‘카나나’ 언어모델 라인업을 구축하는 데 성공했다.
AI 연구 생태계 활성화에 기여하기 위해 카카오는 경량 모델 ‘카나나 나노 2.1B’를 오픈소스로 공개했다. ‘카나나 나노 2.1B’는 베이스 모델, 인스트럭트 모델, 임베딩 모델 형태로 오픈소스 커뮤니티 깃허브를 통해 제공된다. 이 모델은 연구 및 개발에 용이한 크기이며 온디바이스 환경에서도 활용 가능한 고성능 경량 모델이다.
특히 한국어와 영어 처리 능력이 뛰어나 다양한 응용 분야에 활용될 것으로 기대된다. 카카오는 오픈소스 공개를 통해 AI 기술 접근성을 높이고 연구자와 개발자들이 ‘카나나 나노 2.1B’를 기반으로 다양한 연구 및 개발을 진행할 수 있도록 지속적인 모델 업데이트를 지원할 계획이다.
카카오는 향후 ‘카나나’ 모델에 강화 학습, 연속 학습 등 최신 기술을 접목하여 추론, 수학, 코딩 능력과 사용자 요청 수행 정확도를 더욱 향상시킬 예정이다. 또한 음성, 이미지, 영상 등 다양한 형태로 소통할 수 있도록 모델을 지속적으로 고도화하여 실생활에 더욱 유용한 AI 기술로 발전시켜 나갈 방침이다.
김병학 카카오 카나나 성과리더는 “모델 최적화 및 경량화 기술을 통해 글로벌 AI 모델과 견줄 수 있는 고성능 자체 언어모델 라인업을 효율적으로 확보했다”며 “이번 오픈소스 공개가 국내 AI 생태계 활성화에 기여할 수 있기를 기대하며 앞으로도 효율성과 성능 중심의 실용적이고 안전한 AI 모델 개발을 통해 AI 기술 경쟁력을 강화해 나갈 것”이라고 밝혔다.
Copyright © 이코노믹데일리, 무단전재·재배포 금지
