'AI폰 시대' 연 삼성 갤럭시S24 온디바이스 AI 시대를 열다

[이코노믹데일리] 삼성전자는 최근 미국 새너제이에서 ‘갤럭시 언팩 2024’를 개최하고 차세대 주력 스마트폰 모델 ‘갤럭시S24 시리즈’를 공개했다. 

이번 시리즈는 전작과 마찬가지로 △갤럭시 S24 울트라 △갤럭시 S24+ △갤럭시 S24로 구성된다. 삼성은 오는 31일부터 국내를 포함해 세계에 이 제품을 순차 출시할 계획이다. 국내 사전 판매는 25일까지 일주일간 진행된다.

갤럭시S24 시리즈는 세계 첫 인공지능(AI) 스마트폰으로 생성형 AI 검색과 같은 온라인 기반 서비스는 물론 ‘온 디바이스 AI’(On-Device AI) 기능도 다수 탑재했다. AI 기능을 기기 자체적으로 연산한다는 점에서 차별화된다. 네트워크 연결 없이 저지연 작업에 유리하고 특히 보안 측면에서도 강점을 지닌다. 무엇보다 △서버 연결 없이도 13개 언어를 지원하는 ‘실시간 통역 통화’(AI Live Translate Call) △구글과 협업으로 사진에 동그라미를 그리면 바로 원하는 정보가 튀어나오는 ‘서클 투 서치’(Circle to Search) 등이 핵심 기능으로 꼽힌다.
  "삼성전자는 기기와 사용자간의 새로운 상호작용 방식 적용을 위해 AI 개발에 많은 노력을 기울이고 있습니다. '갤럭시 AI'는 생산성, 커뮤니케이션, 엔터테인먼트 등 다양한 일상에서 한층 더 향상된 경험을 제공할 것입니다."
 
김영집 삼성전자 모바일경험(MX)사업부 언어 인공지능 팀장(부사장)은 지난 18일(현지시간) 미국 실리콘밸리 마운틴뷰에 있는 삼성리서치아메리카(SRA)에서 가진 기자 간담회에서 이같이 개발 배경을 설명했다.

김 부사장은 이날 기자 간담회에서 “초거대 AI ‘가우스’를 10분의 1로 압축하는 한편 성능 손실을 최소화하기 위한 최적화(파인튜닝) 과정을 거쳐 ‘갤럭시 S24’에 탑재했다. 갤럭시AI를 온디바이스화해 첫 AI폰으로 탄생시켰다는데 의미를 두고 싶다”고 밝혔다. 이어 "대규모 언어 모델(LLM) 솔루션 개발을 위해 업계 다양한 파트너들과 협업하고 있다"며 "'갤럭시 AI' 기능 향상에 지속적으로 노력하고 있다"고 말했다. 

그는 또 "갤럭시 AI는 온디바이스와 클라우드 방식을 모두 활용할 수 있는 '하이브리드 AI' 구조로 설계됐으며 특히 온디바이스 AI는 네트워크를 통한 데이터 전송 없이 기기 내에서 역할을 수행하기 때문에 보다 안전한 사용 환경을 제공한다"고 말했다.

특히 김 부사장은 인터넷 연결 없이 사용할 수 있는 온디바이스 AI의 장점과 별개로 새롭게 추가되는 신조어 등에 대해 "온디바이스 AI에서 지원 언어 수의 제한이 있는데, 추가 언어 개발과 업데이트를 통해 가능한 많은 언어를 지원할 수 있도록 할 것"이라고 설명했다.
 
김 부사장은 AI 기능인 실시간 통·번역 개발을 총괄했다. 그는 “기존 음성인식은 간단한 명령어에 집중했으나 갤럭시AI는 설계부터 다르다”고 강조했다. 일상 대화 인식을 위해 언어에 대한 기본적인 이해를 바탕으로 특정 언어를 교육시켰다는 것이다. 특히 김 부사장은 “음성 인식은 물론 음성 재생도 보다 자연스럽게 들리도록 새로 설계했다”고 강조했다.

김 부사장은 기기 자체적으로 AI를 고속 구현하기 위해서는 하드웨어 최적화 작업에도 특히 공을 들였다고 강조했다. “갤럭시 S24에는 신경망처리장치(NPU) 구조가 다른 엑시노스 칩셋과 스냅드래곤 칩셋이 탑재돼 각각 최적화하는 과정이 필요했다”며 “칩 설계 초기단계부터 퀄컴과 함께해 갤럭시AI의 성능을 극도로 끌어올릴 수 있었다”고 전했다.

복잡한 연산이 가능한 클라우드 AI를 활용하지만, 그에 맞먹는 온디바이스 AI 성능을 구현하기 위해 특별히 노력했다는 게 김 부사장의 설명이다. 그는 “먼저 서버에서 충분한 메모리와 컴퓨팅 파워를 사용해 큰 모델을 만들고 간결화(prune), 미세조정·강화(fine-tune), 정량화(quantize)를 거쳐 목적에 맞는 최적화 과정을 거친다”며 “클라우드 기반 AI 모델을 온디바이스 AI로 압축하는 과정에서 높은 정확도와 메모리 사용 최적화를 위해 최첨단 딥러닝 기술을 적용했다”라고 했다.

삼성전자는 온디바이스 AI가 작업을 실행하는 과정에서만 인터넷에 연결되지 않을 뿐 소프트웨어 업데이트 등 분야에서 지속적인 성능 개선에 나설 계획이다. 김 부사장은 “갤럭시 AI 개발 과정에서 문어체와 구어체, 신조어 트레이닝을 거쳤고, 앞으로도 지속적인 업데이트를 통해 성능을 개선해 나갈 예정”이라며 “지속적인 업데이트와 업그레이드를 통해 성능을 높이겠다”라고 했다.

이와 함께 김 부사장은 국내 다른 클라우드 AI 업체들과의 향후 협업 가능성에 대해서는 "삼성은 오픈 협업을 추구하고 있다"며 "언제든지 양사가 합의되면 공동의 목표 추구를 위해 협력 가능성은 열려 있다"고 회사의 방침을 소개했다.

김 부사장은 “갤럭시 AI의 유료화 여부에 관심이 많은데 비용은 사용자가 편하게 쓸 수 있도록 2025년 말까지 무료로 제공한다”며 “이후 유료화 여부는 검토하거나 논의한 적이 없다”라고 했다.

다양한 모바일 기기에 대한 갤럭시 AI의 적용 여부에 대해 김 부사장은 “당장 시작은 스마트폰이지만 사용자가 쓰는 모든 갤럭시 단말기에 갤럭시 AI가 확대 적용되도록 할 것”이라며 “스마트워치 등 웨어러블이나 노트북 등은 가까운 시기에 지원하고. TV나 생활가전 등에도 순차적으로 적용될 것으로 본다”라고 했다.

김 부사장은 사회적 문제로 떠오르는 AI 윤리에 대해 “AI 윤리 정책을 엄격하게 준수하고 있으며, 앞으로도 지켜나갈 것”이라고 했다. 그는 “갤럭시 AI는 기능 전반에 걸쳐 공정성, 투명성, 책임성 원칙을 준수하고 있으며, 앞으로도 그러한 원칙을 준수할 것”이라고 말했다.
   
이러한 삼성전자의 AI 스마트폰인 ‘갤럭시 S24’를 출시를 앞두고 AI 애플리케이션(앱) 시장에 많은 변화가 있을 전망이다. 사진 검색·보정, 실시간통역, 음성 문자변환(STT), 글 요약 등이 스마트폰의 기본 기능으로 구현하게 되어 앱 개발사들은 기본 기능과 차별화한 서비스를 개발하는 동시에 AI폰 사용자의 새로운 요구를 충족시키기 위해 치열하게 경쟁할 것으로 예상된다.

이번에 출시되는 갤럭시 S24는 삼성전자 ‘가우스’와 구글 ‘제미나이’를 기기에 내장했다. 기본으로 탑재되는 앱들의 기능은 기존 대비 크게 개선됐다. 13개 언어 실시간 통역, 문자와 메신저 앱은 실시간 번역과 오탈자·문법·어조 보정, 음성을 인식하는 STT와 요약·번역, 정교한 사진·영상 편집, 웹사이트 콘텐츠의 요약·번역을 지원한다. 올해 구형 제품을 포함한 1억대의 기기를 시작으로 점점 더 많은 갤럭시폰 사용자에게 해당 기능이 제공될 예정이다.

정보통신기술(ICT) 업계에선 갤럭시 S24 출시로 인해 안드로이드 앱 생태계 내에서 위협과 기회가 동시에 찾아올 것으로 전망했다. 서비스를 담는 기기 제조사로 여겨졌던 삼성전자가 AI 서비스 강자로 급부상해 시장 점유율을 빼앗는 ‘위협’과 AI폰 보급에 따라 서비스 수요 자체가 커지는 ‘기회’에 모두 대비할 필요가 생겼다는 것이다.