대만 AP(애플리케이션프로세서) 설계업체 미디어텍이 엣지(단말기) 차원에서 생성형 AI를 구현하기 위해 메타와 협력하고 있다.

미디어텍은 메타가 개발하고 있는 오픈소스 기반의 LLM(거대언어모델) ‘Llama2’와 긴밀히 협력하고 있다고 25일 밝혔다. 미디어텍은 Llama2를 자사가 개발한 APU(인공지능프로세싱유닛) 및 ‘뉴로파일럿 AI 플랫폼’과 결합하면 스마트폰⋅IoT(사물인터넷)⋅자동차 내에서도 자체 생성형 AI 서비스를 구동할 수 있다고 강조한다. 

현재 ‘챗GPT’ 같은 LLM 기반 서비스들은 거대한 클라우드 서버 시설에서 모델을 학습시킨 뒤, 이를 사용자들이 온라인으로 접속해 활용하게 한다. 이처럼 거대 서버 기반 서비스들은 전력 소비량이 크고, 무엇보다 이용자의 개인정보가 클라우드 서버 어딘가로 전송된다는 점에서 프라이버시 침해 소지가 있다. 일부 기업들은 업무 환경에서 생성형 AI를 접속하지 못하게 차단하기도 하는데, 이는 생성형 AI를 통해 기업 기밀이 누설될 것을 염려해서다. 

미디어텍이 강조하는 엣지단의 AI가 가능하다면 이 같은 논란에서 자유로워질 수 있다. 엣지 기기에 탑재된 APU가 정보를 외부로 전송하지 않고 자체적으로 결과값을 내놓기 때문이다. 

다만 AI는 기본적으로 학습과 추론에 막대한 전력을 소모하는데, 대부분 배터리로 구동하는 엣지 기기들이 이를 어떻게 해결할 지가 관건이다. 최소한의 전력만을 소모하도록 저전력 설계를 강화해야 할 것으로 보는 이유다. 

또 프라이버시 논란에서 자유롭다고는 해도 클라우드 기반의 생성형 AI 서비스들과의 품질 경쟁을 어떻게 돌파할지도 주목할 부분이다. 생성형 AI의 성능은 결국 학습된 데이터의 양에 귀속될 수 밖에 없는데, 엣지단에서 충분한 수준의 학습이 이뤄질지 미지수다. 

미디어텍은 올해 말 출시 예정인 플래그십 SoC(시스템온칩)가 스마트폰에서 Llama2 기반의 AI 애플리케이션을 구동할 수 있을 것이라고 설명했다. JC 추 미디어텍 전무는 “생성형 AI 서비스의 인기는 모바일 업계의 중요한 트렌드”라며 “메타와 함께 뛰어난 성능의 하드웨어를 공급할 수 있을 것”이라고 말했다.