오픈AI가 기존 대비 응답 지연시간을 대폭 단축한 ‘GPT-4o’를 출시하면서 온디바이스AI 진영과의 경쟁이 불가피할 전망이다. 단말기 자원만으로 AI(인공지능) 기능을 구현하는 온디바이스AI의 큰 장점 중 하나가 짧은 지연시간이기 때문이다. 

GPT-4o, 인간과 동일한 커뮤니케이션 속도

오픈AI는 13일(현지시간) 온라인 이벤트를 통해 새 AI 모델 GPT-4o를 공개했다. GPT-4o의 ‘o’는 ‘Omni(모든 방식으로)’를 뜻하는데, GPT-4o가 텍스트⋅오디오⋅이미지 등 포맷을 가리지 않고 활용할 수 있다는 의미다. 

GPT-4o가 기존 대비 특히 개선된 점은 지연시간이다. GPT-4o의 오디오 응답 지연시간은 320ms로, GPT-4(5400ms)와 비교해 현저하게 짧아졌다. 인간의 응답 시간이 평균 208ms라는 점을 감안하면 ‘GPT-4o’의 응답 속도는 인간과 커뮤니케이션하는 정도로 즉각적이다. 오픈AI측은 GPT-4o가 ‘GPT-4o 터보’와 비교해도 두 배 빠르다고 설명했다.

GPT-4o가 이처럼 빠른 속도로 응답할 수 있는 건, 종전과 달리 텍스트⋅오디오⋅이미지를 한 번에 처리하는 단일 모델이기 때문이다. 이전 GPT-4는 사용자가 말을 하면 오디오-텍스트, 텍스트-텍스트, 텍스트-오디오의 흐름을 따라 순차 처리되는데 비해 GPT-4o는 모든 입력과 출력이 동일한 신경망 내에서 처리된다. 

마치 인간이 상대방의 말을 들으면서 머리로는 다음 할 말을 떠올리고 대화에 임하는 것처럼, GPT-4o는 사람과 대화하는 듯한 인터페이스를 제공한다.

이처럼 단축된 지연시간은 최근 빠르게 확산하는 온디바이스AI의 상대적 이점을 상쇄한다. 온디바이스AI는 기기 내 컴퓨팅 자원만으로 AI를 구동한다는 점에서 ▲네트워크 연결이 없어도 되고 ▲개인정보 보안에 유리하며 ▲상대적으로 빠른 속도를 구현할 수 있다. 클라우드 자원을 동원한 AI 서비스는 서버와의 통신 시간까지 더해져 속도가 늦은데, 온디바이스AI는 즉각적인 피드백을 받을 수 있다.

다만 이번에 출시된 GPT-4o는 속도 측면에서 온디바이스AI의 상대적 장점을 무색케 할 만큼 빠르다. 물론 네트워크 지원이 없어도 되고, 개인정보 보안에 유리한 점은 온디바이스AI가 여전히 우위에 있지만 이는 사용자 편리성 측면에서 어느 정도 효용을 줄 수 있을지 불분명하다. 한 AI 솔루션 업체 관계자는 “스마트폰만 놓고 보면 네트워크 지원이 안 되는 환경에서 사용하게 될 가능성이 크지 않고, 개인정보 보안도 극소수 사용자를 제외하면 크게 어필하기는 어려울 것”이라고 말했다. 

GPT-4o 역시 향후 사용자가 증가하면서 실제 지연시간이 어느 정도로 구현되는지는 지켜봐야 한다. 만약 이날 발표한 정도의 지연시간이 유지되고, 향후 버전이 업그레이드되면서 성능이 더 개선된다면 적어도 속도 때문에 온디바이스AI를 써야 하는 이유는 사라진다. 

스마트폰, NPU 키우는 것만이 능사일까

지난해 스마트폰 업계가 온디바이스AI 기능을 도입하기 시작한 이후, 반도체 관점에서 가장 크게 바뀐 것은 NPU(신경망처리장치) 성능 개선이다. 물론 이전에도 스마트폰 AP(애플리케이션프로세서) 내에 NPU는 내장돼 있었다. 이른바 온디바이스AI 스마트폰을 표방하는 제품들의 NPU는 AP 내에서 차지하는 면적이 커지면서 속도가 훨씬 빨라졌다. 

퀄컴의 최신 AP인 ‘스냅드래곤8 젠3’는 100억개 파라미터를 가진 AI 모델을 구동할 수 있을 만큼 높은 성능을 가졌다. 덕분에 메타의 ‘라마2 7B’나 ‘미스트랄 7B’ 등 경량화된 AI 모델을 스마트폰 내 컴퓨팅 자원만으로 사용할 수 있다.

그러나 이번에 오픈AI가 내놓은 GPT-4o처럼 클라우드 AI의 응답속도가 크게 개선되면 굳이 온디바이스AI 성능을 개선해야 하는 유인은 떨어진다. 온디바이스AI를 위해서는 NPU 외에도 LPDDR 등 메모리 성능까지 높여야 한다. 개인이 지불해야 할 하드웨어 비용이 높아지는 것이다. 차라리 평범한 성능의 스마트폰에 GPT-4o를 연결해 사용하는 게 사용성과 투자비 측면에서 유리할 수 있다.

또 다른 AI 솔루션 업체 관계자는 “온디바이스AI로 구동되는 경량화된 AI 모델은 빠르기는 하지만 클라우드 AI의 풍부한 성능을 따라갈 수는 없다”며 “속도까지 클라우드 AI에 따라잡힌다면 온디바이스AI 진영이 위축될 것”이라고 말했다.