단말(Edge) 장치에 머신러닝(ML)과 인공지능(AI)이 결합되고 있다. TIRIAS리서치는 2025년까지 전체 엣지 디바이스의 98%가 어떤 형태이든 머신 러닝/인공 지능을 이용하게 될 것으로 전망한다. 하지만 기존 엣지 장치에 전력 소모량도 많고, 메모리 용량도 큰 시스템온칩(SoC)을 넣기엔 한계가 있다. 이같은 한계를 극복할 수 있게 마이크로제어장치(MCU)에서도 ML 및 AI를 구현할 수 있는 솔루션이 나왔다.

NXP반도체는 글로우(Glow: Graph Lowering NN Compiler) 신경망(NN) 컴파일러를 위한 ML 소프트웨어 'eIQ'를 출시했다고 29일 밝혔다.

이를 통해 NXP반도체의 MCU 'i.MX RT 크로스 RT 크로스오버' 상에서 작은 메모리 사용량으로도 우수한 ML 기능을 구현할 수 있다. 

글로우는 페이스북이 다양한 하드웨어 플랫폼에서 신경망 최적화를 제공하기 위해 개발한 오픈소스 기반 신경망 컴파일러다. 기존 신경망 모델은 프로그램 실행 시점에 기계어로 번역하는 기존 적시(JIT) 컴파일을 활용하기 때문에 컴퓨팅 성능이 많이 필요하고 메모리의 오버 헤드도 크다. 반면 글로우는 코드를 생성할 때 최적화 작업을 진행하기 때문에 프로세싱 및 메모리 요구사항이 상대적으로 낮다. NXP는 글로우 오픈 소스 커뮤니티에서 적극적인 역할을 맡아 새로운 글로우 기능이 포괄적으로 채택되도록 지원하고 있다.

드와락 라자고팔(Dwarak Rajagopal) 페이스북 소프트웨어 엔지니어링 매니저는 “깃허브(GitHub)에 있는 글로우 기본 버전은 RISC-V뿐만 아니라 Arm 코어텍스-A 와 코어텍스-M 코어 등을 비롯해 사용자들이 관심이 있는 기본 아키텍처에 신경망 모델을 컴파일할 수 있도록 유연성을 제공한다"며 "MCU의 컴퓨트 엘리먼트(compute element)를 활용하는 특수 목적 소프트웨어 라이브러리를 이용하고 2-3배 성능을 향상, NXP의 MCU도 다양한 머신 러닝 애플리케이션에 글로우 NN 컴파일러를 사용할 수 있다"고 말했다.

NXP는 NN 오퍼레이터 라이브러리(operator library)를 사용해서 글로우의 타깃별 최적화 기능을 Arm 코어텍스(Cortex)-M 코어와 케이던스 텐실리카(Cadence Tensilica) HiFi 4 디지털신호처리장치(DSP)에 적용, 'i.MX RT685'와 'i.MX RT1050', 'RT1060'의 추론 성능을 최적화했다. 이 기능은 NXP반도체의 소프트웨어개발키트(SDK) 'MCUXpresso'에서 무료 제공되는 NXP eIQ 머신 러닝 소프트웨어 개발 환경(ML SDE)에 통합됐다.

NXP의 엣지 인텔리전스 환경 솔루션은 개발자들이 엣지 디바이스에서 효율적으로 ML을 실행하는데 필요한 기본 요소를 제공한다. 글로우가 eIQ 소프트웨어에 통합되면서 ML 개발자들은 i.MX RT 크로스오버 MCU와 i.MX 8 애플리케이션프로세서(AP) 등 NXP의 엣지 프로세싱 솔루션 전반에서 확장이 가능한 포괄적인 고성능 프레임워크를 사용할 수 있다. 특히 ML 음성 애플리케이션, 객체 인식, 얼굴 인식 등을 개발하기에 더 유리해졌다고 회사는 설명했다.

또다른 AI 프레임워크인 텐서플로우 라이트(TensorFlow Lite)에 대한 추론도 지원한다. NXP는 글로우와 텐서플로우 라이트 모두에 대해 정례적으로 벤치마킹 활동을 실행, 성능을 측정하고 있다. MCU 벤치마크에는 CIFAR-10와 같은 표준 NN 모델이 포함된다. 예를 들어 CIFAR-10 신경망 모델을 이용해서 NXP는 CMSIS-NN으로 성능을 1.8배 개선할 수 있었다.

NXP반도체는 i.MX RT600 크로스오버 MCU와 i.MX RT1050 및 i.MX RT1060 크로스오버 MCU 외 MCU 제품군에 대해서도 eIQ를 출시할 계획이다.

론 마티노(Ron Martino) NXP반도체 수석부사장은 “eIQ ML 소프트웨어 프레임워크로 통합도가 높은 i.MX 애플리케이션 프로세서와 고성능 i.MX RT 크로스오버 MCU의 강력한 기능을 활용해 엣지 디바이스 상에서 머신 러닝의 기능 구현을 추진하고 있다”며 “i.MX RT 시리즈 크로스오버 MCU에 글로우 지원이 추가되면서 본사 고객들은 심층 신경망을 컴파일하고 자사 애플리케이션에 경쟁 우위를 부여할 수 있게 됐다"고 전했다.