분산 컴퓨팅에 인공지능(AI)까지, 걸림돌은 하드웨어 다양성 확보
소프트웨어 개발 도구는 비슷하지만 전략은 다소 달라

PC, 스마트폰, 그 다음을 이을 기기는 무엇이 될까. 

반도체 업계가 일제히 엣지(Edge) 시장에 주목하고 있다. 데이터 처리 방식이 기존 중앙 집중형에서 분산형으로 바뀌고, 데이터를 만드는 곳, 엣지(Edge)에도 연산 기능이 탑재되고 있기 때문이다. 특히 인공지능(AI)이 이같은 변화를 이끌고 있다. 

앞선 건 기존 엣지용 코어 시장을 독점하다시피했던 Arm이다. 모바일 시장에서 쓴 맛을 본 인텔 역시 이 시장을 겨냥하고 있다. 

 

고도화되는 엣지

엣지 기기(Edge device)는 데이터가 만들어지는 장치를 뜻한다. 스마트홈에 구축된 센서, CCTV, 교통량을 측정하는 교통량 측정 단말기, 스마트폰 등이 모두 엣지 기기다.

이전까지 대부분의 엣지 기기는 그저 작동만 제대로 하면 그만이었다. 만들어낸 데이터를 연산 장치에, 혹은 서버·클라우드 등 중앙 망에 보내는 역할을 했기 때문이다. 고도화된 기능이 필요치 않았기 때문에 엣지에 들어가는 반도체 또한 성능보다 가격 경쟁력에 초점을 맞췄다.

최근의 엣지 기기는 사뭇 다르다. 

기존 방식대로 모든 데이터를 중앙에서 처리하기엔 용량이 너무 커졌고, 자율주행차처럼 실시간으로 반응해야하는 기기들이 늘어났다. 이에 데이터를 중앙 연산 장치나 데이터센터에서 처리하는 대신, 엣지 기기 자체에서 처리하는 분산형 컴퓨팅이 대세가 됐다.

 

지난 2017년 CES 2017에서 공개된 인텔·모빌아이·BMW의 자율주행차 디자인./인텔
지난 2017년 CES 2017에서 공개된 인텔·모빌아이·BMW의 자율주행차 디자인./인텔

대표적인 엣지 기기가 자동차다. 자동차에는 10여개의 카메라(이미지센서)와 수 개의 레이더, 초음파 센서가 내장된다. 에어백 시스템에 쓰이는 압전센서 등까지 모두 합치면 수십개다. 

수십개의 센서에서 나오는 데이터를 몽땅 데이터센터로 보내서 처리하게 하면 어떻게 될까. 데이터를 서버로 보내는 시간, 서버에서 데이터를 처리하는 시간, 다시 이 데이터를 받아오는 시간까지 모두 흐르면 차선 이탈 경고 시스템(LDWS)이나 긴급제동장치(AEB) 등의 경우 이미 구동됐어야할 타이밍을 놓치게 된다.

분산형 컴퓨팅이 대세가 된 또 하나의 이유는 AI다. AI는 굉장히 유용한 도구다. 생산라인에서 사람 대신 위험 요소를 미리 파악하는 것부터 CCTV가 눈에 띄는 객체를 추적하게 해주고, 각 개인에게 맞춤형 서비스를 제공하는 등 AI의 잠재력은 무궁무진하다. 

하지만 AI를 클라우드나 중앙 데이터센터에 가둬두면 데이터를 처리하는 데 그만큼 오랜 시간이 걸린다. 개인별 맞춤형 서비스를 제공하기 위한 데이터를 모으고, 학습하는 것도 복잡해진다. 기기 안에 AI 기능을 넣는 ‘온 디바이스 AI(On-device AI)’ 개념이 나온 건 이 때문이다.

인텔은 세계 엣지 컴퓨팅 시장이 오는 2023년 1조1200억달러(1337조8400억원)로 성장할 것으로 전망한다.

업계 관계자는 “엣지 기기는 물량으로 봤을 때 반도체 업계에 스마트폰보다 더 큰 시장이 될 것”이라며 “모든 업체가 시장을 선점하기 위해 하드웨어 및 소프트웨어 솔루션을 앞다퉈 내놓고 있다”고 말했다.

 

하드웨어 다양성을 어떻게 만족할 것인가

엣지 기기가 고도화되면서 엣지 기기를 구동하는 반도체도 변화무쌍하게 발전하고 있다. 

엣지 기기를 구동하는 연산 장치는 MCU부터 중앙처리장치(CPU), 애플리케이션프로세서(AP) 같은 시스템온칩(SoC), 그래픽처리장치(GPU), 프로그래머블반도체(FPGA) 등으로 매우 다양하다. 

AI는 일반적으로 모델을 학습(Training)시킨 다음 기기에 알고리즘을 넣고(Inferencing), 배포한다. 그런데 각 기기마다 하드웨어 사양이 다르면 이를 수 달이 걸려 일일이 최적화해야하고, MCU와 서버용 CPU처럼 연산 단위 차이가 클 경우 거의 모델을 다시 만들어야한다. 범용성을 확보하기가 어렵다는 얘기다.

Arm NN의 작업도. 가장 위에 나타나있는 AI 프레임워크로 만든 모델을 Arm NN, Arm 컴퓨트 라이브러리 등을 거쳐 최적화해 Arm 기반 하드웨어에 넣는다./Arm

해결책을 내놓은 건 Arm과 인텔이다. Arm은 지난 2018년 4월에, 인텔은 그 해 5월에 각각 AI 추론 작업을 수월하게 도와주는 소프트웨어 개발 도구 ‘NN’과 ‘오픈비노(OpenVINO)’를 내놨다.

Arm의 NN SDK는 기존에 만들어진 AI 모델을 추론하는 과정에서 사용된다. 하드웨어에 맞게 알고리즘을 최적화해 넣어주는 일종의 컴파일러(Compiler) 역할이다. 코어텍스-A CPU, 코어텍스-M CPU, 말리 GPU, 에토스(Ethos) 신경망처리장치(NPU) 등 디지털신호처리(DSP) 엔진이 들어있는 IP들을 지원한다. 

지난해까지 2억대 이상의 안드로이드 장치에 NN SDK가 쓰였고 MCU 개발 업체들도 이를 활용하기 시작했다.

뒤를 이은 건 인텔이다. 

 

인텔의 오픈비노는 AI 모델의 성능을 한층 끌어올리고 인텔의 다양한 하드웨어에 맞게 최적화해준다./인텔
인텔의 오픈비노는 AI 모델의 성능을 한층 끌어올리고 인텔의 다양한 하드웨어에 맞게 최적화해준다./인텔

인텔의 오픈비노는 AI 모델의 성능을 한층 끌어올리고 CPU, GPU, SoC, FPGA, 비전처리장치(VPU) 등 인텔의 다양한 하드웨어에 맞게 최적화해주는 오픈 소스 개발 도구다. 모델을 각 하드웨어의 사양대로 개발할 필요 없이, 한 번 모델을 개발한 다음 배포하고자 하는 하드웨어를 선택하면 알아서 최적화해 추론 작업을 해준다. 

인텔의 다양한 제품에 대응하고, 최적화 이후 정확도가 낮아지지 않았는지 체크하고 성능을 측정(Benchmark)하는 기능 등도 들어있다.

나승주 인텔코리아 상무는 “오픈비노는 이미 만들어진 AI 모델을 실제 여러 하드웨어에 사용할 수 있도록 최적화해주고, 기존 모델의 성능을 극대화해준다”며 “6세대 이상 인텔 코어 프로세서와 제온 프로세서 E 제품군, 3세대 제온 스케일러블 프로세서, 아톰 프로세서 등 다양한 제품을 지원한다”고 말했다.

 

모바일 시장에서 1등이었던 Arm, 쓴맛을 본 인텔... 엣지에선?

Arm의 NN SDK와 인텔의 오픈비노는 둘 다 추론 과정에 쓰인다. 

다른 점은 Arm의 NN SDK가 보다 하드웨어 개발에 가깝다면, 인텔의 오픈비노는 소프트웨어 개발에 가깝다는 점이다. 때문에 주 사용층도 다르다. Arm의 NN SDK는 애플리케이션프로세서(AP) 개발 업체처럼 자체 반도체 설계 능력을 갖춘 업체들이, 인텔의 오픈비노는 완성품 제조사들이 선호한다.

기존 지형도를 보면 엣지 시장을 꽉 쥐고 있는 Arm이 우세하다. 하지만 인텔의 전략도 먹혀들어가고 있다. 각 완성품 제조사마다 원하는 AI 기능과 성능이 다르기 때문이다. 업체들이 자체 반도체를 설계하는 경우도 있지만, 모든 업체들이 반도체를 개발할 수 있는 능력을 갖고 있는 건 아니다. 엔비디아는 제품군의 중심이 GPU에 쏠려있고, 제품 단가 자체가 두 업체보다 높기 때문에 겨냥하는 시장이 다르다.

 

권명숙 인텔코리아 사장(왼쪽), 정한 아이쓰리시스템 대표가 '발열 측정 열화상 카메라의 기술 혁신과 사업 협력'을 위한 업무 협약(MOU)을 체결하고 있다./인텔

적외선(IR) 카메라 및 센서 업체 아이쓰리시스템이 대표적인 예다. 

아이쓰리시스템은 열화상 측정 IR 카메라를 개발하는 데 인텔의 오픈비노 및 CPU 플랫폼을 사용했다. 기존 IR 카메라는 광원의 한계 때문에 절대 온도 값에 오차가 있고, 시간이나 주변 온도에 따른 오차도 컸다. 이런 한계를 극복하기 위해 회사는 AI 알고리즘을 개발해왔지만, CPU 점유율이 너무 높아 실제 상용화하는 데 문제가 있었다.

정한 아이쓰리시스템 대표는 “지난 2~3년간 자체 개발을 했지만 인텔의 오픈비노 플랫폼을 써보고 나서 자체 개발 알고리즘을 완전히 버리고 인텔 솔루션을 채택할 수밖에 없었다”며 “정확도도 훨씬 높았고, 알고리즘의 CPU 점유율도 절반으로 줄어 값비싼 CPU가 아닌 노트북PC에서도 돌아갈 정도의 알고리즘을 개발할 수 있었기 때문”이라고 29일 열린 ‘인텔 2020 코리아 버추얼 AI 포럼’에서 설명했다.

 

저작권자 © KIPOST(키포스트) 무단전재 및 재배포 금지