엔비디아가 주도하던 AI 가속기 시장에 본격적인 경쟁 구도가 형성된다. 새로운 구조와 장점을 앞세운 칩 업체들이 본격적인 양산을 앞두고 있다. 

전력 소모량을 대폭 줄인 AI 가속기 업체들은 지난해 테이프아웃(칩 설계를 마치고 양산 업체에 디자인을 제공하는 것)을 마치고 올해부터 양산에 돌입한다. 

이 업체들은 엣지(Edge)단에서 다양한 기능과 애플리케이션을 타깃으로 하고 있어 AI 저변이 본격적으로 확대되는 계기가 될 것으로 예상된다. 각 회사들은 특히 전력소모량에 방점을 맞췄다. 

고객들은 ‘가격’, ‘TOPS’보다 ‘와트(Watt)’에 주목한다

AI 가속기의 채택을 결정짓는 주요 항목으로 연산 속도, 제품 가격보다는 전력 소모량이 더욱 주목 받고 있다. 

한 AI가속기 업체 관계자는 “머신러닝, 서버 등에 AI 가속기를 적용하려는 업체들은 가격보다는 전력 소모량에 더욱 가중치를 둔다”고 설명했다. 

데이터 센터에서라면 전세계적으로 데이터센터의 방열 시스템을 설계할 수 있는 회사가 몇 없는데다 발열이 곧 비용이기 때문에 전력 소모가 가장 중요한 요소가 될  수밖에 없다. 또 클라우드를 통해 서버에까지 넘어오는 데이터는 어느정도의 지연시간(latency)을 감안한 것일 경우가 많다. 

엣지에서도 전력 소모량이 가장 이슈다. 엣지마다 여러 개 가속기를 장착할 경우 결과적으로 발열이 전체 시스템 관리 비용에 전가되기 때문이다. 시간당 처리 속도 단위인 TOPS(Trillion operations per second·1초당 1조회) 역시 데이터 양 자체가 서버만큼 크지 않은 엣지에서는 후순위로 밀린다는 게 업계의 설명이다.    

물론 전력 소모량, 가격, 성능 삼박자를 다 갖춘다면 금상첨화다. 
 

미씩(Mythic), 40나노 공정 기반 AI가속기로 전력 가격 다 잡았다

AI 가속기는 흔히 7나노, 5나노 등 최첨단 미세공정을 사용해 제조된다. 방대한 데이터를 실시간 처리하는 것이 목적이므로 최대한 회로를 집적시켜 PPA(성능, 전력, 면적)를 개선해 프로세서 성능을 높이고 전력 소모량을 줄이려는 것이다.

미국 AI 가속기 업체 미씩(Mythic)은 40나노 공정에서 제조한 AI 가속기를 출시했다.

이 회사는 소프트뱅크, 록히드 마틴, 마이크론 등으로부터 9400만달러(약 1036억원)를 투자 받은 AI 칩 업계 다크호스다. 

지난해 10월 첫 엣지 AI가속기 ‘M1108 Mythic AMP’를 출시했고, 올해 연말부터 양산을 준비하고 있다. CCTV의 비전 프로세싱, 제조 대기업의 검사 장비 등에 우선 도입될 전망이다. 사물인식(ResNet-50 FPS)은 870fps, 추론(YoloV3-608 FPS) 60fps 성능을 구현했다.  

이 회사 기술이 주목 받는 이유는 디지털 신호를 처리연산하는 기존 프로세서의 구조 대신 아날로그 신호를 이용한 구조를 적용했다는 점이다. 데이터 처리 구조는 다음과 같다. 

칩 하나당 총 112개의 타일이 적용된다. ACE(아날로그컴퓨트엔진 각 타일에는 아날로그 컴퓨트 엔진, SIMD(Single Instruction, Multi Data stream) 구조의 벡터 엔진, 32비트 RISC-V 프로세서, 네트워크온칩(NoC) 라우터, 로컬 S램이 내장됐다. 4개의 컨트롤 및 인터페이스 타일이 추가된다. 

이같은 구조 덕에 최고 35TOPS 성능을 내면서 전력 소모량은 4와트에 불과하다. 엔비디아 ‘자비에(Xavier) AGX’와 비교해 전력 소모량이 10분의 1 수준이 불과하다.  

이 회사는 칩은 물론이고 M.2 카드 모듈 형태로 제공해 확장성이 높다. 또 40나노 공정 비용이 10나노 이하 공정에 비해 수배 저렴한 만큼 공정 비용 자체가 적게 들어 가격 경쟁력도 갖췄다.  
 

머신러닝(ML) 와트당 1000FPS 구현한 시마ai(Sima.ai)

시마ai(Sima.ai)는 애플리케이션 별로 전력 소모량을 달리한 머신러닝(ML) AI가속기를 구현했다고 발표한 바 있다. 델 테크놀로지 등으로부터 총 4000만달러(약 440억원) 투자를 받은 이 회사는 전력 기준별 머신러닝 솔루션을 제공한다. 

 이 회사 역시 올해 첫 ML시스템온칩(SoC)을 양산할 계획이다.

100만개 AI칩 출하한 신티언트(Syntiant)

신티언트(Syntiant)는 이미 100만개 AI 엣지 칩을 출하하면서 앞서 나가고 있다. 이 회사 음성인식 칩은  아마존 ‘알렉사’ 등에 쓰인 것으로 알려졌다. AI스피커의 웨이크 워드(‘하이 알렉사’ 처럼 AI 스피커를 깨우는 기능) 감지와 음성 인식에 활용됐다.  

이 회사는 지금까지 6500만달러(약 716억원) 투자를 유치했는데 아마존, 어플라이드머티리얼즈, 보쉬, 인텔 캐피탈, 마이크로소프트, 모토로라 등이 주요 투자사다. 

이 회사가 올해 양산할 3세대 칩 ‘NDP120’은 대화형 언어를 이해하고 맥락(컨텍스트) 인식 기능까지 갖출 것으로 예상된다. 자체 2 코어 신경망 프로세서를 장착했고, 음성 추론 기능을 갖췄다. Arm 코어텍스(Cortex) M0 컨트롤러와 48KB S램을 통합했다.