지난 2021년 기준 KBS 1TV의 UHD(4K 이상) 방송 편성 비율은 21.89%, 2TV는 24.29%에 불과하다. 방송통신위원회가 의무편성비율로 정한 20%를 가까스로 넘기는 수준이다. UHD 방송 제작⋅송출을 위해서는 대규모 설비투자가 선행돼야 하는데, 방송 업계 사정상 투자여력이 넉넉하지 않은 탓이다. 

같은 기간 TV 시장에서 팔린 신제품의 90%가 UHD 화질을 지원하지만, 실상 각 가정에서는 HD급 화질에 만족해야 한다. 물론 UHD TV와 콘텐츠 시장의 ‘해상도 미스매치’는 해외라고 사정이 다르지 않다. 

반도체 IP(설계자산) 개발사 칩스앤미디어가 파고드는 시장은 이 지점이다. 이 회사가 공급하는 NPU(신경망처리장치) IP는 HD 화질로 촬영한 동영상을 UHD로 업그레이드하는 SR(수퍼레졸루션) 알고리즘에 특화돼 있다. 

방송사⋅CP가 막대한 돈을 들여 UHD 제작 환경을 갖추지 않아도, 이 회사 NPU IP에 SR 알고리즘을 올린 반도체만 있으면 UHD 콘텐츠를 감상할 수 있다. 원래 동영상 스트리밍용 ‘코덱(파일압축)’ IP를 전문으로 개발했던 칩스앤미디어는 최근 동영상 처리 전문 NPU로 IP 포트폴리오를 확장했다. 

흔히 AI(인공지능) 반도체로 불리는 NPU는 GPU(그래픽처리장치) 처럼 병렬연산이 주특기다. AI 기능이 모든 컴퓨팅 기기에 융합되면서 고성능 서버를 비롯해 스마트폰⋅드론⋅CCTV 등 엣지단까지 NPU가 탑재되는 추세다. 

이호 칩스앤미디어 부사장은 최근 KIPOST와 만나 “우리가 개발한 NPU는 SR을 포함해 NR(노이즈리덕션)⋅OD(오브젝트디텍션) 등 동영상 처리와 관련한 알고리즘 구동에 특화돼 있다”며 “OTA(무선업데이트)를 통해 알고리즘을 업그레이드 할 수 있는 게 가장 큰 장점”이라고 말했다.

이전에도 삼성전자⋅LG전자⋅소니 등 글로벌 TV 세트업체들이 판매하던 TV에 화질개선 기술은 적용됐다. 주로 ‘업스케일링'이라고 부르는 세트 업체들의 화질개선 기술은 자체 설계한 칩을 이용해 HD 화질을 4K 이상으로 개선해준다는 점에서 동일하다. 

그러나 특정 알고리즘에 하드웨어가 고정된 업스케일링 기술과 달리, 칩스앤미디어의 NPU는 SR 알고리즘을 지속적으로 개선 할 수 있다는 점이 다르다. 더 똑똑한 알고리즘이 출현하거나, 알고리즘의 학습량이 늘어나면 OTA로 간단하게 업데이트할 수 있다. AI 알고리즘이 하루가 다르게 발전하는 속도를 감안하면 이처럼 높은 유연성이 주는 이점이 크다. 

영상 화질 손실 정보를 평가하는 품질 지표로 PSNR(Peak Signal-to-noise ratio)값이 통용되는데, 칩스앤미디어의 NPU IP에 SR 알고리즘을 적용했을 때, PSNR은 24.69dB로 측정된다. 기존 업스케일링 방식에서 측정된 23.18dB와는 1.51dB 정도 차이다. PSNR 값이 0.2dB 이상 벌어지면 유의미한 격차로 해석된다. 

향후 NR과 OD로 알고리즘 적용을 늘릴 수도 있다. NR은 화질개선 과정에서 발생하는 노이즈(잡음)를 제거하는 기술이다. OD는 동영상 내의 사물을 구체적으로 인지하는 기능으로, 주로 CCTV나 드론 등에 사용된다. 이호 부사장은 “기존 코덱 고객사들이 SR⋅NR에 대한 니즈가 가장 크고 시장도 성장하고 있다”며 “우선 두 알고리즘을 중심으로 NPU IP 라이선스를 추진하고 있다”고 설명했다.

칩스앤미디어는 중국 베리실리콘, 프랑스 알레그로와 함께 동영상 코덱 IP 시장 과점 사업자다. 기존 동영상 압축용 코덱 IP를 라이선스하는 고객사들을 통해 동영상 처리에 특화된 NPU IP 시장까지 조기에 진입한다는 목표다. 

칩스앤미디어는 지난 9월 NPU IP 개발을 완료했다. 통상 새 IP가 개발되고 반도체 회사들이 이를 평가⋅검증하는데 6개월 정도 소요된다. 빠르면 내년 상반기 중에 NPU IP 라이선스가 성사될 수 있다. 

이호 부사장은 “기존 엣지 기기에 탑재된 NPU 칩들에 비하면 SoC(시스템온칩) 내에서 10~20% 크기로 구현할 수 있기 때문에 원가 절감 효과도 뛰어나다”며 “이 때문에 팹리스들의 관심이 높다”고 말했다.