인공지능(AI) 및 반도체 통합 솔루션 전문기업 디노티시아(대표 정무경)는 한양대학교 AIHA 연구실(최정욱 교수팀)과 공동 개발한 AI 양자화 알고리즘 평가 플랫폼, ‘QLLM-INFER’를 깃허브(GitHub)에 오픈소스로 공개했다고 8일 밝혔다. 이 플랫폼은 아파치 2.0 라이선스를 적용해 누구나 자유롭게 사용하고 기여할 수 있다.

최근 챗GPT와 같은 대규모 언어 모델(LLM)이 주목받으면서 AI 기술의 활용 범위가 급격히 넓어지고 있다. 그러나 이러한 모델은 많은 연산량과 메모리 사용으로 인해 실제 서비스나 개인용 컴퓨터 및 스마트폰에 적용하기 어렵다. 이를 해결하기 위한 방법이 양자화 기술이다. 양자화는 AI 모델의 계산 정밀도를 낮춰 더 빠르게 만드는 기술로, 큰 숫자를 작은 숫자로 압축하는 방식이다. 이를 통해 AI 모델은 원래 성능을 유지하면서도 메모리 사용량과 연산 속도를 크게 줄일 수 있다.

그러나 지금까지 다양한 양자화 알고리즘이 서로 다른 환경과 조건에서 평가돼 어느 기술이 더 좋은 지 객관적으로 비교하기 어려웠다. 디노티시아와 한양대는 이런 문제를 해결하고자 표준화된 환경에서 알고리즘 성능을 정확히 비교할 수 있는 플랫폼을 만들었다. 더불어 최근 3년(2022~2024년)동안 가장 많이 주목받은 양자화 기술 8가지를 선정해 동일한 조건에서 객관적으로 평가했다.

특히 이 플랫폼은 ▲가중치와 활성화 값(모델의 기억과 계산을 담당하는 값)을 모두 줄이는 방식 ▲가중치만 줄이는 방식 ▲AI가 긴 입력을 처리할 때 임시 저장하는 공간(KV 캐시)을 줄이는 방식 등 세 가지 유형으로 나눠 알고리즘 성능을 분석했다.

한편 디노티시아는 최근 한국어 논리 추론 AI모델인 ‘DNA-R1’을 오픈소스로 공개해 한국어 AI 연구 활성화에 기여하고 있다는 평가를 받고 있다.