인텔, 개방형 AI 시스템 기반 챗봇으로 파리 올림픽 출전 선수 지원

인텔은 국제올림픽위원회(IOC)와의 생성형 AI 검색 증강 생성(retrieval-augmented generation, RAG) 솔루션 관련한 협력 내용을 19일 공개했다. 이번 발표는 인텔® 가우디® AI 가속기(Intel® Gaudi® AI accelerators)와 인텔® 제온® 프로세서(Intel® Xeon® processors)를 활용한 개방형 AI 시스템 및 플랫폼으로 여러 과제들을 효과적으로 해결할 수 있는지에 대한 방법을 제시하고 있다.

올림픽 기간 약 11,000명의 선수가 경기장을 탐색하고 지침을 준수할 수 있도록 지원하기 위해 IOC는 인텔과 협력해 ‘애슬리트365(Athlete365)’ 챗봇을 공동 개발했다. 이 챗봇은 인텔 가우디 가속기와 제온 프로세서로 구동되는 RAG 솔루션으로 선수와 소통하며, 파리 올림픽 선수촌에 머무는 동안 훈련과 경기에 집중할 수 있도록 실시간으로 필요한 정보를 제공할 예정이다.

생성형 AI 솔루션을 배포하는 데는 비용, 규모, 정확성, 개발 요구 사항, 개인정보 보호 및 보안과 같은 과제를 해결하는 것이 필수다. RAG는 기업이 내부 데이터를 안전하게 활용해 AI 결과물의 적시성과 신뢰성을 높일 수 있기 때문에 중요한 생성형 AI 워크로드다. 이는 데이터 중심 환경에서 중요한 AI 애플리케이션의 품질과 유용성을 향상시킨다.

인텔의 협업 접근 방식은 AI 플랫폼, 개방형 표준, 견고한 소프트웨어 및 시스템 생태계를 활용한다. 이를 통해 개발자는 각 기업의 요구에 맞는 맞춤형 RAG 기반 생성형 AI 솔루션을 구축할 수 있다. 

인텔은 업계 협력사와의 협업을 통해 RAG를 간편하게 배포하기 위한 상호 운용 가능한 오픈소스 솔루션을 개발하고 있다. 생성형 AI 솔루션은 엔터프라이즈 AI용 오픈플랫폼(Open Platform for Enterprise AI, OPEA) 기반에 구축된 즉시 사용 가능한 RAG 솔루션이다. 생성형 AI 턴키 솔루션은 데이터센터에 엔터프라이즈용 RAG 솔루션을 배포하는 간소화된 접근 방식을 제공한다. 또 여러 OEM 시스템 및 업계 협력사의 제품 카탈로그에서 구성 요소를 통합해 매우 유연하게 맞춤화할 수 있도록 설계됐다.

생성형 AI 턴키 솔루션은 제온 및 가우디 AI 시스템을 배포하도록 설계된 확장 가능한 RAG 솔루션에 OPEA 기반 마이크로서비스 구성 요소를 통합한다. 해당 솔루션은 쿠버네티스(Kubernetes) 및 레드햇 오픈시프트(RedHat OpenShift)와 같은 검증된 오케스트레이션 프레임워크와 원활하게 확장되며, 보안 및 시스템 텔레메트리(system telemetry)와 함께 표준화된 API를 제공한다.

인텔의 솔루션은 무엇보다 독점 장벽 없는 개방형 소프트웨어 스택이 특징이다.

대규모언어모델(LLM) 개발은 인텔 가우디와 인텔 제온에서 지원하는 프레임워크 파이토치(PyTorch)를 기반으로 인텔 AI 시스템 또는 플랫폼에서 쉽게 개발할 수 있다. 인텔은 OPEA와 협력해 생성형 AI 턴키 솔루션에 최적화된 RAG 및 LLM 배포를 위한 개방형 소프트웨어 스택을 개발했으며 파이토치, 허깅 페이스(Hugging Face) 서빙 라이브러리(TGI 및 TEI), 랭체인(LangChain) 및 레디스 벡터(Redis Vector) 데이터베이스로 구축됐다.

개발 편리성도 장점이다. OPEA는 다양한 컴파일러와 툴체인을 위한 오픈 모델 개발과 지원에 중점을 둔 엔터프라이즈용 오픈 소스, 표준화 및 모듈화된 이기종 RAG 파이프라인을 제공한다. 이를 통해 버티컬 사용 사례에 대한 컨테이너화된 AI 통합 및 제공을 가속화한다. 

인텔은 생성형 AI 턴키 및 포괄적인 엔터프라이즈 AI 스택을 통해 기업 및 데이터센터 내에서 RAG 및 LLM 애플리케이션을 배포하고 확장하는 데 필요한 솔루션을 제공한다. 기업은 인텔 기반 AI 시스템 또는 플랫폼과 OPEA의 최적화된 소프트웨어를 활용해 효율성과 속도를 향상시키면서 생성형 AI의 잠재력을 최대한 활용할 수 있다.

인텔은 AI의 안전하고 책임감 있는 발전을 위해 구글, IBM 및 기타 업계 협력사와 함께 AI 개발 및 배포의 신뢰성과 보안을 강화하기 위한 보안 AI 연합(Coalition for Secure AI, CoSAI)을 구축했다고 발표했다.

인텔은 9월 24~25일에 열리는 인텔 이노베이션 행사에서 AI 시스템에 대한 인텔만의 접근 방식과 지속적인 고객 및 협력사 모멘텀을 발표할 예정이다.