엔비디아(www.nvidia.co.kr)가 17일부터 22일까지(현지시간) 미국 애틀랜타에서 개최되는 '슈퍼컴퓨팅 2024(Supercomputing 2024, SC24) 콘퍼런스에서 호퍼(Hopper) 제품군의 최신 제품인 엔비디아(NVIDIA) H200 NVL PCIe GPU의 출시를 발표했다.
엔비디아 H200 NVL PCIe GPU는 낮은 전력 소비와 공랭식 엔터프라이즈 랙 설계를 요구하는 데이터센터에 적합하다. 규모에 관계없이 모든 AI와 HPC 워크로드에 가속을 제공할 수 있는 유연한 구성을 갖추고 있다.
최근 조사에 따르면 엔터프라이즈 랙의 약 70%가 20kW 이하이며 공랭식을 사용하는 것으로 나타났다. PCIe GPU는 1개, 2개, 4개, 8개 등 세분화된 노드 배치를 제공해 데이터센터가 더 작은 공간에 더 많은 컴퓨팅 성능을 구현할 수 있게 해준다. 기업은 기존 랙을 활용하고 필요에 맞는 적합한 GPU 수를 선택할 수 있다.
기업들은 H200 NVL을 사용해 AI와 HPC 애플리케이션을 가속화하는 동시에 전력 소비를 줄여 에너지 효율성을 개선할 수 있다. H200 NVL은 엔비디아 H100 NVL 대비 메모리가 1.5배, 대역폭이 1.2배 늘어난다. 이를 통해 기업들은 몇 시간 내에 거대 언어 모델(LLM)을 미세 조정하고 최대 1.7배 빠른 추론 성능을 제공할 수 있다. HPC 워크로드의 경우 성능은 H100 NVL 대비 최대 1.3배, 엔비디아 암페어(Ampere) 아키텍처 세대 대비 2.5배까지 향상된다.
H200 NVL의 원시 성능을 보완하는 것은 엔비디아 NV링크(NVLink) 기술이다. 최신 세대의 NV링크는 5세대 PCIe보다 7배 빠른 GPU 간 통신을 제공해 HPC, LLM 추론과 미세 조정의 요구 사항을 충족하는 더 높은 성능을 제공한다.
엔비디아 H200 NVL은 기업이 AI에서 HPC에 이르는 애플리케이션을 가속화할 수 있는 강력한 소프트웨어 도구와 함께 제공된다. 또 프로덕션 AI의 개발과 배포를 위한 클라우드 네이티브 소프트웨어 플랫폼인 엔비디아 AI 엔터프라이즈(AI Enterprise) 5년 구독도 함께 제공된다. 엔비디아 AI 엔터프라이즈는 고성능 AI 모델 추론의 안전하고 신뢰할 수 있는 배포를 위한 엔비디아 NIM 마이크로서비스를 포함한다.
엔비디아는 H200 NVL을 통해 기업들이 AI와 HPC 워크로드를 개발하고 배포할 수 있는 풀스택 플랫폼을 제공한다.
고객들은 다양한 산업 분야의 AI와 HPC 사용 사례에서 이미 상당한 효과를 보고 있다. 예를 들어 고객 서비스용 비주얼 AI 에이전트와 챗봇, 금융을 위한 거래 알고리즘, 의료 분야의 이상 징후 감지 개선을 위한 의료 이미징, 제조업의 패턴 인식, 연방 과학 기관을 위한 지진 이미징 등이다.
드롭박스(Dropbox)는 서비스와 인프라에 엔비디아 가속 컴퓨팅을 활용하고 있다. 뉴멕시코대학교(University of New Mexico)는 다양한 연구와 학술 애플리케이션에서 엔비디아 가속 컴퓨팅을 사용하고 있다.
델 테크놀로지스(Dell Technologies), 휴렛팩커드 엔터프라이즈(Hewlett Packard Enterprise), 레노버(Lenovo), 슈퍼마이크로(Supermicro)는 H200 NVL을 지원하는 다양한 구성을 제공할 예정이다.
또 H200 NVL은 에이브레스(Aivres), 애즈락랙(ASRock Rack), 에이수스(ASUS), 기가바이트(GIGABYTE), 인그라시스(Ingrasys), 인벤텍(Inventec), MSI, 페가트론(Pegatron), QCT, 위스트론(Wistron), 위윈(Wiwynn)의 플랫폼에서 사용할 수 있다.
일부 시스템은 엔비디아 MGX 모듈형 아키텍처를 기반으로 해 컴퓨터 제조업체가 방대한 데이터센터 인프라 설계를 빠르고 비용 효율적으로 구축할 수 있도록 한다.
H200 NVL을 탑재한 플랫폼은 12월부터 엔비디아의 글로벌 시스템 파트너를 통해 제공될 예정이다. 주요 글로벌 파트너의 공급을 보완하기 위해 엔비디아는 H200 NVL 시스템을 위한 엔터프라이즈 레퍼런스 아키텍처(Enterprise Reference Architecture)도 개발 중이다.
이 레퍼런스 아키텍처에는 엔비디아의 전문성과 설계 원칙을 통합해 파트너와 고객이 H200 NVL을 기반으로 고성능 AI 인프라를 대규모로 설계하고 배포할 수 있도록 한다. 여기에는 최적의 서버, 클러스터, 네트워크 구성에 대한 자세한 지침과 함께 풀스택 하드웨어와 소프트웨어 권장 사항이 포함된다. 네트워킹은 엔비디아 스펙트럼-X 이더넷(Spectrum-X Ethernet) 플랫폼을 통해 최고의 성능을 발휘하도록 최적화된다.
엔비디아는 11월 22일까지 열리는 SC24에서 엔비디아 기술을 선보인다. 자세한 내용은 11월 19일에 진행된 엔비디아 창립자 겸 CEO인 젠슨 황(Jensen Huang)과 하이퍼스케일 및 HPC 담당 부사장인 이안 벅(Ian Buck)의 특별 연설 온디맨드 세션을 통해 확인할 수 있다.