엔비디아, 암페어 아키텍처 기반 GPU에 멀티 인스턴스 기능 지원
A100 GPU는 최대 7개의 독립된 인스턴스로 분할해 별도 작업 가능

엔비디아는 기업들이 보다 신속하게 인공지능(AI) 모델을 개발·배포하도록 자사의 암페어(Ampere) 아키텍처에서 멀티 인스턴스 GPU(MIG)를 지원한다./엔비디아

엔비디아는 기업들이 보다 신속하게 인공지능(AI) 모델을 개발·배포하도록 자사의 암페어(Ampere) 아키텍처에서 멀티 인스턴스 GPU(MIG)를 지원한다고 29일 밝혔다.

MIG는 엔비디아 그래픽처리장치(GPU) A100을 최대 7개의 독립된 GPU 인스턴스로 분할한다. 인스턴스들은 각각 고유한 메모리, 캐시, 스트리밍 멀티프로세서를 사용해 동시에 실행된다. 특정 작업을 할 때마다 적합한 크기의 GPU를 할당해 진행하기 때문에 이전 대비 활용도를 최대 7배 높일 수 있다.

MIG 모드에서는 고성능컴퓨터(HPC) 워크로드를 혼합해 실행할 수 있다. 다만 GPU가 쪼개진만큼 성능이 다소 떨어지기 때문에 최신 GPU 성능을 전부 필요로 하지 않는 AI 추론 작업에 유용하다. 예를 들어 사용자는 각 20GB의 메모리를 갖춘 MIG 인스턴스 2개 혹은 각 10GB의 인스턴스 3개, 각 5GB의 7개 인스턴스를 생성할 수 있어 각각의 워크로드에 맞는 최적의 조합을 만들 수 있다.

 

시스템 관리자는 단일 A100 GPU에서 추론, 교육, HPC 워크로드를 동시에 실행하도록 스케줄링 할 수 있다
시스템 관리자는 단일 A100 GPU에서 추론, 교육, HPC 워크로드를 동시에 실행하도록 스케줄링 할 수 있다./엔비디아

MIG는 그래픽처리장치(GPU) 인스턴스 간을 차단시키기 때문에 결함격리(fault isolation) 기능을 제공, 한 인스턴스의 문제가 같은 GPU에서 실행되는 다른 인스턴스에게 영향을 주지 않는다. 이를 통해 사용자의 워크로드가 예상되는 레이턴시(지연시간)과 처리량을 확보할 수 있도록 한다.

기업은 MIG를 통해 AI 모델의 개발과 배포속도를 향상시킬 수 있다. MIG는 최대 7명의 데이터 사이언티스트가 전용 GPU와 같은 기능에 동시에 액세스할 수 있으므로 최적의 정확성과 성능을 위해 딥 러닝 모델을 세부적으로 조정할 수 있다. 이는 시간이 많이 소요되지만, 많은 컴퓨팅 성능이 필요하지 않는다. 같은 원리로 클라우드 서비스제공업체는 MIG를 통해 GPU 서버의 활용률을 향상시켜 사용자에게 최대 7배 많은 GPU 인스턴스를 제공할 수 있다. 

모델을 실행할 준비가 되면 MIG는 단일 GPU에서 한번에 최대 7개의 추론작업을 할 수 있다. 이런 작업에는 GPU 전체를 사용할 필요가 없고 레이턴시가 짧은 작은 모델을 사용하는 배치-1(Batch 1) 추론 워크로드가 가장 적합하다.

사용자들은 AI와 HPC용 MIG를 활용하기 위해 쿠다(CUDA) 프로그래밍 모델을 변경할 필요가 없다. MIG는 쿠버네티스와 컨테이너뿐만 아니라 기존의 리눅스(Linux) 운영 체제(OS)에서도 구동되며 A100용으로 제공된 소프트웨어에도 작동된다. 이는 GPU 드라이버, 곧 배포될 예정인 엔비디아 쿠다 11 소프트웨어, 업데이트된 엔비디아 컨테이너 런타임, 엔비디아 디바이스 플러그인(NVIDIA Device Plugin)을 통한 쿠버네티스의 새로운 리소스 유형이 포함된다.

MIG와 함께 엔비디아 버추얼 컴퓨터 서버(vComputeServer)를 사용하면 RHV(Red Hat Virtualization)와 VM웨어 v스피어(VMware vSphere)와 같은 하이퍼바이저의 관리와 모니터링 기능 제공이 가능하다. 또 실시간 마이그레이션과 멀티 테넌시와 같은 많이 사용되는 기능도 지원된다.

팀 호킨 (Tim Hockin) 구글 클라우드의 수석 소프트웨어 엔지니어는 “엔비디아는 구글 클라우드의 전력적 파트너로 고객을 위해 혁신을 거듭하고 있고, MIG는 공유 쿠버네티스(Kubernetes) 클러스터에서 GPU의 효율성과 활용도를 새로운 수준으로 끌어올린다"며 "구글 클라우드는 엔비디아, 그리고 쿠버네티스 커뮤니티와 협력해 이러한 공유 GPU 활용사례를 만들어내고, 이를 구글 쿠버네티스 엔진(Google Kubernetes Engine)을 통해 이용할 수 있기를 기대한다”라고 말했다.

저작권자 © KIPOST(키포스트) 무단전재 및 재배포 금지