엔비디아 T4 텐서 코어 내장… 머신러닝 훈련 기간 몇 시간으로 단축

엔비디아는 아마존웹서비스(AWS)가 '아마존 EC2 G4 인스턴스(Instance)'에 자사의 그래픽처리장치(GPU) 'T4 텐서 코어'를 채용하기로 했다고 23일 밝혔다.

'아마존 EC2 G4 인스턴스'는 하이퍼스케일 인공지능(AI) 추론, 클라우드 게이밍, RTX 그래픽 가속화 등에 활용된다. 현재 북미·유럽·아시아에서 활용 가능하다.

AWS는 업계에서 가장 빠른 하이퍼스케일 클라우드 플랫폼 중 하나로, 훈련 및 인퍼런스를 위해 즉시 사용가능한 엔비디아 NGC 컨테이너를 지원하여 엔비디아 GPU를 프로비저닝 한다. 

 

엔비디아 T4 텐서코어 GPU./엔비디아
엔비디아 T4 텐서코어 GPU./엔비디아

'T4 텐서 코어'는 아마존 EC2 G4 인스턴스 사용자에 높은 성능, 효율성 그리고 다양한 기능을 제공한다. 광범위한 소프트웨어 스택을 지원해 딥 러닝을 위한 엔비디아 cuDNN, 데이터 분석 및 머신 러닝을 위한 엔비디아 래피즈(RAPIDS), 클라우드 워크스테이션 그래픽을 위한 엔비디아 쿼드로 가상 워크스테이션(Quadro Virtual Workstation), 클라우드 게이밍을 위한 엔비디아 지포스(GeForce)를 포함한 다양한 애플리케이션에 최적화됐다.

소프트웨어 스택에는 다양한 API, 쿠다(CUDA), 그리고 텐서RT(TensorRT), NCCL, 옵틱스(OptiX), 비디오 코덱 SDK와 같은 도메인별로 특화된 쿠다-X 라이브러리가 포함된다. 사용자는 단일 인스턴스를 활용해 여러 유형의 워크로드를 원활하고 비용 효율적으로 가속화할 수 있다.

엔비디아 T4는 2세대 텐서 코어 GPU로, INT8에서 초당 최대 130 테라 연산(TOPS)의 성능을 구현한다. 엔비디아 T4는 이미지 분류, 객체 감지, 자연어 이해, 자동 음성 인식 및 추천 시스템과 같은 AI 기반 애플리케이션의 끊임없는 혁신, 다양성 및 복잡성을 가속화하는데 필요한 혼합 정밀 텐서 프로세싱 기능을 갖췄다.

고객들은 AWS의 아마존 EC2 G4 인스턴스에서 AMP(Automatic Mixed Precision) 기능을 사용해 머신 러닝 훈련 기간을 며칠에서 단 몇 시간으로 단축시킬 수 있다. 또한 AI 서비스를 대규모로 구축하면서 운영비용은 크게 절감할 수 있다.

최근 발표된 VM웨어(Vmware)와의 파트너십을 통해, VM웨어 클라우드 온 AWS(VMware Cloud on AWS)의 사용자들은 엔비디아 T4 GPU와 최신 엔비디아 버추얼 컴퓨트 서버(NVIDIA Virtual Compute Server, 이하 v컴퓨트서버) 소프트웨어로 가속화될 아마존 EC2 베어 메탈(bare metal) 인스턴스로 구성된 확정성이 뛰어나며 안전한 클라우드 서비스를 이용할 수 있게 된다.

디자이너와 아티스트들은 사실적인 실시간 렌더링(rendering), AI가 강화된 그래픽, 영상 및 이미지 프로세싱을 통해 새로운 방식으로 콘텐츠를 제작할 수 있다.

엔비디아 T4는 클라우드에서 구동되는 최초의 엔비디아 RTX 레이 트레이싱 GPU다. T4 GPU는 탁월한 효율성으로 레이 트레이싱 작업을 수행하는 전용 컴퓨트 리소스인 RT 코어를 제공해 과거에는 많은 비용이 들었던 레이 트레이싱 작업비용을 줄여준다.

엔비디아 쿼드로 vWS(Quadro Virtual Workstation, Quadro vWS) AMI(Amazon Machine Image)와 결합된 새로운 G4 인스턴스는 마이크로소프트(Microsoft) DXR, 엔비디아 옵틱스, 벌칸(Vulkan)을 포함한 최신 레이 트레이싱 API를 지원한다. 미디어 및 엔터테인먼트, 아키텍처, 제조, 석유 및 가스와 같은 산업 분야의 기술 및 크리에이티브 전문가는 AWS 클라우드에서 최신 그래픽 소프트웨어 애플리케이션을 실행할 수 있다.

AWS로 가상 워크스테이션을 구축하는 작업은 쉽고 빠르며 5분도 채 소요되지 않는다. AWS 마켓플레이스(Marketplace)에서 윈도우 서버 2016과 윈도우 서버 2019에서 제공되는 엔비디아 쿼드로 vWS 머신 이미지와 G4 인스턴스를 선택할 수 있다.

게임 퍼블리셔는 최신 엔비디아 기술을 기반으로 자체 클라우드 게이밍 인스턴스를 구축하고, 게이머들이 거의 모든 디바이스에서 PC 타이틀의 전체 카탈로그를 이용할 수 있게 한다. 게이머는 하드웨어 업그레이드나 드라이버 혹은 게임 패치를 업데이트할 필요없이 고해상도에서 빠르고 유연한 프레임 속도로 모든 최신 게임을 즐길 수 있다. 이 기능을 지원하는 엔비디아 드라이버는 AWS 마켓플레이스에서 이용 가능하며, 윈도우 서버 2016, 윈도우 서버 2019, 리눅스 OS에서 제공되는 AWS G4 인스턴스에서 실행된다.

매트 가먼(Matt Garman) AWS 컴퓨트 서비스 담당 부사장은 “우리는 고객들이 컴퓨트 집약적인 애플리케이션의 이점을 누릴 수 있도록 하는데 집중하고 있다"며 "AWS는 다양한 머신 러닝 사용 사례에 최적화된 아마존 EC2의 다양한 인스턴스 유형을 기반으로 머신 러닝 모델을 개발, 훈련, 구축할 수 있는 가장 포괄적인 포트폴리오를 제공한다”고 말했다.

저작권자 © KIPOST(키포스트) 무단전재 및 재배포 금지