엔비디아, 대규모 언어 모델 AI 플랫폼 ‘네모 메가트론’ 프레임워크 업데이트 발표
인공지능(AI) 컴퓨팅 기술 분야의 선두주자인 엔비디아(www.nvidia.co.kr)가 대규모 언어 모델(LLM)의 크기와 복잡성이 지속적으로 급증함에 따라 최대 30%의 훈련 속도 향상을 제공하는 네모 메가트론(NeMo Megatron) 프레임워크의 업데이트를 발표했다.
이번 업데이트는 두 가지 선구적인 기술과 여러 GPU에서 LLM 훈련을 최적화하고 확장하는 하이퍼 파라미터(hyper parameter) 도구를 포함한다. 이를 통해 엔비디아 AI 플랫폼으로 모델을 훈련하고 구축할 수 있는 새로운 기능을 제공한다.
1,760억 개의 파라미터(parameter)를 가진 세계 최대 오픈 사이언스, 오픈 액세스 다국어 언어 모델인 블룸(BLOOM)은 최근 엔비디아 AI 플랫폼에서 훈련돼 46개 언어와 13개 프로그래밍 언어로 텍스트 생성을 가능하게 했다. 또한 엔비디아 AI 플랫폼은 5,300억 개의 파라미터를 포함하는 가장 강력한 변환기 언어 모델인 메가트론-튜링 NLG 모델(MT-NLG)을 지원한다.
LLM은 텍스트에서 학습하는 최대 수조 개의 파라미터를 포함하는 오늘날 가장 중요한 첨단 기술 중 하나다. 하지만 이를 개발하려면 심층적인 기술 전문 지식, 분산된 인프라, 전체 스택 접근 방식이 필요해 비용과 시간이 많이 든다.
그러나 실시간 콘텐츠 생성, 텍스트 요약, 고객 서비스 챗봇, 대화형 AI 인터페이스를 위한 질문과 답변을 발전시키는 데 있어 큰 이점을 갖는다.
AI 커뮤니티는 LLM을 발전시키기 위해 메가트론(Megatron)-LM, 에이펙스(Apex), 그리고 기타 GPU 가속 라이브러리를 포함하는 엔비디아 AI 플랫폼을 기반으로 하는 마이크로소프트 딥스피드(Microsoft DeepSpeed), Colossal-AI, 허깅 페이스 빅사이언스(Hugging Face BigScience), 페어스케일(Fairscale) 같은 도구의 혁신을 이어가고 있다.
엔비디아는 오늘날 엔비디아 AI 플랫폼에 대한 새로운 최적화를 통해 스택 전체에서 기존의 많은 문제점을 해결하며, AI 커뮤니티와 협력해 모든 사람이 LLM의 기능에 액세스할 수 있기를 기대하고 있다.
네모 메가트론의 최신 업데이트는 220억에서 1조 파라미터에 이르는 크기의 GPT-3 모델 훈련 속도를 30% 향상시킨다. 이는 1,024개의 엔비디아 A100 GPU를 사용해 1,750억 개의 파라미터 모델에 대한 훈련을 24일 만에 수행하도록 한다. 즉, 결과 도출 시간을 10일 또는 GPU 컴퓨팅 시간으로 약 250,000 시간 단축할 수 있다.
네모 메가트론은 빠르고 효율적이며 사용하기 쉬운 엔드 투 엔드 컨테이너형 프레임워크이다. 데이터 수집, 대규모 모델 훈련, 업계 표준 벤치마크에 대한 모델 평가, 지연 시간(레이턴시)과 처리량 성능에 대한 최첨단 추론이 가능하다.
이를 통해 LLM 훈련과 추론을 다양한 GPU 클러스터 구성에서 쉽게 재현할 수 있다. 현재 얼리 액세스 고객에게 엔비디아 DGX 슈퍼POD(SuperPOD), 엔비디아 DGX 파운드리(Foundry), 마이크로소프트 애저(Microsoft Azure) 클라우드 플랫폼을 제공한다. 또한 다른 클라우드 플랫폼에 대한 지원도 제공될 예정이다.
엔비디아, 교육용 AI 슈퍼컴퓨터 개발 위해 조지아공과대학교와 협력
조회수 144회 / 엔비디아
엔비디아, '일하기 좋은 100대 기업' 3위 선정
조회수 85회 / nVidia
엔비디아, ‘GTC 2024’서 생성형 AI, 가속 컴퓨팅, 로보틱스 분야 최신 ...
조회수 284회 / nVidia
엔비디아, 트위치·OBS와 최적의 스트리밍 경험 제공하는 ‘트위치 인핸스...
조회수 270회 / 엔비디아
엔비디아, 새로운 지포스 RTX 슈퍼 GPU, AI 노트북 등 통해 RTX로 가속...
조회수 192회 / 엔비디아
엔비디아, AWS와 전략적 협력 확대…생성형 AI 혁신 위한 서비스 제공
조회수 213회 / 엔비디아
엔비디아, 영국 내 가장 빠른 슈퍼컴퓨터에 엔비디아 GH200 그레이스 호...
조회수 241회 / nVidia
엔비디아, 한국표준협회·한컴아카데미와 손잡고 AI 연구개발 인력 양성
조회수 312회 / 엔비디아
엔비디아, 서울대학교병원 공동으로 ‘HCLS 서밋 코리아 2023’ 개최
조회수 450회 / nVidia
PDF 다운로드
회원 정보 수정