헬로티 –매일 만나는 첨단 산업, 경제, IT 소식

프로덕트 엔비디아, 추론 성능 가속화하는 소프트웨어 ‘텐서RT-LLM’ 출시

엔비디아가 신규 소프트웨어 엔비디아 텐서RT-LLM(NVIDIA TensorRT-LLM)을 출시했다고 12일 밝혔다. 대규모 언어 모델(LLM)의 획기적인 새로운 기능은 AI의 영역을 넓히고 있다. 그러나 큰 크기와 특수한 실행 특성으로 비용 효율적인 방식으로 사용하기 어려울 수 있다. 엔비디아는 대규모 언어 모델 추론을 가속화하고 최적화하기 위해 메타, 애니스케일, 코히어, 데시, 그래머리, 미스트럴 AI, 현재 데이터브릭스로 인수된 모자이크ML, 옥토ML, 탭나인, 투게더 AI, 우버 등 주요 기업들과 긴밀히 협력하고 있다. 이러한 혁신은 몇 주 내로 출시 예정인 오픈 소스 소프트웨어인 엔비디아 텐서RT-LLM에 통합됐으며, 암페어(Ampere), 러브레이스(Lovelace)와 호퍼(Hopper) GPU에서 사용할 수 있다. 텐서RT-LLM은 텐서RT 딥 러닝 컴파일러로 구성되며 최적화된 커널, 전처리와 후처리 단계, 멀티 GPU/멀티 노드 통신 프리미티브를 포함해 엔비디아 GPU에서 획기적인 성능을 제공한다. 이를 통해 개발자는 C++ 또는 엔비디아 쿠다(CUDA)에 대한 전문적인 배경 지식 없이도 최고의 성능과 빠른 사용자 정의 기능을 제공하는 새로운

이창현 기자

2023-09-12 12:20

일반뉴스 오라클, 기업 생성형 AI 구축 돕는 모자이크ML에 OCI 공급

타 클라우드 제품 대비 최대 50% 빠른 성능과 최대 80%에 달하는 비용 절감 효과 달성 모자이크ML이 오라클 클라우드 인프라스트럭처(OCI)를 선호 클라우드 인프라스트럭처로 선정하고 기업의 데이터를 통한 가치 창출을 지원한다. 모자이크ML은 OCI의 고성능 인공지능(AI) 인프라스트럭처를 활용해 타 클라우드 제품 대비 최대 50% 빠른 성능과 최대 80%에 달하는 비용 절감 효과를 달성했다고 밝혔다. 모자이크ML의 나빈 라오(Naveen Rao) CEO 겸 공동창립자는 “많은 기업이 대규모의 복잡한 생성형 AI 모델을 개발하고 학습하는 데 모자이크ML의 플랫폼을 사용한다. 모자이크ML은 고객이 고성능 맞춤형 모델을 구축하고 배포하는 데 집중하도록 복잡한 시스템 및 하드웨어를 전담 제공하고 있다”고 말했다. 나빈 라오 CEO는 “우리는 OCI가 모자이크ML을 위한 최고의 토대가 되어줄 것이라는 믿음 하에 OCI를 선택했다. 클라우드 내 방대한 양의 데이터를 사용해 모델을 학습시킬 때에는 1분 1초가 중요하다. OCI를 활용함으로써 타 클라우드 제공업체의 제품을 사용했을 때에 비해 비용을 절감하며, 오라클의 상호 연결 구성 방식 덕분에 거의 선형적인 확장을

서재창 기자

2023-08-31 10:34

일반뉴스 데이터브릭스, 생성형 AI 플랫폼 ‘모자이크 ML’ 인수

데이터브릭스가 28일 생성형 AI 플랫폼 모자이크ML을 약 13억 달러에 인수하는데 최종 합의했다고 밝혔다. 이번 인수를 통해 양사는 생성형 AI 모델에 대한 접근성을 높여 모든 조직이 자체 데이터로 AI 모델을 구축, 소유 및 보호할 수 있도록 돕는다는 방침이다. 모자이크ML은 최첨단 대규모 언어 모델(LLM) 'MPT-7B'로 잘 알려져 있다. MPT-7B는 공개 이후 330만 건의 다운로드를 기록할 정도로 인기를 끌었다. 최근에는 새로운 버전인 MPT-30B를 선보이며 기업들이 자체 데이터를 이용해 비용 효율적인 방식으로 AI 모델을 신속하게 구축하고 학습하도록 지원하고 있다. 현재 앨런 AI 연구소, 제너럴 인텔리전트, 히포크라틱 AI, 리플릿, 스캐터랩스 등이 모자이크ML의 생성형 AI 기술을 채택해 활용하고 있다. 알리 고드시 데이터브릭스 CEO는 "기업들이 AI가 가져다주는 혜택을 온전히 누리기 위해서는 데이터에 대한 제어권을 확보해야 한다"고 밝혔다. 알리 고드시 CEO는 "데이터브릭스와 모자이크ML은 AI를 보편화하고, 레이크하우스를 생성형 AI 및 LLM 구축에 가장 이상적인 플랫폼으로 발전시키는데 상당한 시너지를 낼 수 있을 것"이라고 말

이창현 기자

2023-06-28 14:43