기업 자체적으로 대규모 AI 모델을 훈련, 조정 및 배포하는 환경 지원
HPE가 20일(미국 현지시간) HPE 최대 연례행사인 HPE 디스커버 라스베가스 2023에서 HPE 그린레이크의 포트폴리오를 확장하며 AI 클라우드 시장에 진출했음을 알렸다.
이번 공개된 대규모 언어모델을 위한 제품 ‘LLM용 HPE 그린레이크’은 스타트업부터 포춘 선정 500대 기업에 이르기까지 다양한 규모의 기업들이 온디맨드 형식으로 멀티 태넌트 슈퍼컴퓨팅 클라우드 서비스를 이용하도록 지원한다.
HPE의 LLM용 그린레이크는 HPE의 AI 소프트웨어와 고성능의 슈퍼컴퓨터를 함께 활용하는 지속가능한 슈퍼컴퓨팅 플랫폼이다. 이제 기업들은 해당 서비스를 도입함으로써 자체적으로 대규모 AI 모델을 훈련, 조정 및 배포할 수 있게 됐다.
HPE는 고객들이 업계에서 검증된 LLM을 바로 사용할 수 있도록 독일 AI 스타트업 파트너 알레프 알파와 협력해 LLM용 HPE 그린레이크를 제공할 계획이다. 이를 통해 기업이 텍스트와 이미지 처리 및 분석이 필요한 사용사례 개발에 박차를 가하도록 지원할 것으로 보인다.
HPE는 향후 기후 모델, 헬스케어, 생명과학, 금융 서비스, 제조 및 운송에 이르기까지 다양한 업계 및 도메인에 특화된 AI 애플리케이션 시리즈를 출시할 계획이며, 이날 발표된 HPE의 LLM용 그린레이크는 해당 시리즈의 첫 시작을 의미한다.
안토니오 네리(Antonio Neri) HPE 회장 겸 CEO는 "오늘날 우리는 웹, 모바일 및 클라우드만큼 혁신적인 AI 시장의 세대변화를 마주하고 있다. HPE의 입증된 지속가능한 슈퍼컴퓨팅에서 구동되는 LLM 등 다양한 AI 애플리케이션을 제공하고 있다"고 말했다.
이어 그는 "HPE는 자금력이 풍부한 정부출연연구소나 글로벌 클라우드 대기업의 전유물이었던 AI를 HPE의 검증된 슈퍼컴퓨터를 통해 모두가 접근할 수 있는 영역으로 만들고 있다. 이제 많은 기관과 기업들은 온디맨드 클라우드 서비스를 통해 AI 모델을 훈련, 조정 및 배포함으로써, AI를 활용해 혁신을 일으키고 시장에 변화를 꾀하고 돌파구를 찾게 됐다”고 말했다.
병렬 구조로 여러 워크로드를 동시에 처리하는 다른 범용 클라우드 서비스와는 달리, HPE의 LLM그린레이크는 컴퓨팅 역량을 최대로 활용해 대규모 단일 AI 트레이닝 및 시뮬레이션 워크로드를 처리하도록 특별히 제작된 AI 네이티브 아키텍처에서 구동된다. 해당 제품은 수백에서 수천개의 CPU 또는 GPU에서 구동되던 AI 및 HPC 업무를 한 번에 지원한다.
이러한 역량은 AI를 훈련하고 더욱 정확한 모델을 생성하 는데 있어 효과적이며, 신뢰할 수 있고 효율적이다. 기업들은 이를 통해 개념검증(POC) 단계에서 생산에 이르기까지 모든 과정을 가속화해 기업이 직면한 문제를 빠르게 처리할 될 것으로 보인다.
HPE LLM용 그린레이크는 알레프 알파의 사전 훈련된 대규모 언어모델인 루미너스에 대한 접근도 제공하며, 해당 모델은 영어, 프랑스어, 독일어, 이탈리아어 및 스페인어 등 다양한 언어로 서비스된다. 또한, 고객들을 이를 활용해 자사 데이터를 활용하고 맞춤형 모델을 훈련 및 미세조정하며 예측가능한 정보를 바탕으로 실시간 인사이트를 도출해낸다.
조나스 안드룰리스(Jonas Andrulis) 알레프 알파 설립자 겸 CEO는 “HPE의 슈퍼컴퓨터 및 AI 소프트웨어를 활용해서 알레프 알파는 효율적이고 신속하게 루미너스를 훈련할 수 있었으며, 루미너스는 은행, 병원 및 로펌과 같은 주요 비즈니스들이 의사결정을 빠르게 내리고 시간과 자원을 절약하도록 도와주는 디지털 어시스턴트와도 같다"고 말했다.
이어 그는 :향후 HPE와의 협력 확대를 통해 루미너스를 클라우드로 확장하고 고객들에게 이를 서비스형으로 제공함으로써 최종 고객들이 비즈니스와 연구 목표를 위한 새로운 애플리케이션 활용에 박차를 가할 수 있기를 기대하고 있다”고 말했다.
한편, HPE LLM용 그린레이크는 HPE 크레이 XD 슈퍼컴퓨터에서 구동되며 온디맨드로 이용 가능하다. 이를 통해 고객들은 비용이 높고 관리가 복잡하며 전문 기술이 필요한 슈퍼컴퓨터를 자체적으로 구매하거나 관리할 필요가 없어졌다.
해당 서비스는 HPE 크레이 프로그래밍 환경을 통해 제공되는데 HPE 크레이 프로그래밍 환경은 소프트웨어 제품군에 완전히 통합된 서비스로 HPC 및 AI 애플리케이션을 최적화해주며 개발, 포팅, 디버깅 및 코드 조정을 위한 완전한 툴셋을 제공한다.
슈퍼컴퓨팅 플랫폼은 HPE의 AI/ML 소프트웨어를 제공하는데, 그 중 HPE 머신러닝 개발 환경은 대규모 모델을 빠르게 훈련하는 것을 돕고, HPE 머신러닝 데이터 매니지먼트 소프트웨어는 재현가능한 AI 역량을 바탕으로 데이터를 통합, 추적 및 검사함으로써 믿을 수 있고 정확한 모델을 생성할 수 있도록 한다.
HPE는 고객들을 위해 지속가능한 컴퓨팅 서비스를 제공하기 위해 노력하며 HPE의 LLM용 그린레이크는 코로케이션 시설에서 이용할 수 있다. 일례로 북미지역에는 큐스케일에서 사용할 수 있는데 큐스케일은 거의 100%로 재생에너지를 활용해 슈퍼컴퓨팅의 규모와 역량을 지원하며 목적에 맞게 설계하는 최초의 리전이다.
HPE는 AI 업무에 가장 핵심적인 세 가지 영역, 훈련, 조정 및 추론 각 부분을 지원한다. LLM을 훈련하고 조정하는 HPE LLM용 그린레이크에 더해, HPE는 추가적으로 AI 추론 컴퓨팅 솔루션을 공개했다. 해당 솔루션은 유통, 숙박, 제조, 미디어 및 엔터테인먼트에 이르기까지 다양한 산업의 가치 창출을 가속화하도록 지원할 예정이다.
헬로티 서재창 기자 |
