- '라이터', 네모 도입 후 올해 상반기만 10개 모델 개발

- 트리톤 추론 서버 활용으로 지연 시간 줄이고 처리량 높여

 

 

엔비디아가 대규모 언어 모델 구축을 지원하는 엔비디아 네모(NVIDIA NeMo)를 통해 스타트업 ‘라이터(Writer)’의 성장 가속화에 핵심적인 역할을 하고 있다고 밝혔다. 

 

라이터(Writer)의 공동 창립자이자 최고기술책임자(CTO)인 와심 알시크(Waseem Alshikh)는 대학시절 머신 러닝을 통해 교과서를 공부했지만, 이제 생성형 AI를 활용해 수백 개의 회사를 위한 콘텐츠를 제작하고 있다.

 

시리아에서 태어나고 자란 와심 알시크는 영어를 전혀 할 줄 몰랐다. 그러나 그는 소프트웨어에 뛰어난 재능을 가지고 있었고, 그 재능은 레바논의 대학에 입학했을 때 빛을 발했다.

 

알시크는 "첫날 학교에서 천 페이지에 달하는 두꺼운 교과서 다발을 받았고, 모두 영어로 쓰여 있었다"고 회상했다. 당시 그는 교과서를 요약하는 어설프지만 효과적인 통계 분류 프로그램을 만들었고 그 요약본을 공부했다.

 

아이디어가 하나의 기업이 되기까지

2014년, 그는 두바이에서 근무하던 중 만난 기업가 메이 하빕(May Habib)에게 자신의 이야기를 들려주었다. 두 사람은 제한된 자원으로 높은 성과를 내야 하는 마케팅 부서가 머신 러닝을 사용해 웹 페이지, 블로그, 광고 등의 콘텐츠를 빠르게 제작할 수 있도록 지원하는 스타트업을 만들기로 결심했다.

 

와심 알시크는 "트랜스포머(Transformer) 모델이 발표되기 전까지만 해도 이러한 기술은 존재하지 않았고, 우리는 이 기술을 기반으로 사업을 시작할 수 있었다"고 밝혔다. 

 

"엔지니어 몇 명을 고용해 약 6개월에 걸쳐 첫 번째 모델을 개발했는데, 약 1억 2,800만 개의 파라미터를 가진 신경망은 거의 작동하지 않았다." 그 과정에서 그들은 몇 가지 사업을 수주하고 회사 이름을 라이터(Writer)로 변경한 후 엔비디아와 인연을 이어가게 됐다.

 

엔비디아 네모로 성장 가속화

엔비디아 네모는 기업이 훈련 데이터세트를 선별하고, 대규모 언어 모델(LLM)을 개발, 맞춤화한 후 이를 운영 환경에서 대규모로 실행할 수 있도록 지원하는 애플리케이션 프레임워크이다. 한국에서 스웨덴에 이르기까지 다양한 국가에서 현지 언어와 산업에 맞게 LLM을 맞춤형으로 구축하는 데 사용하고 있다.

 

와심 알시크는 "네모를 도입한 후 3억 개, 20억 개 그리고 현재 400억 개의 파라미터로 산업용 수준의 모델을 구축할 수 있었고, 지금도 계속 확장하고 있다. 네모를 사용하기 전에는 10억 개의 매개변수 모델을 새로 구축하는 데 4개월 반이 걸렸는데, 현재는 16일 만에 완료할 수 있으니 정말 놀랍다"고 밝혔다. 

 

네모 모델을 통한 기회 창출

20명 미만의 AI 엔지니어로 구성된 라이터는 올해 상반기 동안 네모를 사용해 각각 300억 개 이상의 매개변수가 포함된 10개의 모델을 개발했다. 이로써 현재 수백 개의 기업이 라이터 모델을 사용하고 있다. 이 모델은 네모를 이용해 금융, 의료, 소매, 기타 수직 시장에 맞게 맞춤형으로 개발된 것이다.

 

라이터의 고객 중에는 딜로이트(Deloitte), 로레알(L’Oreal), 인튜이트(Intuit), 우버(Uber), 포춘 500대 기업 등 유명 기업들이 포함된다. 라이터 외에도 수십 개의 다른 회사에서 네모를 활용하고 있다.

 

네모는 엔비디아 AI 엔터프라이즈(AI Enterprise)의 일부로, 곧 누구나 사용할 수 있도록 공개될 예정이다. 엔비디아 AI 엔터프라이즈는 생성형 AI 워크로드의 가속화를 위해 최적화되고, 엔터프라이즈급 지원, 보안, 애플리케이션 프로그래밍 인터페이스를 통해 유지되는 풀스택 소프트웨어이다.

 

한 달에 1조 건의 API 호출

고객들은 자체 시스템이나 클라우드 서비스에서 라이터의 모델을 실행하거나, 라이터에 모델의 호스팅을 요청하거나 라이터의 API를 사용한다.

 

와심 알시크는 "기본적으로 두 사람이 관리하는 당사의 클라우드 인프라는 한 달에 1조 건의 API 호출을 호스팅하며, 초당 9만 개의 단어를 생성하고 있다. 우리는 보다 큰 팀과 대규모 예산을 가진 회사의 제품과 경쟁할 수 있는 고품질 모델을 제공하고 있다"고 말했다.

라이터는 네모와 함께 패키징된 트리톤 추론 서버(Triton Inference Server)를 사용해 고객을 위해 프로덕션 환경에서 모델을 실행한다. 와심 알시크는 LLM을 실행하는 많은 기업에서 사용하는 트리톤은 다른 프로그램보다 지연 시간이 짧고 처리량이 많다고 전했다.

 

알시크는 “10만 달러가 아닌 2만 달러로 서비스를 실행할 수 있으므로 의미 있는 기능을 구축하는 데 더 많은 투자를 할 수 있다"고 설명했다. 

 

새로운 가능성의 지평

라이터는 최첨단 스타트업을 육성하는 프로그램인 엔비디아 인셉션(Inception)의 멤버이기도 하다. 와심 알시크는 "인셉션 덕분에 네모를 미리 사용해 볼 수 있었고, 필요한 툴을 찾고 사용하는 과정을 안내해 준 훌륭한 사람들도 만날 수 있었다”고  밝히고,  "현재 라이터의 텍스트 제품이 주목을 받고 있는 가운데, 와심 알시크는 플로리다와 캘리포니아에 있는 집을 오가며 다음 단계로 나아가기 위한 가능성을 모색하고 있다. 오늘날 생성형 AI의 광범위한 영역에서 그는 이미지, 오디오, 비디오, 3D, 어쩌면 이 모든 것에서 기회를 찾고 있다. 또한, 우리는 멀티 모달리티를 미래로 보고 있다”고 덧붙였다.

 

#엔비디아#네모#라이터#인셉션#트리톤#추론#