- KT, 엔비디아 DGX 슈퍼POD 플랫폼 및 네모 메가트론 프레임워크로 훈련된 10억 매개변수의 대규모 언어 모델(LLM) 구축 

 

엔비디아 AI, KT 스마트 스피커와 고객 콜센터 훈련 지원.jpg

엔비디아는 한국 통신사 KT가 엔비디아(NVIDIA) AI로 스마트 스피커와 고객 콜센터를 훈련했다고 밝혔다국내 인기 AI 음성비서 기가지니는 매일 800만 명의 사용자와 대화한다


KT AI 기반 스피커는 TV를 제어하고, 실시간 교통 정보를 제공하고 기타 집안에서의 다양한 업무를 수행한다. 대형의 텍스트 데이터 세트를 기반으로 인간 언어를 인식, 이해, 예측 및 생성할 수 있는 머신러닝 알고리즘인 대형언어 모델(LLM) 덕분에 매우 복잡한 한국어 대화 기술을 숙달했다

KT의 모델은 엔비디아 DGX 슈퍼(Super)POD 데이터 센터 인프라 플랫폼과 네모메가트론(NeMo Megatron) 프레임워크를 사용해 수십억 개의 매개변수를 가진 LLM을 훈련하고 배포한다

한글로 알려진 한국어는 세계에서 가장 어려운 언어 목록에 꾸준히 포함돼 왔다. 한국어에는 네 가지 유형의 복합동사가 존재하며, 한국어 단어는 종종 두 개 이상의 어근으로 구성된다

2,200만 명이 넘는 가입자를 보유한 한국의 선도적인 통신사 KT자체 LLM을 개발해 스마트 스피커의 단어에 대한 이해도를 높였다. 또한 2,000억 개 이상의 매개변수를 가진, 적용 분야 별 최적화된 다양한 버전의 LLM들을 사업에 적용하고 있다. 더불어 기가지니는 아마존 알렉사(Alexa)와의 통합을 통해 사용자와 영어로 대화할 수 있다


KT LLM 개발팀 류휘정 팀장은 “트랜스포머기반 모델을 통해 기가지니 스마트 스피커와 고객 서비스 플랫폼 AI 컨택센터(AICC)의 품질이 크게 향상됐다”라고 말했다

AICC AI 음성 에이전트 및 기타 고객 서비스 관련 애플리케이션을 제공하는 올인원 클라우드 기반 플랫폼이다AICC는 전화를 받고 요청된 정보를 제공하거나 고객을 상담원과 빠르게 연결해 보다 자세한 문의에 대한 답변을 제공할 수 있다. 류팀장에 따르면 인간의 개입이 없이 AICC는 매일 전국적으로 10만 건 이상의 전화를 관리하고 있다

류휘정 팀장은 “기가지니는 LLM을 통해 언어 이해도를 높이고 인간과 유사한 문장을 더 많이 생성할 수 있으며, AICC는 문의 유형을 더 빠르게 요약하고 분류해 상담 시간을 15초 단축할 수 있다”고 밝혔다.

대규모 언어 모델 훈련 
LLM을 개발하는 것은 심도 있는 기술 전문 지식과 전체 스택 기술 투자가 필요한 값비싸고, 시간 소모적인 과정일 수 있다엔비디아 AI 플랫폼은 KT를 위해 이 과정을 간소화하고 가속화했다

류 팀장은 "엔비디아 DGX 슈퍼POD의 강력한 성능과 네모 메가트론의 최적화된 알고리즘 및 3D 병렬 처리 기술을 통해 LLM 모델을 보다 효과적으로 훈련했다. 네모 메가트론은 지속적으로 새로운 기능을 채택하고 있으며, 이는 모델 정확도를 개선하는 데 있어 가장 큰 장점이라고 생각한다"고 밝히고, "대규모 딥 러닝 모델을 여러 장치에 분할하는 분산 학습 방법인 3D 병렬 처리는 KT LLM 학습에 중요한 포인트였다. 네모 메가트론을 통해 팀은 가장 높은 처리량으로 작업을 쉽게 수행할 수 있었다다른 플랫폼을 사용하는 것도 고려했지만 하드웨어 수준에서 추론 수준까지 풀스택 환경을 제공하는 대안을 찾기가 어려웠다. 또한 엔비디아는 제품, 엔지니어링 팀 등으로부터 탁월한 전문 지식을 제공하므로 기술 문제를 쉽게 해결할 수 있었다"고 덧붙였다. 

KT는 네모 메가트론의 하이퍼파라미터 최적화 도구를 사용해 다른 프레임워크보다 LLM을 두배 더 빠르게 훈련했다. 이러한 도구를 통해 사용자는 LLM 훈련 및 추론을 위한 최상의 구성을 자동으로 찾아 개발 및 배포 과정을 쉽고 빠르게 할 수 있다
KT엔비디아트리톤 추론서버(Triton Inference Server)를 사용해 최적화된 실시간 추론 서비스를 제공하고, 엔비디아베이스 커맨드매니저(Base Command Manager)를 통해 AI 클러스터에서 수백 개의 노드를 쉽게 모니터링하고 관리할 계획이다

 

류 팀장은 “LLM 덕분에 KT는 경쟁력 있는 제품을 그 어느 때보다 빠르게 출시할 수 있게 됐다. 또한 우리 기술이 타사의 가치를 높이고 혁신적인 제품을 만드는 데 사용될 수 있기 때문에 타사의 혁신을 주도할 수 있다고 믿는다"라고 밝혔다


KT는 오는 11월 개발자를 대상으로 20여종의 자연어 이해와 자연어 생성 API를 출시할 예정이다. 애플리케이션 프로그래밍 인터페이스는 문서 요약 및 분류, 감정 인식 및 잠재적으로 부적절한 내용의 필터링을 포함한 작업에 사용할 수 있다

#엔비디아#KT#LLM# DGX#  

?

  1. 옴디아, 2022년 2분기 스마트 스피커 출하량 3,300만대 돌파

    옴디아(Omdia)의 최신 분기별 스마트 스피커 트래커에 따르면 미국 스마트 스피커 시장은 2022년 2분기 동안 계속 위축되어, 전년 동기 대비 14% 감소했다. 아마존(Amazon) 브랜드 스마트 스피커는 2분기에 작년 대비 33% 성장했지만, 구글(Google) 및 애플(Ap...
    Date2022.09.27 Bynewsit Views26
    Read More
  2. 킨드릴, 시스코 ‘글로벌 골드 파트너’로 선정

    글로벌 1위 IT서비스 기업 킨드릴은 IT 및 네트워킹 기업인 시스코(Cisco)로부터 ‘글로벌 골드 파트너’로 선정되었다고 밝혔다. 글로벌 골드 파트너는 시스코의 파트너 등급 중 최상의 조건을 갖춘 기업에만 부여하는 가장 높은 등급이다. 킨드릴은 시스코가 ...
    Date2022.09.27 Bynewsit Views16
    Read More
  3. 엔비디아, 차세대 중앙 집중식 차량용 컴퓨터 ‘드라이브 토르’ 공개

    - 계기판, 인포테인먼트, 자동 주행, 주차 기능을 경제적인 단일 시스템에 통합 - 2,000 테라플롭스 성능에 차세대 GPU와 트랜스포머 엔진을 통합해 안전하고 성공적인 자율주행 자동차 AI 워크로드 지원 - 플랫폼 최초 고객 ‘지커’, 2025년 초 차량 생산 개시...
    Date2022.09.26 Bynewsit Views19
    Read More
  4. 티맥스소프트, 상용 기반 '슈퍼프레임'으로 클라우드 미들웨어 리더십 확대

    - 상용 버전의 다양한 미들웨어 통합 제공하는 슈퍼프레임, 클라우드 기반 디지털 전환 강력 지원 - 티맥스소프트, 슈퍼프레임의 기술 혁신성, 시장성 인정받아 '제6회 4차산업혁명대상' 과기정통부 장관상 수상 - 슈퍼프레임의 비즈니스 기반 및 제품 경쟁력 ...
    Date2022.09.26 Bynewsit Views18
    Read More
  5. NCH코리아, 자연과 건강을 지키는 ‘플로깅’ 활동 ‘플로고(PLOGGO)’ 캠페인 진행

    - 9월 23일(금)에 반포 한강지구 일대를 돌며 쓰레기를 줍는 ‘플로깅(Plogging)’ 활동 진행 - 사회공헌사업(CSR)과 실천적 ESG 경영으로 환경 문제 해결을 위한 직원 참여 활동, NCH 아태지역 전 지사에서 연속적으로 진행 NCH코리아는 오늘, 지난 9월 23일(금...
    Date2022.09.26 Bynewsit Views18
    Read More
  6. 엔비디아, 드라이브 컨시어지로 차량 인포테인먼트 청사진 제시

    - 모든 사용자 및 승객 위해 개인화된 지능형 차내 인포테인먼트 제공 엔비디아가 GTC 젠슨황 키노트에서 진정한 차내 인포테인먼트(IVI) 경험의 역량을 입증했다. 엔비디아 드라이브(NVIDIA DRIVE)에서 차내 인포테인먼트는 단순히 도로 방향 안내와 음악 재...
    Date2022.09.26 Bynewsit Views23
    Read More
  7. 엔비디아 AI, KT 스마트 스피커와 고객 콜센터 훈련 지원 

    - KT, 엔비디아 DGX 슈퍼POD 플랫폼 및 네모 메가트론 프레임워크로 훈련된 10억 매개변수의 대규모 언어 모델(LLM) 구축 엔비디아는 한국 통신사 KT가 엔비디아(NVIDIA) AI로 스마트 스피커와 고객 콜센터를 훈련했다고 밝혔다. 국내 인기 AI 음성비서 기가지...
    Date2022.09.22 Bynewsit Views26
    Read More
  8. 줌, 다양한 줌 솔루션 선보인 ‘줌 익스피리언스 데이’ 성료…”유연한 협업 환경 구축”

    줌 비디오 커뮤니케이션즈가 9월 20일~21일 서초구 모나코 스페이스에서 진행한 ‘줌 익스피리언스 데이’를 성료했다고 밝혔다. 파트너 및 고객을 대상으로 진행된 이번 ‘줌 익스피리언스 데이’에서는 유연한 하이브리드 근무 환경 구축을 위한 줌 솔루션 활용 ...
    Date2022.09.22 Bynewsit Views24
    Read More
  9. 솔라윈즈, ‘2022 IT 전문가의 날’ 기념 설문조사 결과 발표

    - 인력 부족 및 채용 문제 속 기술직 고용 시장 현황 담겨 - IT 전문가 중3분의 2가 예상되는 경기 침체에도 불구, “자신의 기술 경력에 확신 있어”… ‘대퇴직’으로 인해 절반만이 “회사가 충분한 인력을 확보했다”고 답해 솔라윈즈(SolarWinds)가 업계 전반이 ...
    Date2022.09.22 Bynewsit Views18
    Read More
  10. 세일즈포스, ‘드림포스2022’ 개최…“지속가능한 디지털 혁신 트렌드 선도”

    - 3년만의 오프라인 행사 개최… 올해로 20주년 맞이해, 온라인 동영상 서비스(OTT) ‘세일즈포스+’에서도 시청 가능 - 포드 & 로레알 등 세일즈포스 기반 디지털 혁신 성공 사례 통해 초개인화 로드맵 제안 세일즈포스가 이달 20일부터 22일까지 미국 샌프란시...
    Date2022.09.21 Bynewsit Views22
    Read More
목록
Board Pagination Prev 1 2 3 4 5 6 7 8 9 10 ... 18 Next
/ 18
CLOSE