클라우드 기반 LLM 필요 없어
“나만의 데이터로 맞춤 챗봇”
‘챗 위드 RTX’ PC 버전 지원
지포스 RTX 30 이상서 사용
‘챗 위드 RTX’ PC 버전 지원
엔비디아가 윈도 PC용 ‘챗 위드 RTX(Chat With RTX)’를 14일 공개했다. 엔비디아가 앞서 공개한 AI PC를 통해 ‘나만의 데이터’를 챗봇에 연결해 질의 응답할 수 있는 것이 특징이다.
엔비디아는 “사용자가 자신만의 콘텐츠로 챗봇을 개인화할 수 있다”면서 “엔비디아의 그래픽처리장치(GPU) 기반 클라우드 서버를 통해 매일 전 세계 수백만 명의 사용자들이 챗봇을 활용하고 있는데, 이제 엔비디아 RTX 기반의 윈도 PC에서도 사용이 가능해졌다”고 말했다.
클라우드 기반 AI를 넘어 온디바이스 AI로 무게축을 옮긴 대목이다.
‘챗 위드 RTX’는 로컬 엔비디아 지포스 RTX 30(GeForce RTX 30) 시리즈 GPU 이상을 필요로 한다. 또 최소 8GB 비디오 랜덤 액세스 메모리(VRAM)가 필요하다. 현재 미국 베스트바이에서는 엔비디아 지포스 RTX 3060 게이밍 데스크톱 가격이 약 899.99~1,299.99달러에 판매 중이다. 또 엔비디아 지포스 RTX 3080은 1499.99~2649.99달러 수준에 거래되고 있다.
‘챗 위드 RTX(Chat With RTX)’ 윈도 버전은 해당 PC에 무료로 내려 받아 사용할 수 있다. 특히 이 도구는 검색 증강생성(RAG), 엔비디아 텐서RT-LLM(TensorRT-LLM) 소프트웨어, RTX 가속화 등을 통해 디바이스에서도 생성형 AI 기능을 제공한다. 특히 검색 증강생성을 활용하면 ‘나만의 데이터’에서 필요한 정보를 질의 응답을 통해 찾아낼 수 있다. 엔비디아는 “PC 파일을 데이터세트로 활용해 빠르고 쉽게 대규모 언어 모델(LLM)에 연결하고 상황에 맞는 답변을 얻을 수 있다”고 말했다. 또 PDF 등 다양한 파일도 연동해 데이터를 찾을 수 있다. 아울러 유튜브 동영상이나 재생 목록에 있는 정보까지 훑어준다. 개인화된 데이터를 바탕으로 상황에 맞는 질문에 답변할 수 있는 것이다. 엔비디아는 “PC에서 실행되므로 사용자의 데이터는 기기에 유지된다”며 “클라우드 기반 LLM 서비스를 사용하지 않아도 된다”고 강조했다.
‘챗 위드 RTX’는 윈도우 10, 11 및 최신 엔비디아 GPU 드라이버에서 사용할 수 있으며, 이는 RTX GPU로 LLM을 가속할 수 있는 잠재력을 보여준다는 것이 엔비디아측 설명이다. 개발자들은 깃허브(GitHub)에서 제공되는 텐서RT-LLM RAG 개발자 레퍼런스 프로젝트를 통해 직접 RTX용 RAG 기반 애플리케이션을 개발하고 배포할 수 있다.
엔비디아가 PC용 LLM 챗봇을 공개한 까닭은, 일반 클라우드 기업과 차별화를 위한 포석으로 보인다. 아마존 AWS, 마이크로소프트 애저, 구글 클라우드 등도 LLM 기반 챗봇을 공개하고 있지만 클라우드 기반이기 때문에 인터넷 연결 없이 사용이 불가능하며 과도한 인퍼런스(추론) 비용이 발생한다.
출처 : AI Weekly, 특이점이 온다 #6 - 미래에셋증권