"작은 AI가 맵다" . . . 가성비 앞세운 '프라이빗 AI'의 부상

안녕하세요 버핏이형입니다


챗GPT의 등장으로 촉발된 생성형 AI 열풍이 한창입니다 글로벌 시장조사기관 포춘 비즈니스 인사이트(Fortune Business Insights)에 따르면 글로벌 AI 시장 규모는 2022년 4280억 달러(약 573조)에서 2030년에는 2조251억 달러(약 2,713조) 규모로 연평균 21.6% 기하급수적으로 성장할 것으로 전망됩니다 이런 추세에 글로벌 빅테크기업에서 신흥 스타트업까지 생성형 AI의 엔진이자 핵심인 '거대언어모델(LLM)' 개발에 앞다투어 뛰어들고 있습니다 이처럼 고성능 LLM에 대한 기업의 니즈가 급증하면서 , B2B 생성형 AI 시장은 크게 '퍼블릭 LLM'과 '프라이빗 LLM' 진영으로 양분되고 있습니다

오픈AI , 구글 등 빅테크가 주도하는 퍼블릭 LLM은 생성형 AI 대중화를 이끌며 초기 시장을 선점했습니다 하지만 외부 클라우드 사용으로 데이터 유출 리스크와 , 잘못된 정보를 생성하는 환각 현상(할루시네이션) 등의 문제점이 불거졌습니다 실제로 애플 , 아마존 , 삼성전자 등에서 내부 임직원들에게 '챗GPT 경계령'을 내리는 등 보안 이슈로 도입을 꺼리는 기업들이 생겨났습니다 이에 대항마 프라이빗 LLM이 등장하면서 기업용 시장을 파고드는 모양새입니다 표현 그대로 기업의 내부 데이터만 활용해 보안성을 높이고 거짓 정보를 생성하는 환각현상(할루시네이션) 방지에 최적화된 모델입니다 여기에 상대적으로 작은 모델 사이즈로 비용 측면에서도 각광받으며 차세대 생성형 AI 시장 대세론을 타고 있습니다



프라이빗 LLM의 핵심은 보안성입니다 기업 서버에 설치하는 구축형 '온프레미스' 방식이나 전용 프라이빗 클라우드로 도입 , 기업의 민간 데이터가 유출될 가능성을 전면 차단합니다 이를 통해 기업들은 LLM 도입의 최대 허들인 데이터 및 민감 정보 유출을 방지할 수 있습니다 다음으로 , 프라이빗 LLM은 생성형 AI의 고질적인 문제이자 현재 LLM의 최대 한계점으로 꼽히는 할루시네이션 방지에 특화된 모델입니다 프라이빗 LLM은 범용 모델과 달리 기업 내부 데이터로 학습 대상을 제안합니다 그만큼 거짓 정보를 생성할 가능성이 낮아져 사용성을 향상시킵니다



또한 , 작은 사이즈로도 비용 대비 효과를 극대화합니다 프라이빗 LLM은 보통 100B(1조) 사이즈 이하의 경량 모델로 , 흔히 'ss(소규모) LLM'으로 불립니다 이에 비해 오픈AI의 GPT-4 매개변수(파라미터)는 5000억 개로 추산되고 , 구글의 '제니미'는 조 단위에 이르는 등 모델 사이즈가 상당합니다 매개변수가 큰 만큼 모델 서빙 비용이 상당할 수 밖에 없는 구조입니다

프라이빗 LLM은 훨씬 적은 모델 사이즈로도 성능은 빅테크에 필적합니다 예를 들어 , 업스테이지는 지난 8월 700억 매개변수 모델로 글로벌 머신러닝 플랫폼 '허깅페이스'에서 운영하는 '오픈 LLM 리더보드' 평가 순위에서 챗GPT의 기반인 GPT-3.5 성능을 뛰어넘고 세계 1위를 차지하기도 했습니다 추론과 상식 능력 , 언어 이해 종합능력 및 할루시네이션 방지 등 4가지 지표 평균에서 빅테크의 거대 모델을 능가한 것입니다 특히 , 업스테이지는 자사의 LLM 활용 시 GPT-3.5 대비 비용은 40% 감축하고 , 처리 속도는 30% 빠른 것으로 추산했습니다



이에 많은 기업들은 프라이빗 LLM의 강정을 내세운 다양한 어플리케이션으로 영토를 확장하고 있습니다 일례로 세일즈포스는 최근 대화형 AI 어시스턴트 '아인슈타인 코파일럿'울 선보였습니다 세일즈포스 데이터 클라우드에 저장된 각종 정형•비정형 데이터를 토대로 콘텐츠와 코드를 생성해 줍니다 기업이 보유한 정확한 고객 데이터에 기반해 할루시네이션(환각) 현상이 적고 , 데이터는 세일즈포스의 고객관계관리(CRM) 데아터 클라우드에 보관함으로써 안정성도 담보했습니다



국내에서는 업스테이지가 눈에 띕니다 업스테이지는 최근 챗GPT를 뛰어넘은 자사의 허깅페이스 1위 모델을 기반으로 자체 LLM 'SOLAR (Specialized and Qptimized Llm and Applications with Reliability)'를 발표했습니다 솔라는 이름처럼 도메인 특화와 최적화에 초점을 맞추고 기업 데이터를 학습 , 정보 유출과 환각 현상을 방지할 수 있는 프라이빗 LLM을 지향합니다 국내 플랫폼 업계에서는 커넥트웨이브와 롯데쇼핑이 생성형 AI 도입에 적극적으로 나서고 있습니다 특히 두 기업은 세계 최고 오픈 LLM 모델을 만든 업스테이지와의 협력을 통해 플랫폼 특화 생성 AI를 구축할 계획입니다

커넥트웨이브는 일찍이 업스테이지와 손잡고 국내 이커머스 업계 최초로 프라이빗 LLM 구축을 알렸습니다 자사 데이터 커머스 플랫폼인 다나와와 에누리를 방문하는 소비자가 프라이빗 LLM을 통해 주관적이거나 추상적인 속성을 입력해도 원하는 상품을 손쉽게 찾고 추천받을 수 있게 해 쇼핑 만족도를 극대화할 전망입니다 또한 , 프라이빗 LLMd
에 자사의 쇼핑물 제작 솔루션인 메이크샵의 데이터를 학습시켜 배송조회부터 문의 사항 , 반품 상담 , 리뷰 요약 , 상품 카피(copy) 개발까지 자동으로 가능하게 할 예정입니다



롯데쇼핑은 업스테이지와의 생성형 AI 활용 업무협약 체결을 통해 서비스 운영 비용 절감은 물론 생산성 향상과 추가 수익 창출 ,신규 사업 추진의 기반으로 활용할 청사진을 세웠습니다 양사는 이미 지난 2년 간의 협업을 통해 개발한 개인화된 AI 상품 추천 서비스를 올 6월 롯데온에 도입하며 1월에 실시한 테스트 대비 구매환전율 30% 증가의 효과를 입증한 바 있습니다 앞으로도 적극적으로 AI를 도입하여 차별화된 초개인화 트렌드를 선도해 디지털 혁신을 이뤄간다는 계획입니다

생성형 AI 도입을 통한 디지털 체질 개선은 이제 대세를 넘어 필수로 자리 잡는 추세입니다 하지만 이를 자체 개발하기 위해서는 전문 인력 확보를 포함한느 막대한 투자 비용이 필요하고 , 외부의 AI 기술 도입을 고려할 때에도 데이터 보안 문제와 할루시네이션 등을 염두에 둬야 하는 것이 큰 허들입니다 자연스레 그 기반인 LLM을 구축하는 데 신중을 기할 수 밖에 없습니다 도메인에 특화된 프라이빗 LLM에 대한 관심이 커지는 이유입니다