[소셜밸류=한시은 기자] 카페24가 생성형 AI 서비스를 통합 관리할 수 있는 AI 운용 인프라 서비스 'LLM 라우터(LLM Router)'를 출시했다.
카페24는 하나의 API로 120개 이상의 AI 모델을 연결해 활용할 수 있는 LLM 라우터를 선보였다고 23일 밝혔다. 이 서비스는 챗GPT, 클로드, 제미나이 등 주요 생성형 AI 모델을 통합 관리하며 사용자의 요청에 맞는 모델을 자동 선택·분배·전환하는 역할을 수행한다.
 |
| ▲ 카페24가 챗GPT, 클로드, 제미나이 등 주요 인공지능(AI) 모델을 하나의 인프라에서 통합 운용할 수 있는 서비스를 선보였다./사진=카페24 제공 |
최근 생성형 AI 이용이 확대되면서 목적에 따라 여러 AI 모델을 함께 사용하는 '멀티호밍' 수요도 늘고 있다. 과학기술정보통신부의 '2025년 부가통신사업 실태조사'에 따르면 생성형 AI 이용자의 53.2%가 2개 이상의 AI 플랫폼을 함께 사용하는 것으로 나타났다.
카페24는 AI 모델이 늘어날수록 계정과 비용, 사용 현황 관리가 복잡해지는 점에 주목했다. LLM 라우터는 이러한 과정을 하나의 환경에서 관리할 수 있도록 설계됐다.
서비스는 오픈AI GPT 계열 모델을 비롯해 클로드, 제미나이, 딥시크, 큐원, 라마 등 120여 개 AI 모델을 지원한다. 핵심 기능인 라우팅 엔진은 사용자의 요청 내용을 분석해 코딩, 번역, 추론, 콘텐츠 제작 등 작업 목적에 적합한 AI 모델을 자동 연결한다.
비용이나 속도 등 사용자가 원하는 기준에 따라 AI 서비스 제공사를 선택하는 기능도 제공한다. 같은 모델이라도 비용 효율이 높은 제공사나 응답 속도가 빠른 제공사로 자동 연결할 수 있으며, 특정 제공사를 허용하거나 제외하는 기능도 지원한다.
서비스 안정성을 위한 자동 전환 기능(Auto Fallback)도 갖췄다. 주 모델이 응답하지 않을 경우 사전에 지정한 대체 모델이 자동으로 작업을 이어받아 서비스 연속성을 확보한다.
사용 편의성도 높였다. 실시간 대시보드를 통해 요청 수와 비용, 토큰 사용량, 모델별 비용 비중, 성공·실패 비율 등을 한눈에 확인할 수 있다. 팀·프로젝트별 사용량 관리도 가능하다.
기존에 사용하던 AI 모델 키를 그대로 활용할 수 있는 'BYOK(Bring Your Own Key)' 기능도 제공한다. 사용자는 GPT, 클로드, 제미나이 등의 API 키를 등록해 비용을 직접 관리하면서 LLM 라우터 환경을 이용할 수 있다.
이재석 카페24 대표는 "AI 모델 종류가 빠르게 늘어나면서 이를 효율적으로 연결하고 운영하는 것이 새로운 과제가 되고 있다"며 "사용자들이 다양한 AI를 더욱 편리하게 활용할 수 있도록 관련 인프라를 지속 고도화해 나가겠다"고 말했다.
한편 LLM 라우터는 충전형 크레딧 방식으로 운영되며 가입 즉시 무료 크레딧을 제공한다.
[저작권자ⓒ 사회가치 공유 언론-소셜밸류. 무단전재-재배포 금지]
