AI 잠재력 발휘: 모델 라우팅으로 기업의 효율성을 극대화하기

기업들이 AI 기술을 점점 더 적극적으로 채택하면서 직면하는 중요한 도전 과제가 있다: 각 작업에 최적의 AI 모델을 선택하는 동시에 성능과 비용을 균형 있게 유지하는 것이다. 모델 라우팅 기술이 등장하여 기업들이 AI 효율성을 극대화할 수 있는 혁신적인 해결책을 제공한다.

모델 라우팅 기술은 기업들이 쿼리별로 가장 적합한 AI 모델을 동적으로 선택할 수 있도록 하여 AI 자원의 활용 방식을 근본적으로 변화시킨다. 이 방법은 하나의 일반적인 모델에 의존하는 것에 비해 성능을 향상시키고 비용을 크게 절감한다.

Martian: AI 모델 라우팅의 선두주자

이 분야에서 주목할 만한 스타트업인 Martian은 혁신적인 대형 언어 모델(LLM) 라우터를 개발하여 주요 기술 회사들의 주목을 받고 있다. 최근 글로벌 전문 서비스 기업인 Accenture는 Martian에 투자하겠다고 발표하며 기업 AI 전략에서 모델 라우팅의 중요성이 상승하고 있음을 강조했다.

Accenture는 Martian을 자신의 스위치보드 서비스에 통합하여 기업의 모델 선택을 지원할 계획이다. 2023년 11월 스텔스 모드에서 탈피한 이후, Martian은 기술을 지속적으로 발전시켰으며, 라우팅 플랫폼의 일환으로 새로운 AI 모델 준수 기능을 도입했다.

Accenture의 스위치보드는 이전에도 기업의 모델 선택을 지원했지만, Martian은 동적 라우팅을 통해 작업마다 뿐만 아니라 쿼리별로 최적의 모델을 자동으로 선택할 수 있는 기능을 강화했다. Martian의 공동 창립자인 Shriyash Upadhyay는 “이 덕분에 항상 단일 모델을 사용할 필요가 없어져 비용 절감과 높은 성능을 달성할 수 있습니다.”라고 설명했다.

Accenture의 AI 최고 책임자 Lan Guan은 많은 클라이언트가 성능과 비용 지표를 고려하면서 생성 AI를 활용하고자 한다고 언급했다. 그는 “Accenture의 스위치보드 서비스와 Martian의 동적 LLM 라우팅의 협력은 사용자 경험을 간소화하여 기업들이 고유한 요구에 맞는 생성 AI를 탐색할 수 있게 합니다.”라고 말했다.

Martian의 AI 쿼리 라우팅 최적화

Martian의 모델 라우터는 각 쿼리에 최적의 AI 모델을 현명하게 선택하며, 모델 행동을 예측하기 위한 핵심 기술을 적용한다. Upadhyay는 “우리는 이러한 모델의 내부를 이해하는 데 집중합니다. 각 모델에는 자신의 행동을 예측할 수 있는 충분한 정보가 포함되어 있습니다.”라고 강조했다.

이 전략은 Martian이 실행을 위한 최적의 모델을 정밀하게 파악하도록 하여, 비용, 출력 품질 및 지연 시간 등의 요소를 최적화할 수 있게 한다. 모델 압축, 양자화, 증류 및 전문 모델과 같은 기술은 전체 모델을 실행하지 않고도 이러한 예측을 가능하게 하여 성능을 향상시키고 비용을 절감한다.

기업 AI에서 모델 라우팅의 중요성

업무에 가장 적합한 도구를 사용하는 원칙은 비즈니스에서 이미 확립되어 있지만, 다양한 AI 모델 옵션에 대한 인지는 여전히 많은 조직에게 도전 과제가 된다. Upadhyay는 “대기업의 다양한 부문이 이용 가능한 전문 모델의 폭넓은 범위를 인식하지 못하는 경우가 많습니다.”라고 지적했다.

AI 모델을 효과적으로 활용하려면 성공 지표를 정의하는 것이 중요하다. 조직은 성공을 정의하기 위한 핵심 목표를 식별하고 어떤 지표가 성공을 나타내는지를 결정해야 한다. 비용 최적화와 투자 수익률도 마찬가지로 중요하다. Upadhyay에 따르면 모델 라우팅은 이 두 가지 필요를 효과적으로 충족시킨다.

준수 문제 또한 기업에 도전 과제이며, Martian은 새로운 준수 기능으로 이를 해결하고 있다. 이 기능을 통해 기업은 사용하려는 AI 모델을 검토하고 승인할 수 있으며, 규정 준수 정책을 수립하는 자동화된 시스템을 마련하고 있다.

모델 라우팅으로 에이전틱 AI 혁신

모델 라우팅은 여러 모델과 행동을 연결해 원하는 결과를 달성하는 에이전틱 AI 분야에서 중요한 역할을 한다. 에이전트 워크플로우의 각 단계는 이전 단계에 의존하므로 오류가 누적될 수 있다. Martian의 동적 라우팅은 각 단계에서 가장 적합한 모델이 적용되도록 보장하여 높은 정확성을 유지한다.

Upadhyay는 “에이전트는 라우팅의 매력적인 활용 사례를 나타냅니다. 각 단계에서의 정밀성이 실패의 연쇄를 피하기 위해 필수적입니다.”라고 결론짓는다.