AI21, 자바 1.5 출시: 진화된 하이브리드 SSM 트랜스포머 모델로 고급 에이전틱 AI 기능 강화

트랜스포머는 생성적 AI 환경에서 중요한 역할을 하지만 모델 개발을 위한 유일한 방법은 아닙니다. AI21은 오늘 Jamba 모델의 새로운 버전을 출시하며 트랜스포머와 구조적 상태 공간(SSM) 모델 방식을 통합했습니다. Jamba 1.5 미니 및 대형 버전은 3월에 발표된 Jamba 1.0의 혁신을 향상시켰습니다. Mamba라는 SSM 방식을 활용해, Jamba는 트랜스포머와 SSM의 강점을 결합하는 것을 목표로 합니다. "Jamba"는 공동 주의 및 Mamba 아키텍처를 의미하며, 각 모델이 단독으로 달성할 수 있는 것 이상의 성능과 정확성을 약속합니다.

AI21의 제품 담당 부사장인 오르 다간은 "우리는 커뮤니티로부터 놀라운 피드백을 받았으며, 이는 Mamba 기반의 첫 번째, 그리고 현재로선 거의 유일한 프로덕션 모델입니다"라고 말했습니다. "이 새로운 아키텍처는 LLM 아키텍처의 미래와 트랜스포머의 역할에 대한 논의를 촉발했습니다."

Jamba 1.5 시리즈는 기능 호출, JSON 모드, 구조적 문서 객체, 인용 모드 등의 향상된 기능을 도입하여 에이전틱 AI 시스템 개발에 이상적입니다. 두 버전 모두 256K의 넉넉한 컨텍스트 창을 갖추고 있으며, Mixture-of-Experts (MoE) 아키텍처를 활용합니다. Jamba 1.5 미니는 총 520억 개의 파라미터(활성 120억)를 제공하며, Jamba 1.5 대형은 총 3980억 개의 파라미터(활성 940억)를 자랑합니다.

이 모델들은 오픈 라이센스 하에 제공되며, AI21은 상업적 지원 및 서비스를 제공합니다. AWS, Google Cloud, Microsoft Azure, Snowflake, Databricks, Nvidia와 파트너십을 체결했습니다.

Jamba 1.5의 새로운 기능: 에이전틱 AI 가속화

Jamba 1.5 미니 및 대형 모델은 AI 개발자들의 진화하는 요구를 충족하기 위해 여러 가지 새로운 기능을 갖추고 있습니다:

- 구조화된 데이터 처리를 위한 JSON 모드

- 책임성을 높이는 인용 기능

- 향상된 컨텍스트 관리를 위한 문서 API

- 기능 호출 기능

다간은 이러한 향상이 에이전틱 AI 시스템을 발전시키는 데 필수적이라며, JSON(JavaScript Object Notation)이 애플리케이션 워크플로우 생성에 널리 사용됨을 강조했습니다. 이를 통해 복잡한 AI 설정에서 보다 명확한 입력/출력 관계가 가능해지며, 기본 언어 모델 활용을 넘어섭니다. 인용 기능은 새로운 문서 API와 함께 작동합니다.

다간은 "모델이 생성 과정에서 제공된 문서에 관련된 내용을 귀속시키도록 교육하고 있습니다"라고 설명했습니다.

인용 모드와 RAG의 구별

인용 모드를 정보 검색 증대 생성(RAG)와 구별하는 것이 중요합니다. 두 방식 모두 AI 출력을 신뢰할 수 있는 데이터에 기반하게 하려는 목적을 가지고 있습니다.

다간은 Jamba 1.5의 인용 모드는 문서 API와의 원활한 통합을 위해 설계되어 전통적인 RAG보다 보다 포괄적인 접근 방식을 제공한다고 밝혔습니다. 일반적인 RAG 설정에서는 개발자가 언어 모델을 벡터 데이터베이스에 연결하고, 모델이 검색된 데이터를 효과적으로 출력에 통합해야 합니다.

반면, Jamba 1.5의 인용 모드는 모델 자체와 내재적으로 얽혀 있어, 정보를 검색, 통합 및 명시적으로 출처를 인용할 수 있게 합니다. 이 기능은 전통적인 LLM 작업 흐름과 비교하여 투명성과 추적 가능성을 강화합니다. AI21은 또한 RAG 솔루션을 지원하며, 문서 검색 및 색인을 포함한 종합 관리 서비스를 제공합니다.

앞으로 다간은 고객 요구에 부응하기 위해 모델을 발전시키겠다는 AI21의 의지를 강조하며, 에이전틱 AI 기능 향상에 지속적으로 집중하고 있음을 밝혔습니다. "우리는 에이전틱 AI 시스템의 혁신이 특히 계획 및 실행 측면에서 필요하다는 것을 인식하고 있습니다"라고 말했습니다.