MIT 스핀오프 리퀴드, 최첨단 비변압기 AI 모델 출시

Liquid AI는 MIT의 컴퓨터 과학 및 인공지능 연구소(CSAIL) 출신 연구자들이 공동 설립한 스타트업으로, 첫 번째 멀티모달 AI 모델인 Liquid Foundation Models (LFMs)를 출시했습니다. 현재 많은 생성 AI 모델들이 2017년의 유명한 "Attention Is All You Need" 프레임워크인 변환기 아키텍처에 의존하는 것과는 달리, Liquid AI는 Generative Pre-trained Transformers (GPTs)에 대한 대안을 탐색하고자 합니다. LFMs는 엔진과 항공기를 설계하는 엔지니어의 접근 방식을 닮아 "첫 원리"에서 구성되었습니다.

이 혁신적인 LFMs는 Meta의 Llama 3.1-8B와 Microsoft의 Phi-3.5 3.8B와 같은 변환기 기반 모델과 비교해 뛰어난 성능을 보여줍니다. 모델은 세 가지 크기로 제공되며, 각각의 매개변수 수에 따라 LFM 1.3B(소형), LFM 3B, 대형 LFM 40B MoE(전문가 혼합 모델)로 구분됩니다. 일반적으로 매개변수 수가 많을수록 다양한 작업에서 더 높은 성능을 나타냅니다.

LFM 1.3B 버전은 이미 Meta의 Llama 3.2-1.2B와 Microsoft의 Phi-1.5를 다양한 제3자 벤치마크 테스트에서 초월하며, 이는 비-GPT 아키텍처의 중요한 성과로 자리 잡았습니다. 세 모델 모두 높은 성능과 메모리 효율성을 균형 있게 제공합니다. 예를 들어, Liquid의 LFM-3B는 16GB 메모리만 필요하지만, Meta의 Llama-3.2-3B는 48GB 이상의 메모리를 요구합니다.

Liquid AI의 포스트 트레이닝 책임자인 Maxime Labonne은 소셜 미디어를 통해 LFMs의 효율성과 성능 벤치마크에서 변환기 모델을 초월한 능력에 자부심을 표명했습니다. 이러한 모델들은 금융, 생명공학, 소비자 전자 제품 등 다양한 분야의 기업 솔루션과 엣지 디바이스에서 활용될 수 있도록 최적화되었습니다.

LFMs는 오픈 소스가 아니며, Liquid의 추론 플레이그라운드인 Lambda Chat 또는 Perplexity AI를 통해 접근할 수 있습니다. Liquid의 LFMs 개발 접근 방식은 동적 시스템 이론, 신호 처리, 수치 선형 대수를 기반으로 한 계산 단위를 혼합한 것으로, 영상, 오디오, 텍스트, 시계열 등 다양한 순차적 데이터 유형을 처리할 수 있는 범용 AI 모델을 만들어냅니다.

작년에는 Liquid AI가 CSAIL에서 개발한 Liquid Neural Networks (LNNs)에 주목하고 있다는 보도가 있었습니다. LNNs는 인공 뉴런의 효율성과 적응성을 향상시키기 위해 설계된 아키텍처로, 전통적인 딥러닝 모델보다 적은 수의 뉴런으로도 복잡한 작업을 수행할 수 있는 가능성을 보여줍니다. LFMs는 이러한 적응성을 활용해 추론 중 실시간 조정을 가능하게 하며, 연산 오버헤드를 최소화합니다. 예를 들어, LFM-3B 모델은 Google의 Gemma-2, Microsoft의 Phi-3, Meta의 Llama-3.2와 비교해 긴 컨텍스트 처리를 효과적으로 관리하면서도 적은 메모리 사용을 유지합니다.

Liquid AI는 멀티모달 기능을 통해 금융 서비스, 생명공학 및 소비자 전자제품 등 다양한 산업의 과제를 해결합니다. 현재 미리보기 단계에 있는 Liquid AI는 얼리 어답터들이 모델을 시험하고 피드백을 제공할 것을 권장합니다. 2024년 10월 23일, MIT의 Kresge Auditorium에서 열릴 정식 출시 이벤트에 참여하려면 사전 예약이 필요합니다. Liquid AI는 기술 블로그 게시물을 시리즈로 발행하고, 사용자들이 모델을 스트레스 테스트하는 레드 팀 노력에 참여할 것을 장려할 예정입니다.

Liquid Foundation Models의 출시는 Liquid AI가 기본 모델 분야의 중요한 선수로 자리매김하기 위한 노력의 일환이며, 뛰어난 성능과 독보적인 메모리 효율성을 결합하고자 합니다.