메타 AI, 모바일 기기 최적화된 소형 언어 모델 공개

Home AI 뉴스 메타 AI, 모바일 기기 최적화된 소형 언어 모델 공개

메타 AI 연구원들은 모바일 디바이스와 자원이 제한된 기기를 위해 최적화된 효율적인 언어 모델 개발에 대한 혁신적인 접근법인 MobileLLM을 소개했습니다. 2024년 6월 27일 발표된 이 연구는 효과적인 AI 모델이 크기가 커야 한다는 기존의 인식을 도전합니다.

메타 리얼리티 랩스, PyTorch, 메타 AI 리서치(FAIR)의 전문가들로 구성된 팀은 10억 개 미만의 파라미터를 가진 모델 최적화에 집중했습니다. 이는 1조 개 이상의 파라미터를 가진 GPT-4와 비교할 때 상당히 작은 규모입니다.

메타의 수석 AI 과학자 얀 르쿤은 X(구 트위터)에서 연구에 대한 주요 인사이트를 공유했습니다:

핵심 혁신 사항:

- 모델의 너비보다 깊이에 중점

- 임베딩 공유 및 그룹 쿼리 주의 적용

- 혁신적인 블록-와이드 가중치 공유 기법 도입

이러한 전략적 결정 덕분에 MobileLLM은 비슷한 크기의 이전 모델들보다 주요 벤치마크 작업에서 2.7%에서 4.3% 더 높은 성능을 기록했습니다. 비록 개선폭이 미미해 보일 수 있지만, 이는 언어 모델 개발의 경쟁에서 중요한 발전을 나타냅니다.

놀랍게도, 3억 5천만 파라미터 버전인 MobileLLM은 특정 API 호출 작업에서 70억 파라미터의 LLaMA-2 모델의 정확도와 동등한 성능을 보였습니다. 이는 소형 모델이 비슷한 성능을 제공하면서도 훨씬 적은 계산 자원을 요구할 수 있음을 시사합니다.

Zechun Liu 외의 논문 "MobileLLM: On-Device Use Cases를 위한 10억 미만 파라미터 언어 모델 최적화"는 이 발전을 강조합니다.

MobileLLM의 발전은 보다 효율적인 AI 모델을 제작하려는 관심이 높아지고 있음을 반영합니다. 매우 큰 언어 모델의 발전이 정체기에 접어들면서, 연구자들은 컴팩트하고 전문화된 설계로 눈을 돌리고 있습니다. 효율성과 온디바이스 배포에 중점을 둔 MobileLLM은 일부 전문가들이 "소형 언어 모델(SLMs)"이라고 부르는 모델들과 함께 토대를 마련하고 있습니다.

현재 MobileLLM은 공개되지 않았지만, 메타는 사전 학습 코드의 오픈소스를 제공하여 연구자들이 이 작업을 바탕으로 발전시킬 수 있도록 하고 있습니다. 이 기술이 발전함에 따라 개인 디바이스에서의 AI 기능 향상 가능성이 열리지만, 구체적인 일정과 기능은 아직 불확실합니다.

전반적으로 MobileLLM은 정교한 AI를 더 접근 가능하고 지속 가능하게 만드는 중요한 발전을 의미하며, 효과적인 언어 모델이 반드시 거대해야 한다는 기존의 관념에 도전하고 있습니다. 이 혁신은 개인 디바이스에서 흥미로운 새로운 AI 애플리케이션의 가능성을 열어줄 것으로 기대됩니다.

마이크로소프트, AI 처리 기준 혁신을 위한 'MInference' 데모 공개

헤비아, 지식 검색을 위한 선도적 AI 플랫폼 구축을 위해 1억 3천만 달러 확보

Most people like

Parsers VC

34.2K

오늘날의 빠르게 변화하는 금융 환경에서 AI 기반 기술이 투자자들이 기회를 식별하고 벤처와 연결되는 방식을 혁신하고 있습니다. 고급 알고리즘과 데이터 분석을 활용하여 이러한 솔루션은 예측 투자 전략을 향상시켜 더욱 스마트하고 정보에 기반한 의사 결정을 가능하게 합니다. 이러한 혁신은 투자 과정을 간소화할 뿐만 아니라 투자자와 스타트업 간의 의미 있는 연결을 촉진하여 신흥 시장에서 성장과 성공을 위한 길을 열어줍니다. AI가 예측 투자 및 벤처 매칭의 세계를 어떻게 변화시키고 있는지 알아보세요. 자본과 혁신 간의 역동적인 시너지를 창출하고 있습니다.

AI 기반 플랫폼 AI Tools Directory

Kerplunk

19.7K

AI 기반 비디오 인터뷰로 채용 프로세스를 혁신하세요 AI 기반 비디오 인터뷰어가 어떻게 채용 경험을 변화를 주고, 채용 과정을 더 효율적이고 효과적으로 만드는지 알아보세요. 인공지능을 활용하여, 이 혁신적인 기술은 인터뷰를 간소화하고, 시간 절약은 물론 지원자 참여도와 평가 정확성을 높입니다. 오늘 당신의 채용 전략의 잠재력을 열어보세요!

AI 기반 채용 AI Interview Assistant

Paperclips

36.9K

종이클립스를 소개합니다. AI의 힘을 활용하여 귀하의 강의 노트나 온라인 콘텐츠를 간편하게 매력적인 플래시카드로 변환하는 혁신적인 웹 앱입니다. 학습 과정을 단순화하고 기억력을 향상시켜주는 이 최첨단 도구는 어디에 있든 모든 학습자를 위해 설계되었습니다.

플래시카드 AI Product Description Generator

PicFinder.AI

181.7K

PicFinder.AI 소개: 생생한 설명을 매력적인 예술 작품으로 변환하는 궁극의 도구, 고급 AI 이미지 생성 기술을 통해 가능합니다. 인공지능의 힘을 탐험하고, 만들어지는 각 걸작으로 창의력을 발휘하세요!

AI 생성 이미지 AI Art Generator

Find AI tools in YBX