애플은 오늘 클라우드 서버에 의존하지 않고 디바이스에서 작동하도록 설계된 오픈 소스 대형 언어 모델(LLM) 시리즈를 발표했습니다. 이 모델들은 OpenELM(오픈 효율 언어 모델)이라는 이름으로, Hugging Face Hub에서 제공되며 AI 코드 공유를 위한 커뮤니티 플랫폼을 형성합니다.
OpenELM에는 CoreNet 라이브러리를 사용해 사전 훈련된 4개 모델과 가이드를 통해 세밀하게 조정된 4개 모델을 포함해 총 8개 모델이 출시됩니다. 애플은 Transformer 모델의 각 레이어에 매개변수를 효율적으로 분배하는 계층적 스케일링 전략을 도입하여 정확도와 효율성을 높였습니다. 예를 들어, 약 10억 개의 매개변수를 바탕으로 OpenELM은 OLMo보다 2.36%의 정확도 향상을 달성하면서 사전 훈련 토큰의 요구량을 절반으로 줄였습니다.
이전 모델들은 단순히 모델 가중치와 추론 코드만 제공했지만, 이번 출시에서는 공공 데이터셋에서 언어 모델을 훈련하고 평가할 수 있는 통합 프레임워크를 제공합니다. 여기에는 훈련 로그, 여러 체크포인트, 사전 훈련 구성 등이 포함됩니다. 애플은 이 이니셔티브를 통해 자연어 AI 분야에서 발전을 가속화하고 “더 신뢰할 수 있는 결과”를 제공할 계획입니다.
이 오픈 모델의 출시는 “오픈 연구 커뮤니티를 지원하고 풍부하게 하려는” 의도를 가지고 있으며, 연구자들이 모델의 위험, 데이터 사용, 편향을 철저하게 조사할 수 있도록 할 것입니다. 개발자들과 기업들도 이러한 모델을 직접 활용하거나 수정하여 특정 요구에 맞출 수 있도록 권장됩니다.
애플은 이 정보를 공개함으로써 주요 엔지니어, 과학자, 전문가를 유치하여 관련 분야의 연구를 발전시키겠다는 의지를 밝혔습니다. 비록 AI 기능은 아직 애플의 디바이스에 통합되지 않았지만, iOS 18에서는 새로운 AI 기능이 다수 도입될 것으로 예상되며, 애플은 개인 정보 보호를 강화하기 위해 대형 언어 모델을 디바이스 운영으로 전환할 계획임이 시사되고 있습니다.