Apple、デバイス上での実行に向けたオープンソースAIモデルを発表

Appleは本日、クラウドサーバーに依存せず、デバイス上で動作することを目的としたオープンソースの大規模言語モデル(LLM)Siriーズを発表しました。これらは「OpenELM(オープン効率言語モデル)」と名付けられ、Hugging Face Hubで提供され、AIコードを共有するためのコミュニティプラットフォームを形成しています。

OpenELMには、CoreNetライブラリを使用して事前トレーニングされた4つのモデルと、ガイド付き調整で微調整された4つのモデルが含まれています。Appleは、トランスフォーマーモデルの各層にパラメータを効率的に配分する階層型スケーリング戦略を実装しており、精度と効率性が向上しています。例えば、約10億のパラメータ予算内で、OpenELMはOLMoに対して2.36%の精度向上を達成し、事前トレーニングトークンの必要量を半分に削減しています。

従来のリリースがモデルの重みと推論コードのみを提供していたのに対し、今回の発表では公共データセットでの言語モデルのトレーニングと評価のための包括的なフレームワークが特徴です。これにはトレーニングログ、複数のチェックポイント、事前トレーニングの構成が含まれます。Appleは、この取り組みにより自然言語AIの分野での進展を加速し、「より信頼性の高い結果」を提供することを目指しています。

これらのオープンモデルのリリースは、「オープンリサーチコミュニティを強化し、豊かにする」ことを意図しており、研究者はモデルのリスク、データ使用、バイアスを徹底的に調査できます。開発者や企業は、特定のニーズに合わせてこれらのモデルを直接利用したり、修正したりすることが奨励されています。

Appleは、この情報をオープンに共有することで、著名なエンジニアや科学者を引き寄せ、関連分野の研究を進展させることに力を入れています。一方で、Appleの機密保持ポリシーの下での出版の難しさがあります。AI機能はまだAppleのデバイスに統合されていませんが、iOS 18では新しいAI機能が多数導入される予定であり、Appleはプライバシーを向上させるために、ラージ・ランゲージ・モデルをデバイス上での運用に移行する計画を示しています。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles