ミストラルAI、新しい「エキスパートの混合モデル」を発表し、ダウンロード用トレントリンクを提供

Home AIニュースミストラルAI、新しい「エキスパートの混合モデル」を発表し、ダウンロード用トレントリンクを提供

GoogleのCloud Nextカンファレンスで一連の人工知能の進展を発表する中、AI分野で急成長を遂げるMistral AIは最新のスパースエキスパート混合モデル（SMoE）「Mixtral 8x22B」を発表しました。競合他社が通常用いるデモビデオやブログ投稿の代わりに、このパリに本拠を置くスタートアップは、ユーザーが新しいモデルを直接ダウンロードしてテストできるトレントリンクをX上で共有するという独自のアプローチを選びました。

このリリースは、GPT-4 Turbo（視覚機能付き）とGemini 1.5 Proの発表に続くMistralの3つ目の主要なモデル導入であり、Metaも次月にLlama 3の発表を予告しています。

Mistralのトレントファイルには262GBの4つのコンポーネントが含まれており、Mixtral 8x22Bの詳細な機能はまだ明らかにされていませんが、AI愛好者たちの期待は高まっています。ただし、ローカルでのモデル実行には課題が伴う可能性があります。あるRedditユーザーは、「M1 Max Macbookを購入した時、32GBはオーバースペックだと思ったけれど、AIへの関心が高まるとは思ってもみなかった」と述べています。

Mixtral 8x22Bの発表後、MistralはHugging Face上でもモデルを利用できるようにし、事前トレーニングされたモデルにはモデレーション機能がないことを強調しました。また、Together AIもユーザーがテストできる環境を提供しています。

MistralはスパースMoEアプローチを活用し、特定のタスクに最適化された強力な専門モデルの組み合わせを提供することを目指しています。ウェブサイトでMistralは、「各レイヤーの各トークンに対して、ルーターネットワークがこれらの『エキスパート』のうちの2つを選択し、その出力を加算的に結合します。この方法により、モデルパラメータの数が増えつつ、トークンごとに総パラメータの一部だけがアクティブになるため、コストとレイテンシが管理されます」と説明しています。

以前、同社はMixtral 8x7Bを発表しました。このモデルは46.7億の総パラメータを持ちつつ、トークンあたりのアクティブパラメータは12.9億に留まり、12.9億モデルと同じ速度・コストで入力処理と出力生成を実現しています。最新のリリースでは、Redditの議論によれば、合計で130億のパラメータがあり、同時に2つのエキスパートがアクティブになると仮定すると、38億のアクティブパラメータがトークン生成に関与することになります。

Mixtral 8x22Bのベンチマークでの実際のパフォーマンスはまだ確定していませんが、高い期待が寄せられています。ユーザーたちは、このモデルがMixtralの成功を基にさらに発展し、MetaのLlama 2 70BやOpenAIのGPT-3.5をGSM-8KやMMLUなど多くのベンチマークで上回り、より速い推論時間を提供することを信じています。

コヒアのCommand R+がHuggingChatに登場：最新のAIチャットテクノロジーを体験しよう

インターコムが発表したFin AIコパイロット：カスタマーサービスエージェントのためのパーソナルAIアシスタント

Most people like

Shakker

1.2M

技術と創造性が交差する時代において、人工知能（AI）は私たちの画像の創造と操作の方法を革新しています。写真の補正から美しいアートワークの生成まで、AIツールはアーティストやデザイナーに想像力の限界を押し広げる力を与えています。AIがイメージに与える変革の力を探る中で、視覚コンテンツ制作の未来を形作る革新的な技術や応用について考察します。AIが単なるツールではなく、創造的表現の触媒であることを発見するこの旅に、ぜひご参加ください。

シャッカー AI Photo & Image Generator

CodeStory

17.8K

CodeStoryは、開発者のためにコーディングタスクを簡素化する革新的なAI駆動のエディターです。その知的な機能により、CodeStoryは生産性を向上させ、プログラマーがより効率的にコーディングできるようサポートします。

AI駆動の Writing Assistants

Thetawise

395K

AIを活用した数学チュータリングの利点を発見しよう。この革新的なアプローチは、数学の学習と理解を向上させるために設計されています。高度な技術を駆使することで、これらのインテリジェントなシステムは、個々の学習スタイルやペースに応じたパーソナライズされたサポートを提供します。代数、幾何学、または高度な微積分に苦しんでいる場合でも、AI数学チューターは教育体験を変革し、より効率的で効果的にします。より良い数学スキルのために、AI駆動のソリューションで学びの未来を受け入れよう！

数学指導 AI Education Assistant

Crafter.ai Platform

5.6K

AIチャットボットの力を引き出すことで、個別化された対話体験を通じてインタラクションを変革できます。先進技術を活用したこれらのチャットボットは、ユーザーとの効果的なエンゲージメントを実現し、コミュニケーションを向上させる個別対応を提供します。AIチャットボットを戦略に取り入れることで、顧客満足度を高め、有意義なつながりを促進する方法を探ってみましょう。

AIチャットボット AI Chatbot

Find AI tools in YBX