Meta・ギャラクティカ著者が語る、モデルの挑戦的なローンチ体験

Home AIニュース Meta・ギャラクティカ著者が語る、モデルの挑戦的なローンチ体験

約1年前、OpenAIがChatGPTを発表する直前に、Metaは独自の大規模言語モデル「Galactica」をリリースしました。このモデルは大きな波紋を呼び、発表から数日後には撤回されました。最近、元著者の一人がこのプロジェクトの波乱に満ちた経過についての洞察を共有しました。

機械学習の研究論文を集約するプラットフォーム「Papers with Code」の共同創設者であるロス・テイラー氏は、Galacticaの開発において重要な役割を果たしました。このモデルは、科学文献を基に訓練されていますが、デモ版では実在しない論文の引用を生成するなどの深刻な問題が発生しました。

テイラー氏は、元Twitter（現在のX）での素直な投稿の中で、チームの課題を振り返り、「十分な品質チェックを行わずにデモをリリースしたため、当初の状況を見失ってしまった」と認めました。批判が予想されたものの、作業の過密さが集中力を欠かせたことを明かしました。

Galacticaは、GoogleのPaLMやDeepMindのChinchillaと比較しても強力な性能を持っていましたが、デモの影響でその能力が軽視されてしまいました。テイラー氏は、デモの意図は大規模言語モデルに対する科学的な質問をテストすることだったと説明しました。しかし、記者たちがモデルを本来の範囲を超えて試す傾向があることを「もっと注意すべきだった」と認めました。

興味深いことに、彼は多くのユーザーがGalacticaを完成した製品と見なしていたため、反発の一因となったと述べています。「私たちのビジョンをサイトに掲示したことで、期待を誤解させてしまった」と彼は指摘しました。テイラー氏は、議論が和らげられた可能性があったものの、「偽の科学」を生み出すというGalacticaの懸念は過大評価だったと考えています。

当時、マックス・プランク研究所のマイケル・ブラック氏のような著名な人物が「Galacticaが深刻な科学的虚偽を助長する恐れがある」と警鐘を鳴らしました。また、統一モデリング言語の主要開発者であるグレイディ・ブーチ氏は、モデルを「単なる大量の統計的ナンセンス」と批判しました。それに対し、テイラー氏は多くの批判を「本当に馬鹿げている」と一蹴し、計画を立てていればより成功した起案ができたと言いました。

振り返ると、研究やデモをリリースする決定についてテイラー氏は今も変わらず支持し、業界の大手によるオープンネスの表れと考えています。「この前例のないオープンさは、暴露された脆弱性を考慮すると誤ったものでした」と認めました。Metaのオープンソースアプローチは、その後のLLaMAやその進化版Llama 2の開発に繋がり、Galacticaからの洞察がこれらのモデルに生かされました。

最後に、テイラー氏は同じプロジェクトをもう一度やる意欲を示し、「何もせずに後悔するより、何かをして後悔するほうが良い」と語りました。この経験は痛みを伴うものですが、学んだ教訓は非常に貴重だと強調しました。

AIニュースまとめ：英秋予算でAIコンピューティングに6.2億ドルを割り当て

LangChainのDreamを紹介：ノーコードAIツールで簡単なウェブアプリ開発を実現する

Most people like

lipsyncer.ai

17K

Introducing a cutting-edge platform designed for creating captivating AI-generated lip sync videos. Streamline your content creation process and engage your audience like never before with our intuitive tools and technology. Whether you're a content creator, marketer, or simply looking to have fun, our platform empowers you to produce high-quality lip sync videos effortlessly. Dive in and unleash your creativity today!

リップシンク動画 AI Lip Sync Generator

Hug AI

5.7K

Introducing an innovative AI tool that transforms your cherished photos into heartwarming hug videos. This easy-to-use platform brings your memories to life, allowing you to express love and support in a unique way through personalized visual storytelling. Create touching hug videos effortlessly and share joy with your loved ones!

AIビデオジェネレーター AI Photo & Image Generator

Validator AI

21.5K

Introducing Validator AI, a powerful platform designed to assist entrepreneurs by offering immediate support and constructive feedback on their business ideas. With Validator AI, turning your concepts into thriving ventures has never been easier!

スタートアップバリデーター AI Tools Directory

Creator Tools Translator

18K

Effortlessly translate captions and descriptions in YouTube Studio into over 140 languages, saving time while significantly expanding your video's global reach.

YouTubeローカリゼーション AI YouTube Assistant

Find AI tools in YBX