ガラクティカの教訓：ChatGPTのわずか2週間前に登場した運命に見舞われたモデルからMetaが得た発見

Home AIニュースガラクティカの教訓：ChatGPTのわずか2週間前に登場した運命に見舞われたモデルからMetaが得た発見

一年前のこと、OpenAIがChatGPTを発表するわずか2週間前に、MetaはGalacticaというオープンソースの「科学のための大規模言語モデル」を発表しました。このモデルは4800万の科学論文を基に訓練されており、MetaはGalacticaが学術文献の要約、数学の問題解決、Wiki記事の生成、科学コードの作成、分子やタンパク質の注釈付けを行えると主張していました。

しかし、Galacticaは、誤った情報や時には不適切な出力による公衆の反発を受けて、2022年11月17日の発表からわずか3日後に使用停止に追い込まれました。この現象は後に「ハルシネーション」として知られるようになります。批評家たちは、Galacticaが根拠のない但し説得力のある応答を生成する傾向に驚きを隠せませんでした。

それにもかかわらず、Metaの最高科学者ヤン・ルカンは「もうカジュアルにミスユースして楽しむことはできない。幸せ？」とSNSでGalacticaを擁護しました。しかし、このモデルは変革的な生成AIに対する期待には応えられませんでした。

その2週間後、ChatGPTが登場し、同じ週にはNeurIPS会議に参加していたAI研究者たちの間でGPT-4の噂が広まりました。11月30日、OpenAIはGPT-4の代わりにChatGPTを発表し、AIの風景における画期的な瞬間を迎えました。

ChatGPTもまた、誤情報を生成するハルシネーションの問題を抱えており、OpenAIはその限界を立ち上げのブログで認め、「解決は難しい」と述べました。それにもかかわらず、ChatGPTは急激に成長し、わずか2ヶ月で推定1億人の月間ユーザーを達成しました。現在では週に1億人のユーザーを誇っています。

Galacticaの教訓は今も重要視されています。MetaのAIリサーチ副社長ジョエル・ピノーは「多くの有益な教訓が得られた...モデルを求めるリクエストがたくさんある」と語り、Galacticaは常に研究プロジェクトとして意図されていたと明かしました。「期待と現実のギャップは大きすぎた」とピノーは振り返り、科学文献に特化していたため、Galacticaのハルシネーション率は他のモデルよりも低かったことを指摘しました。

反発を受けてMetaはGalacticaのデモを撤回し、責任ある使用ガイドが欠如していたことを認め、以降のリリースにはこの実践が適用されています。ピノーは、もし再度行うなら、観客の期待をより適切に管理するだろうとしています。「Galacticaからの教訓は、次世代モデルに統合されています。」

次世代モデルには、2023年2月に注目を集めたMetaの大型言語モデルLlamaが含まれ、続いて7月に商業用のLlama 2、8月にCode Llamaが登場しました。Llamaは、初の主要な無料オープンソースLLMとなり、今も続くAIコミュニティ内での大きな議論を引き起こしました。

Llamaが2月24日に発表された際、Metaは慎重でした。ルカンは「Metaはオープンリサーチにコミットし、すべてのモデルをGPL v3ライセンス下で研究コミュニティにリリースします」と強調しました。しかし、研究者はLlamaへのアクセスを得るためにフォームに記入する必要がありました。これはGalacticaに関する反発に起因する予防策でした。ルカンは「Galacticaの後、人々は私たちが社会の基盤を脅かしていると非難しました」と説明しています。

[編集者の注: リリースの1週間後、Llamaのモデルウェイトがオンラインで漏洩しました。]

ロボティクスの革新：タンジェラムビジョンのAI駆動3Dセンサーがコンピュータビジョンを変革する方法

デルとHugging Faceが提携して大規模言語モデルの導入を簡素化