過去幾天,開源人工智慧社群經歷了一次旋風般的變化,甚至超乎其快速發展的標準。
事件時間表:
1月28日,一名用戶“Miqu Dev”在HuggingFace這一開源AI模型的主要平台上上傳了一系列檔案,推出了看似全新的大型語言模型(LLM)“miqu-1-70b”。該HuggingFace的條目在撰寫本文時仍然可見,顯示這款LLM使用了與巴黎知名AI公司Mistral的Mixtral 8x7b相同的提示格式。Mixtral被許多人視為目前表現最佳的開源LLM,精細調整自Meta的Llama 2。
病毒式發現:
同一天,一名匿名用戶在4chan上(可能是“Miqu Dev”)分享了miqu-1-70b檔案的連結。隨著關注度的提升,X(前身為Twitter)的用戶開始討論該模型在常見LLM任務上的出色表現,基準測試顯示其表現與OpenAI的GPT-4在EQ-Bench上相媲美。
社群反應:
機器學習研究者們在LinkedIn上紛紛表達好奇。JP Morgan & Chase的ML科學家Maxime Labonne質疑“Miqu”是否代表“MIstral QUantized”。他指出:“多虧了@152334H,我們現在擁有一個未量化的miqu版本,”暗示未來精細調整的迭代版本可能在性能上優於GPT-4。量化是一種技術,通過簡化其架構中的複雜數字序列,使AI模型能在較低效能的硬體上運行。
猜測與確認:
由於Mistral公司對發布更新的謹慎行事,推測“Miqu”可能是新洩露的Mistral模型。Mistral的共同創辦人兼CEO Arthur Mensch在X上確認了這一理論,宣布一名早期訪問客戶的過於熱心的員工洩露了該公司公開訓練的舊模型的量化版本。Mensch解釋道:“我們在獲取叢集的當天重訓了這個模型,基於Llama 2。”
Mensch並未要求HuggingFace移除該帖子,而是對發布者建議考慮適當的署名。
對AI領域的影響:
Mensch提醒大家“敬請期待!”暗示Mistral正在開發一個可能挑戰GPT-4的“Miqu”模型版本。這可能成為開源生成AI及整個AI領域的一個關鍵時刻。自2023年3月推出以來,GPT-4已被認為是最先進的LLM,甚至超越了Google長期期待的Gemini模型。
如出現類似GPT-4的開源模型,將對OpenAI施加重大競爭壓力,尤其是隨著企業愈發尋求結合開源與專有元素的模型。儘管OpenAI可能依然在其更快的GPT-4 Turbo和GPT-4V(視覺)上保持優勢,開源AI社群正在迅速縮小差距。懸而未決的問題是:OpenAI的領先優勢和獨特產品是否足以讓其在LLM的前端保持領導地位?