在當前的人工智慧競賽中，科技巨頭們競相開發越來越大型的語言模型，然而出現了一個顯著的趨勢：小型語言模型（SLMs）正成為新趨勢。隨著大型語言模型（LLMs）發展顯現出停滯的跡象，研究人員和開發者開始將注意力轉向小型語言模型。這些緊湊、高效且具適應性的模型正在重新定義人工智慧領域，挑戰「越大越好」的觀念。
LLMs 是否已經進入平臺期？
根據 Vellum 和 HuggingFace 的最新性能比較，LLMs 之間的差距正在縮小。這一點在多選題、推理和數學問題等任務中尤為明顯，主要模型之間的性能差異微乎其微。例如，在多選題中，Claude 3 Opus、GPT-4 和 Gemini Ultra 的得分均超過 83%；在推理任務中，Claude 3 Opus、GPT-4 和 Gemini 1.5 Pro 的準確度更是超過了 92%。
有趣的是，像 Mixtral 8x7B 和 Llama 2 – 70B 等較小模型在特定領域表現出色，甚至超越了一些較大的競爭對手。這表明，模型的架構、訓練數據和微調技術等因素可能在性能中扮演關鍵角色，挑戰了大小是主要決定因素的觀念。
前 Uber AI 負責人、著作《重啟人工智慧》的作者 Gary Marcus 指出，近期研究顯示模型性能正在趨於一致。他表示：「雖然一些新模型可能稍微超越 GPT-4，但在過去一年內並沒有顯著的進展。」
隨著性能差距持續縮小，是否 LLMS 確實進入了平臺期引起了質疑。如果這一趨勢持續下去，未來的 AI 開發可能會從單純擴大模型規模轉向探索更高效、更專業化的架構。
LLM 方法的缺點
儘管 LLMs 功能強大，但也存在顯著缺陷。訓練這些模型需要大量數據集和巨大的計算資源，使得過程極為資源密集。例如，OpenAI CEO Sam Altman 揭露，訓練 GPT-4 的成本至少高達 1 億美元。LLMs 的複雜性為開發者帶來了高學習曲線，造成易用性障礙。公司可能需要 90 天或更長時間才能部署一個單一的機器學習模型，這無疑減緩了創新進程。
另一個問題是 LLMs 常產生「幻覺」，創造出的輸出看似可信卻是虛假的。這一限制源於 LLMs 根據訓練模式預測詞語，缺乏真正的理解。因此，錯誤或不合邏輯的輸出可以信心十足地冒出，這在醫療和自駕車等高風險應用中尤其危險。
LLMs 的大規模和不透明性使得解釋和除錯變得複雜，而這對於確保輸出結果的信任度至關重要。此外，偏見的訓練數據可能導致有害結果，而旨在提高 LLMs 可靠性的努力卻也可能無意中降低其效果。
小型語言模型的崛起
小型語言模型（SLMs）提供了解決 LLMs 許多挑戰的方案。由於參數較少和設計簡單，SLMs 需要較少的數據和訓練時間，通常只需幾分鐘或幾小時，而 LLMs 則需要數天。這種效率使其更容易在較小的設備上實施。
SLMs 的一大優勢是其在特定應用中的適應性。它們可以針對情感分析或領域特定問答等領域進行微調，並相較於通用型模型表現出色。這種專業化提升了針對特定任務的效率。
此外，SLMs 還提供了增強的隱私和安全性。其較簡單的架構使得它們更容易進行審計，而且較不容易包含漏洞，這在醫療和金融等行業至關重要。減少的計算需求意味著 SLMs 可以在設備上本地運行，提升數據安全性並減少數據傳輸過程中的風險。
由於 SLMs 通常是在針對其應用的窄範圍數據集上訓練的，因此它們生成幻覺的可能性較小。這種專注降低了生成不相關輸出的機會，提高了可靠性。
HuggingFace 的 CEO Clem Delangue 建議，最多可達 99% 的用例可以有效地使用 SLMs，他預測 2024 年 SLMs 的採用將會激增。HuggingFace 已與 Google 合作，將其平台整合至 Google 的 Vertex AI，使數千個模型能快速部署。
Google 的 Gemma 計畫
在最初在 LLM 競賽中失去優勢後，Google 現在正積極追求 SLM 的發展。今年 2 月，Google 發佈了 Gemma，一系列旨在提升效率和用戶友好的小型語言模型。這些模型可以在智能手機和筆記本電腦等標準設備上運行，而無需大量資源。
自發布以來，Gemma 模型已在 HuggingFace 上被下載超過 40 萬次，激發了創新項目的開展。其中一個顯著的發展是 Cerule，一款強大的影像和語言模型，結合了 Gemma 2B 和 Google 的 SigLIP，能在無需大量數據的情況下表現出色。另一個例子是 CodeGemma，專門針對編碼和數學推理提供定制模型，適用於各種編程相關活動。
SLMs 的變革潛力
隨著人工智慧社群深入研究 SLMs 的優勢，更快速的開發周期、增強的效率和針對性的解決方案逐漸明朗。SLMs 有望民主化人工智慧的使用，並促進各行業的創新，從而實現成本效益高和針對性強的應用。
在邊緣部署 SLMs，讓即時、個性化及安全應用的可能性在金融、娛樂、汽車、教育、電子商務和醫療等領域中成為現實。通過本地處理數據，最小化對雲基礎設施的依賴，SLMs 提升了數據隱私並改善了用戶體驗。
面對計算需求和潛在性能平臺期的挑戰，SLMs 的崛起承諾將以令人印象深刻的速度推動人工智慧生態系統向前發展。
排行榜
