Sakana AI 使用進化演算法揭示生成模型的創新架構

Home AI新聞 Sakana AI 使用進化演算法揭示生成模型的創新架構

東京創業的初創公司Sakana AI開發了一項名為「進化模型合併」的革新技術，自動化生成模型的創建。此方法受到自然選擇的啟發，通過結合現有模型的元素，產生更先進的版本。

Sakana AI於2023年8月由知名AI研究者共同創立，包括前Google專家David Ha和Llion Jones——《Attention Is All You Need》的共同作者——該公司致力於推動生成AI的創新。

革新模型開發

Sakana的進化模型合併技術使開發者和組織能以具成本效益的方式創建和探索新模型，無需昂貴的專屬模型訓練和微調。該初創公司最近推出了使用這一創新技術開發的大型語言模型（LLMs）和視覺語言模型（VLMs）。

理解模型合併

訓練生成模型通常費用高昂且複雜。然而，隨著開放模型如Llama 2和Mistral的出現，開發者正在利用模型合併技術，將兩個或多個預訓練模型的各種組件結合，形成新模型。這種方法使新合併的模型能夠繼承前身的優勢，而無需額外訓練，從而成為一種經濟實惠的選擇。許多在Open LLM排行榜上排名前列的模型現在都是流行基礎模型的合併變體。

Sakana AI的研究者表示：「一個充滿活力的研究者、駭客和藝術家社群正在通過微調和合併現有模型積極開發新的基礎模型。」在Hugging Face上擁有超過50萬個模型的情況下，模型合併提供了創建創新解決方案的廣泛機會，雖然這需要相當的直覺和領域知識。

介紹進化模型合併

Sakana AI的目標是通過系統化的方法優化模型合併過程。利用模仿自然選擇的進化算法——一種優化技術，進化模型合併識別出結合不同模型的最佳方法。David Ha強調：「從多樣的現有模型中進化出新模型的能力具有重要意義。」面對基礎模型訓練資源需求上升，這一進化方法可能對尋求迅速開發原型模型的機構或政府而言尤為有利。

進化模型合併自動運行，評估現有模型的層次和權重，創建符合用戶需求的新架構。

展示進化合併

為了探索這一方法的潛力，Sakana AI的研究者應用進化模型合併創建了一個能進行數學推理的日本大型語言模型（LLM）和一個日本視覺語言模型（VLM）。所產生的模型在多項基準測試上表現優異，無需明確的優化。例如，他們的EvoLLM-JP——一個擁有70億參數的日本數學LLM，甚至超越了一些擁有700億參數的競爭對手。

在日本VLM方面，團隊將LLaVa-1.6-Mistral-7B與Shisa-Gamma 7B合併，得出了EvoVLM-JP，該模型超越了LLaVa-1.6-Mistral-7B及現有的JSVLM。這兩個模型均可在Hugging Face和GitHub上獲得。Sakana AI也在將其進化合併方法應用於圖像生成擴散模型，旨在提升Stable Diffusion XL在日本提示下的表現。

Sakana AI的願景

由David Ha和Llion Jones創立的Sakana AI，旨在利用自然啟發的概念，如進化和集體智慧，創造基礎AI模型。團隊認為，未來的AI不會圍繞一個單一、全面的系統，而是一個針對不同細分領域的專業AI系統網絡，這些系統將合作與進化以滿足多樣的需求。

Standard AI 轉型至零售業的計算機視覺分析，估值達到15億美元

探索 Cisco Webex 中的人工智慧功能如何識別聯絡中心員工的倦怠現象

Most people like

Artificial Ignorance

7.9K

《AI 洞察》 by Charlie Guo：這是一份專門為創始人和創新者探索人工智能而設的綜合性通訊。深入探索最新的趨勢、工具和策略，提升您的人工智能之旅！

AI 通訊電子報 Other

EssayGrade.ai

15.3K

利用 AI 解決方案提升評分效率在當今快速變化的教育環境中，善用 AI 技術能顯著簡化評分過程。透過自動化繁瑣的任務並確保評估的一致性，AI 工具不僅能為教育工作者節省珍貴的時間，還能提高評估的準確性。了解將 AI 整合進您的評分系統如何徹底改變教師和學生的教育體驗。

人工智慧工具 AI Detector

roomdesigner.ai

15.5K

介紹 roomdesigner.ai，一個直觀的 AI 驅動平台，旨在簡化房間設計過程。憑藉尖端技術輕鬆轉變您的空間，讓您能夠輕鬆創造出驚豔的室內設計。

其他 AI Interior & Room Design

ContentStudio

333.9K

在當今的數位環境中，有效的社交媒體管理對於希望提升線上存在感的企業至關重要。一個統一的社交媒體管理平台使品牌能夠整合其社交媒體活動，確保在各個渠道與受眾之間進行無縫互動。通過利用先進的工具和洞察，企業可以優化其策略，增強溝通，並推動可衡量的成果。了解這樣的平台如何變革您的社交媒體策略，並提升品牌在競爭環境中的能見度。

社交媒體管理 AI Content Generator

Find AI tools in YBX