Meta的先進大型語言模型Llama 2的開源發布，受到開發者和研究人員的高度讚譽，尤其是在可獲取性方面。該模型啟發了多個AI系統的開發，包括Vicuna、Alpaca，以及Meta自家的Llama 2 Long。然而，操作Llama 2的成本往往比使用專有替代方案要高得多。有報導指出，許多初創公司在使用Llama 2時，運營成本比OpenAI的GPT-3.5 Turbo高出50%到100%，雖然尖端的GPT-4更為昂貴。這兩個強大的語言模型都是ChatGPT的基礎。
在某些情況下，成本差異可驚人。聊天機器人初創公司Cypher的創始人在八月份使用Llama 2進行測試，花費高達1,200美元，而在GPT-3.5 Turbo上的相同測試則僅花費5美元。最近，OpenAI推出了一個新型更經濟的模型GPT-4 Turbo，每100個輸入標記僅需一美分，且其成本僅為之前8K版本的三分之一。在他們的DevDay活動中，OpenAI還向每位與會者贈送了500美元的API免費信用，鼓勵開發者探索新模型。儘管Llama 2為用戶提供了開放訪問，但運營成本的巨大差異可能使公司對其採用持保留態度。
了解成本差距
開源模型高昂運營成本的一個關鍵因素在於公司使用的基礎設施。OpenAI能夠高效地處理數百萬次請求，通過將請求進行批量處理來實現對高性能晶片的即時操作。相比之下，像Cypher這樣依賴開源模型並通過雲供應商租用專用伺服器的初創公司，可能未能產生足夠的流量以獲得類似的效率，這限制了他們充分發揮伺服器功能的能力。
開源大型語言模型的運營成本會因具體任務、請求量和所需定制程度的不同而出現顯著波動。對於像摘要這樣的簡單任務，成本保持相對較低，而更複雜的功能則可能需要更大的投資。AI和數據分析的首席分析師Bradley Shimmin指出，OpenAI的成本管理策略缺乏透明度。他表示：“OpenAI可能受益於規模經濟，而這對於嘗試在AWS或Azure等雲平台上托管大型模型的小公司而言是不可及的。”
資源的不匹配
根據Permutable.ai最近的分析，使用OpenAI技術的運營成本估計約為每年100萬美元，這是使用內部模型的20倍。Permutable.ai的首席執行官Wilson Chan將使用ChatGPT進行小任務比作用“大錘砸堅果” ——有效但過於強力。他警告道，對於日常任務，重型模型所需的計算和財務資源未必合適，強調需將AI模型的能力與實際需求對應，以確保成本效益。
探索成本結構
大型語言模型的運營費用因其大小而異。Llama 2提供了多個配置，其中最大版本擁有700億個參數。較大的模型需要龐大的計算能力來進行訓練和執行，但它們通常能提供更好的性能。Iris.ai的首席技術官兼聯合創始人Victor Botev指出，可以通過量子化等技術來優化參數以降低運營成本。雖然這可以降低費用，但可能會影響回應質量，因此必須根據用戶需求謹慎考量。
對於本地部署，參數少於1000億的模型至多需要一台DGX盒子，其成本約為20萬元。運行Llama 2的年度硬體花費可達約6.5萬美元。在雲環境中，運營成本則依據模型大小而異。對於少於150億參數的模型，月費約為1,000美元，年費約為12,000美元；而70億參數的模型，每月成本約1,500美元，年費約18,000美元。
大多數模型在未進行調整之前通常無法滿足公司的質量標準，需要進行不同的微調技術。提示調整是成本最低的方法，價格介於10到1,000美元之間，而指令調整的成本則在100到10,000美元之間。微調改變模型的基本屬性，具有不確定性，小型模型（1-5億參數）的平均成本約為10萬美元，而較大配置的微調費用往往達到數百萬。
向小型模型的轉變
基於以上考量，為特定應用而出現的小型且更具成本效益的模型，提供了有希望的替代方案。擁有70億和130億參數的Llama 2變體已經上市，像微軟的Phi 1.5和EleutherAI的Pythia-1b等創新模型也正逐漸受到重視。然而，Omdia首席分析師Lian Jye Su指出，開源選項往往不便宜，特別是在需求定制或增強功能時。此外，儘管所有OpenAI模型都是專有的，一些企業可能更願意避免通過授權或版稅來分享收益，因此將模型成本置於次要地位。
StrikeReady的首席產品官Anurag Gurtu強調，初創公司必須在模型成本與潛在回報之間取得平衡。“AI模型能夠促進創新，提升用戶體驗和優化運營。隨著進展，更高效的模型和經濟實惠解決方案的出現將使初創公司和開發者更易於使用AI，”他預測。
計算資源的獲取
另一影響運營成本的重要因素是對硬體的獲取。目前競爭激烈的市場上，公司渴望部署AI技術，亟需強大的計算資源。然而，需求已超過供給。作為市場領導者，Nvidia最近報導其GPU的需求非常旺盛，第二季度的交付量創下新高。隨著競爭對手如AMD和Intel逐步推出自己的AI晶片，對於可靠計算能力的需求變得至關重要。
隨著硬件供應受到限制，公司可能會面臨為滿足計算需求而導致的成本上漲。來自Hugging Face、NexGen Cloud和AWS等供應商的可租用GPU已經出現，但像Llama 2這樣的模型對計算資源的需求極其強勁。Ashurst的首席數字官和合夥人Tara Waters指出，公共模型的消費型定價可能會阻止一些初創公司在潛在客戶購買前進行探索和試用。雖然開源模型的可用性可以緩解一些挑戰，但也帶來了新的障礙，如需具備適合的基礎設施以有效托管和部署這些模型。
隨著市場環境不斷變化，正在出現創新的策略來管理AI模型的消耗和成本。探索提示工程而不進行模型托管，或開發中介解決方案以簡化重複查詢的資源分配，展示了在當前AI生態系統中所需的創新智慧。
排行榜
