位於舊金山的初創企業Writer成立於2020年,於2023年9月成功籌集了一億美元,旨在擴展其專有的大型語言模型(LLMs)以滿足企業需求。儘管Writer尚不及OpenAI、Anthropic或Meta等巨頭聞名,但其內部開發的模型——Palmyra,正在開創一個特色利基。像Accenture、Vanguard、HubSpot和Pinterest等知名企業均利用Writer基於這些模型的創意與生產力平台。
最近,斯坦福大學人工智慧研究所的基礎模型研究中心推出了一種名為HELM Lite的新基準指標,這個指標強調了上下文學習,讓LLMs能從推理過程中提供的小範例學習任務。值得注意的是,儘管GPT-4在此基準中遙遙領先,但Writer的Palmyra X V2和X V3模型的表現“意外”優異,名列前茅,根據該中心主任Percy Liang的說法,這些模型的規模相對較小。
在機器翻譯領域,Palmyra表現突出,位列頂尖。首席執行官May Habib在LinkedIn上指出這一成功,表示:“Palmyra X在經典基準測試中表現超過預期,在MMLU中獲得了總體第一,以及在新的翻譯測試中名列前茅。”
Habib強調,企業在實施像GPT-4這樣的較大模型時面臨的經濟挑戰,因為GPT-4是基於1.2萬億個標記訓練的。她表示:“2024年的生成型AI應用需要具備經濟可行性”,並解釋道,企業通常難以承擔高昂的服務成本以及因模型精煉而變更的提示。她認為,史丹佛HAI的基準測試比Hugging Face等其他平台更準確地反映了真實的企業需求。
Writer最初針對市場團隊,其共同創辦人Habib和Waseem AlShikh曾管理一家自然語言處理和機器翻譯公司Qordoba。2023年初,Writer推出了Palmyra系列,包括128百萬至200億參數的模型,並推出了知識圖譜,協助企業將業務數據與Palmyra整合並自我託管模型。
Habib說:“我們提供全棧解決方案,將模型與內置的檢索增強生成(RAG)系統相結合。”這一創新解決了將數據傳送到嵌入模型並再次接收回來的低效問題。
儘管專家指出大型通用模型優於專業模型,Habib仍然主張與經過精心挑選的訓練數據搭配的小型模型。她指出,HELM Lite排行榜顯示醫療LLMs超越了GPT-4,並強調:“在推理和成本方面,企業從易於管理且更具經濟效益的專業模型中獲益。”