Reka是一家位于旧金山的人工智能初创公司,由DeepMind、Google和Meta的研究人员创立。该公司推出了其最新的多模态语言模型——Reka Core,被誉为“最大和最强大”的模型之一,采用数千个GPU从零开始训练。
Reka Core现已通过API、现场部署和设备本地选项提供。这是公司语言模型系列的第三款产品,能够理解文本、图像、音频和视频等多种模态。令人印象深刻的是,尽管训练时间不到一年,Reka Core的表现已与OpenAI、Google和Anthropic等行业巨头相媲美。
“在短时间内训练出高性能模型的能力,使我们与众不同,”联合创始人兼首席执行官Dani Yogatama在采访中表示。
Reka Core已在Netflix的《三体》上进行测试,成功将屏幕动作转换为文本。首席科学家兼联合创始人Yi Tay提到,模型的开发过程中使用了“数千个H100”。虽然与OpenAI的GPT-4和Anthropic的Claude 3 Opus等领先模型竞争并不容易,但Tay对Core的不断提升充满信心。
Reka Core的优势
尽管尚未公布Reka Core的具体参数数目,但它被描述为“非常大的模型”,前一个版本Reka Flash包含210亿个参数。该模型使用多种数据源进行训练,包括许可的、公开的和合成的文本、音频、视频和图像数据。
这种广泛的训练使Reka Core能够在多个领域(如数学和编程)中作出准确反应,展现出卓越的推理能力。它支持32种语言,具有128,000个标记的广泛上下文窗口,适合处理长文档。Yogatama提到,Core是继Google的Gemini Ultra之后,第二个能够涵盖所有模态并提供高质量输出的模型。
在性能测试中,Reka Core在视频感知方面超越了Gemini Ultra,得分为59.3,而Gemini Ultra为54.3。在图像任务的MMMU基准中,其得分为56.3,仅次于GPT-4(56.8)、Claude 3 Opus(59.4)和Gemini Ultra(59.4)。相较之下,Elon Musk的xAI的Grok模型得分仅为53.6。
独立评估将Reka Core的多模态性能评为第二名。Core在各项基准测试中与主要模型的表现持平或优于它们。在MMLU知识测试中,其得分为83.2,仅次于GPT-4、Claude 3 Opus和Gemini Ultra。此外,它在推理和编码任务中的得分分别为92.2和76.8,超越了GPT-4。
公司为了迅速达成如此表现,采取了逆向开发的方法。他们没有按照传统的模型训练方式,而是设定具体的性能目标,并逆向推算所需的数据量和GPU配置。
合作伙伴关系与未来规划
Reka专注于多模态能力和具有竞争力的定价——输入标记收费10美元,每百万输出标记收费25美元。Reka希望在电子商务、游戏、医疗和机器人等领域探索多种用例。相比之下,OpenAI的GPT-4 Turbo对于输入标记相同收费,但输出标记费用为30美元。
尽管仍处于早期阶段,Reka正积极挑战OpenAI、Anthropic和Google的市场主导地位。该初创公司已与行业合作伙伴展开合作,例如,Snowflake最近将Reka Core和Flash集成到其Cortex服务中,开发语言模型应用。同时与甲骨文和新加坡人工智能联合体的合作也在进行中。
Yogatama提到,自Reka首款模型(Flash和Edge)推出以来,企业对其表现出强烈兴趣,客户需求日益增长。有关更多合作伙伴关系的细节预计将很快公布。
在第一年专注于市场推广后,Reka计划在提升产品质量的同时扩大业务规模。团队致力于持续提高Core的性能,同时开发下一版本。
尽管技术不断进步,Yogatama明确表示公司暂无开源技术的计划,他虽然支持开源原则,但强调需平衡共享内容,以确保可持续的商业增长。
Reka Core的竞争前景
随着Reka Core在激烈的人工智能竞争中崭露头角,展示出与领先模型竞争的潜力,未来前景令人期待。