随着企业纷纷采用生成性人工智能（AI），对大型语言模型（LLM）准确性和安全性的担忧可能会阻碍它们的广泛应用。为了解决这些问题，总部位于旧金山的初创公司Patronus AI最近获得了1700万美元A轮融资，计划自动识别大规模LLM错误，避免高昂的代价和潜在的危险。
本轮融资使Patronus AI的总投资达到2000万美元，由Notable Capital的Glenn Solomon领导，此外还有Lightspeed Venture Partners、前DoorDash高管Gokul Rajaram、Factorial Capital、Datadog和若干未公开的科技领袖参与。
Patronus AI由前Meta机器学习专家Anand Kannappan和Rebecca Qian创立，开发了一种创新的自动评估平台，旨在检测LLM输出中的问题，例如幻觉、版权侵权和安全风险。该平台利用专有的人工智能技术，评估模型性能，利用对抗性示例进行压力测试，并进行详细基准测试，所有这些都无需企业通常需要的人工干预。
Patronus AI的首席执行官Kannappan表示：“我们的产品能够识别多种错误，包括幻觉、版权问题及安全相关风险，同时还具备维护品牌风格和语调的特定能力。”
强大的LLM如OpenAI的GPT-4和Meta的Llama 3的出现，在硅谷引发了一场科技竞争，旨在利用这一技术的生成能力。然而，这股兴奋伴随着显著的模型失败，从CNET的错误百出的AI生成文章，到药物发现公司因LLM不准确而撤回研究论文，这些现象凸显了当前LLM内在的系统性问题，正是Patronus AI希望解决的。
他们的研究，包括最近推出的“CopyrightCatcher”API和“FinanceBench”基准，揭示了领先模型在提供准确、基于事实的答案方面的严重不足。在“FinanceBench”基准测试中，Patronus评估了诸如GPT-4等模型在使用公开的SEC文件处理财务问题时的表现。结果显示，即便是表现最好的模型，准确回答问题的比例也仅为19%。
Qian，Patronus的首席技术官，指出：“即便是最先进的模型在金融场景中的表现也仅达到90%。我们的发现显示，在高风险领域，开源模型产生的安全响应超过20%。版权侵权问题同样令人担忧，大型出版商和媒体公司必须保持警惕。”
尽管其他初创公司如Credo AI和Weights & Biases正在开发LLM评估工具，Patronus凭借研究至上的方法脱颖而出。他们的核心技术涉及训练专用的评估模型，以识别LLM可能失败的具体场景。
Kannappan坚定地表示：“没有其他公司能与我们的研究深度和技术相媲美。我们的战略独特，根植于评估模型的训练、前沿对齐技术的开发和研究的发布。”
Patronus AI已在汽车、教育、金融和软件等多个行业的财富500强企业中取得了显著进展，帮助它们安全地实施LLM。随着新资金的注入，Patronus计划扩展其研究、工程和销售团队，并开发更多基准。
如果Patronus实现其愿景，自动化的LLM评估将成为企业的必要工具，类似于安全审计在加速云采用中的作用。Qian设想了一个未来：与Patronus测试模型的过程将成为常规，类似于代码的单元测试。
她解释道：“我们的平台适用于各个领域，从法律到医疗保健。我们旨在帮助各行业的企业利用LLM，同时确保符合他们的特定要求。”
尽管由于LLM的黑箱特性和广泛的输出可能性，验证其性能面临挑战，Patronus依然致力于推进人工智能评估技术。通过推动自动化测试的边界，他们的目标是在实际应用中促进LLM的负责任部署。
Kannappan承认：“自动化LLM性能测量具有挑战性，因为这些生成模型可能展现多种行为。然而，我们基于研究的方法使我们能够可靠且可扩展地识别出手动测试无法发现的错误。”
排行榜
