Goodfire成功获得700万美元资金,用于开发受“脑外科手术”技术启发的创新AI可观测性平台

Goodfire获得700万美元资金,以提升AI模型可解释性

Goodfire是一家专注于提高生成式AI模型可观察性的初创公司,成功融资700万美元,种子轮由Lightspeed Venture Partners领投,Menlo Ventures、South Park Commons、Work-Bench、Juniper Ventures、Mythos Ventures、Bluebirds Capital及多位知名天使投资人也参与了投资。

解决“黑箱”难题

随着生成式AI模型(如大型语言模型LLMs)复杂度的增加,参数量已达数百亿,它们的运作却愈加不透明。这种“黑箱”特性给开发者和企业带来了重大障碍,影响其安全可靠地部署AI。

根据麦肯锡的一项调查,44%的商业领袖表示意外的模型行为对他们的业务产生了负面影响。Goodfire致力于通过一种称为“机械可解释性”的创新方法,深入研究AI模型在细微层面上是如何推理和做出决策的,以此来应对这些挑战。

优化模型行为

Goodfire的创新工具使得理解和调整AI模型行为变得更加简便。首席执行官兼联合创始人Eric Ho阐述了公司的愿景:“我们的工具使生成式AI模型的黑箱变得透明,提供人类可读的接口,清晰化模型输出背后的决策过程。开发者可以访问模型的内部运作,调整不同概念的权重,从而影响模型的决策。”

Ho将这一过程比作对AI模型进行神经外科手术,几个关键步骤如下:

1. 映射大脑:“就像神经科学家使用成像技术研究人脑一样,我们运用可解释性技术来识别哪些组件与具体任务、概念和结果对应。”

2. 可视化行为:“一旦大脑映射完成,我们提供工具帮助开发者轻松定位模型中的问题区域。”

3. 进行手术:“在了解模型的基础上,用户可以实施精确的更改,优化性能,类似于神经外科医生对特定脑区的微调。这样,用户可以提升模型能力,消除问题,并修正错误。”

这种深入的见解有望显著降低昂贵的再训练需求或试错式提示工程,从而简化AI开发过程。

组建高水平团队

Goodfire的团队由AI可解释性和初创公司扩展的专家组成:

- Eric Ho,首席执行官:曾创立RippleMatch,一家获得高盛支持的B轮AI招聘初创公司。

- Tom McGrath,首席科学家:曾是DeepMind的高级研究科学家,推动了机械可解释性团队的成立。

- Dan Balsam,首席技术官:联合创立RippleMatch,负责核心平台和机器学习工作。

可解释性专家Nick Cammarata曾在OpenAI工作,他强调了Goodfire使命的重要性:“前沿研究与可解释性方法的实际应用之间存在重大差距。Goodfire团队处于填补这一空白的理想位置。”

Lightspeed Venture Partners的合伙人Nnamdi Iregbulem对Goodfire的未来充满信心:“可解释性在AI开发中变得日益重要。Goodfire的工具将成为开发者与LLMs互动的基本资源。我们很高兴能在这一AI领域支持Goodfire。”

未来愿景

Goodfire计划利用这笔资金扩展其工程和研究团队,同时优化其核心技术。公司旨在支持最先进的开源权重模型,增强模型编辑能力,并创建直观的用户界面以便于与模型内部进行交互。

作为一家公共利益公司,Goodfire致力于推动对高级AI系统的理解。通过提高AI模型的可解释性和可编辑性,公司期望促进更安全、可靠和有益的AI技术的发展。

Goodfire目前正在寻找“具有使命感且思想深邃的个人”加入团队,共同推动AI可解释性的演进。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles