在2024年的VB Transform大会上,IBM的David Cox强调了开放创新在企业生成式人工智能(AI)中的重要性,充分展现了公司对开源技术的长期承诺。作为AI模型副总裁及麻省理工学院-IBM沃森AI实验室主任,Cox提出了一个挑战与启发并存的愿景。
Cox表示:“开放创新是人类进步的本质”,并强调了这一概念对于技术发展的重要性。他指出,当前AI发展的时机至关重要:“我们必须决定投资方向,避免被锁定在某一技术之中。”
Cox质疑人们对AI开放性的简单二元化看法,强调:“开放不仅仅是一个概念,它包含了多种意义。”他提到,来自各个来源(包括科技巨头、大学和政府)的开放模型正在形成新生态。
然而,他对许多大型语言模型(LLM)开放性质量表示担忧。他警告道:“在某些情况下,你只得到了一个数字集合,却不知道它是如何生成的。”这种缺乏透明度的现象使得可重复性变得复杂,破坏了基本的开源原则。
Cox以传统的开源软件为例,强调了其成功的特征:频繁更新、结构化发布周期、安全补丁和活跃的社区贡献。“一切都定义清楚,使得企业和更广泛的社区能够进行渐进式贡献,”他指出。
他批评了当前开放LLM的状态,表示:“尽管令人印象深刻,但它们往往缺乏核心的开源特质。”Cox提到一些提供商的不一致发布日程,有些模型在首次发布后甚至不再更新。他认为这种不一致性削弱了开源的真正本质,并限制了AI领域的社区驱动创新。
Cox强调了IBM通过Granite系列开源AI模型所展现的透明度承诺。他表示:“我们披露有关模型的所有信息”,并强调他们已将所有处理代码开源,以确保质量和可接受内容审核。
Cox认为,这种开放程度并不会妨碍性能。他展示了Granite模型的基准测试结果,声称:“不必为了优越的性能而牺牲透明度。”
他提供了一个新视角,将LLM视为数据表示,而不仅仅是对话工具。Cox表示,随着预测表明LLM将很快囊括几乎所有公开可用数据,企业的专有知识在这些模型中却大多未得到体现。
为了解决这个问题,他提出了一个使命:将企业数据纳入基础模型,以充分挖掘其潜力。尽管存在检索增强生成(RAG)等技术,Cox认为它们往往未能有效利用独特的企业知识和专有信息。
Cox为企业提出了一种三步走的方法:确定可信的开放基本模型、创建业务数据的新表示形式,以及部署和扩展以创造价值。他强调,在选择基本模型时,尤其在受监管行业中,透明度至关重要,许多模型提供商并未披露他们使用的数据。
挑战在于如何有效地将专有数据与基础模型结合。Cox指出,所选的基础模型必须具备高性能、透明性和开源特性,以便为企业提供必要的控制权和灵活性。
为实现他的愿景,Cox推出了InstructLab,这是IBM与Red Hat联合发起的项目,旨在将企业知识整合进AI模型中。“InstructLab使LLM的真正开源贡献成为可能,”他解释道。
该项目采用了结构化的知识与技能分类法,允许用户精确提升模型性能。这种结构化的方法有助于整合企业特定的见解,降低领域专家自定义模型的门槛。
InstructLab通过一个“教师”模型生成合成训练数据,无缝地将专有数据与基础模型结合,同时保持性能。值得注意的是,它将模型更新周期缩短至一天,与传统的漫长发布周期形成鲜明对比。
Cox的洞察和IBM的InstructLab标志着企业AI采用的转变,从通用模型向反映每家公司独特专长的定制解决方案迈进。随着技术的发展,竞争优势可能会依赖于有效地将机构知识转化为AI驱动的洞见。AI的下一个篇章不再仅仅是更聪明的机器,而是能够与用户一样深入理解业务的机器。