媒体AI影响之旅近期造访旧金山,重点探讨生成性AI的实际应用及其部署的复杂性。媒体公司首席执行官马特·马歇尔主持了这一讨论,与数据科技公司首席产品官艾德·安纳夫、智源健康首席转型官妮可·考夫曼,以及Skypoint首席执行官提森·马修等行业领袖探讨。
这一对话对企业从探索生成性AI向成熟实施的过渡至关重要。企业已不再仅仅依赖ChatGPT等工具进行简单实验,而是开始面对关键问题:我们如何有效利用这一技术,并将其与核心业务数据集成,以便在生产环境中使用?
“我们正在见证AI成熟度模型的崛起,”安纳夫指出。“组织从追求快速胜利的一次性项目,转向由业务领袖主导的重大AI倡议,专注于高影响和高可见的部署。这些努力可能需要更长时间才能开发,但其变革潜力是显著的。”
生成性AI可以广泛应用于各类用例,从后台操作到面向公众的网站和移动应用。虽然企业仍可能提到“聊天机器人”或“对话界面”等术语,但最终目标是创建能够在适当上下文中实现互动数据检索的知识应用。主要决策是选择内部开发这些解决方案,还是利用现成产品。
前期考量
在客户支持或财务分析方面,许多组织希望利用生成性AI创建能够从内部数据中获取洞察的应用。安纳夫解释说:“根据数据量和定制界面的具体需求,现成解决方案可能会非常有效。亚马逊等公司提供的平台,可以让您上传文档以获得即时的聊天机器人响应,使得实施过程简单快捷。”
然而,随着企业将重心从小型后台应用扩展到与核心业务功能相关的关键用例,特别是面向外部的应用,基本解决方案可能无法满足需求。安纳夫提到医疗行业的应用程序需要与数据源实时连接,根据更新的患者信息提供准确响应。他还提到亚太地区金融机构的AI助手,能直接访问基于实时数据的聊天式财务规划。
“那是一个与核心数据相连接的定制AI RAG(检索增强生成)应用,”他强调道。“像家得宝和百思买这样的大型零售商,投入专用的网络工程团队来开发符合其品牌和业务操作的定制体验。”
评估准备度与成本
随着组织超越创意阶段,他们面临两个主要挑战:相关性和成本。
“相关性成为数据领域一项新的关键指标,”安纳夫解释说。“组织需要评估其AI生成响应的适用性。相关性问题常常需要重新评估整个数据架构。”
这反过来又影响到第二个挑战——成本。提供相关且清洁的结果非常昂贵,组织还必须进一步评估在生产过程中扩展的相关成本。
“围绕这些问题的讨论可以真实评估团队在生产方面的准备情况,”他指出。“如果相关性仍然是个障碍,则表明团队已超越初始架构挑战,但在生产成本上面临新复杂性,这往往是相辅相成的。”
幻觉、数据与RAG的重要性
“幻觉”这一术语常用于描述AI响应不正确的情况。虽然这个通俗术语很有用,但并非每个错误响应都是幻觉;有些是训练数据中的错误。当大型语言模型超出其训练范围时,会生成模糊或误导性的内容,这导致幻觉的产生。安纳夫强调,针对这些问题有有效的解决方案,尤其是通过RAG。
RAG将知识检索与生成性AI相结合,使系统能够处理和整合来自内部知识库的数据,以自然语言提供上下文相关的响应,而非仅仅摘要信息。
“大型语言模型在两个方面表现出色,”安纳夫表示。“首先,它理解语言的细微差别。其次,它充当知识储存库。程序员可以通过限制响应的方式控制其固有知识的利用程度,这被称为‘接地’。这显著减少了幻觉的风险,使模型专注于相关数据。”
此外,安纳夫强调,RAG对于在推断期间安全、准确地将实时公司数据集成到模型中至关重要。
“虽然存在其它数据集成的方法,但它们通常缺乏安全性、实时性和可靠性,”他指出。“因此,无论我们是否将这种模型和数据库的耦合称为RAG,未来在行业中将仍然盛行。”