Snorkel AI宣布Snorkel Flow平台重大更新
Snorkel AI是一家源自斯坦福人工智能实验室的初创公司,近日对其旗舰产品Snorkel Flow进行了重大升级。该平台集成了谷歌的Gemini AI模型家族和Meta的新款Llama 3,提供数据标注、过滤、整理和AI微调的全面解决方案。
自2022年3月推出以来,Snorkel Flow旨在简化企业定制AI解决方案的开发和部署,允许组织自动标注、注释和整理结构化和非结构化文档,使其成为各类AI应用的可靠信息来源。
Snorkel AI的联合创始人兼首席执行官亚历克斯·拉特纳(Alex Ratner)在接受媒体采访时表示:“企业面临着基于互联网通用数据训练的现成大型语言模型(LLMs)的挑战,这些模型无法满足组织的具体需求。Snorkel Flow填补了这一空白,有效支持数据标注和开发。”
例如,如果一家公司希望建立一个可以提供内部政策信息的员工聊天机器人,Snorkel Flow可以确保相关文档得到准确标注,以便于检索。同样,创建客户服务聊天机器人的企业也可以微调模型,以识别特定的产品名称。
拉特纳解释道,Snorkel AI专注于“AI数据开发”,涵盖数据标注、数据整理及数据集的优化。他强调:“尽管云服务提供商提供API进行模型微调,但他们并不支持为这些API准备数据这一关键任务,而这往往是最具挑战性的部分。”
在推出时,Snorkel Flow提供了程序化数据标注和协作AI开发等功能,已经为纪念斯隆-凯特琳癌症中心和Chubb等企业带来了显著好处。这些组织报告称,AI模型的准确性和效率提升了10到100倍。此外,Snorkel还帮助大型银行自动化监管合规数据标注,将人工工作量从六个月缩减至仅24小时。
随着基础LLMs(如Llama 3等强大的开源模型)的普及,数据标注和整理的速度与准确性已成为微调AI模型的重要因素,拉特纳指出。
更新后的Snorkel Flow新功能
Snorkel Flow平台的更新使用户能够利用由Snorkel AI组织和标注的企业数据,作为与谷歌Gemini和Llama 3兼容的可靠信息源。新集成的Databricks Unity Catalog、Vertex AI和Microsoft Azure Machine Learning进一步提升了企业数据的组织和访问控制。
此外,Snorkel Flow现在支持对多模态数据(包括图像)的程序化标注,提供全面的AI洞察方法。Wayfair已从图像数据标注功能中获益,目标是将标注周期从几个月缩短到几天。
增强的安全功能
Snorkel引入了基于角色的访问控制(RBAC),为账户管理员提供更细致的数据访问和使用控制。管理员可以管理谁可以上传数据和访问连接服务,类似于OpenAI的新项目功能,但增加了跨多个供应商的多个模型控制访问的灵活性。
此外,Snorkel Flow支持基础模型的本地和隔离访问,增强了合规性和数据安全性。这次更新与Snorkel最近推出的企业AI加速器—Snorkel Custom相辅相成,帮助组织完成AI模型评估、调优和优化的各个阶段。
从演示到实际价值
总体而言,Snorkel旨在通过优化数据以微调模型和开发基于AI的应用程序,帮助企业有效利用生成式AI。拉特纳表示:“从视觉吸引的AI演示到提供实际生产价值,压力巨大。”
目前,Snorkel Flow和Snorkel Custom均已正式上线,定价根据具体用例而定。