尽管Meta的Llama 3迅速成为最受欢迎的大型语言模型之一,OpenAI作为生成AI的先锋,正通过推出新的企业级功能来增强其竞争优势,特别是在其GPT-4 Turbo LLM及其他模型中。
OpenAI近期宣布,针对API客户扩展了面向企业的功能,丰富了其助理API,并引入新工具,以增强安全性、管理控制和成本管理。
OpenAI API产品负责人Olivier Godement在最近的媒体采访中表示:“在与开发者和企业讨论AI模型的实际应用时,OpenAI仍然处于领先地位。我们欢迎竞争,这可以推动大家的改进。”
私有链接与增强安全功能
一个关键的安全增强是引入私有链接,这为微软的Azure云服务与OpenAI之间的安全通信提供了支持,减少了API查询中客户数据暴露于开放互联网的风险。
OpenAI的安全框架还包括SOC 2 II级认证、单点登录(SSO)、休眠状态下的AES-256数据加密、传输中的TLS 1.2加密以及基于角色的访问控制。此外,OpenAI还实施了原生的多因素认证(MFA),以加强访问控制,满足日益严峻的合规要求。
对于需要遵循HIPAA合规的医疗机构,OpenAI提供业务伙伴协议,以及对符合条件的API客户实施零数据保存政策。
升级的助理API以增强文件管理
OpenAI的一项重要企业功能是其助理API,现已升级,以增强文件检索能力,新增的“file_search”功能能够管理多达10,000个文件,较之前的20个文件限制提升了500倍。此升级还包括并行查询、改进的重新排序和查询重写等功能。
OpenAI还为实时对话回应引入了流式处理能力,使GPT-4 Turbo等模型可以在生成令牌时立即输出,而不是等待完整回应。API现在包括新的“vector_store”对象,以改善文件管理,并提供详细的令牌使用控制,帮助管理成本。
项目功能以定制访问控制
新推出的项目功能使组织能够在项目级别管理角色和API密钥。这使得企业客户可以设置权限,控制模型可用性,并设定使用限制,以避免意外成本,简化项目管理。
例如,企业内部不同团队可以在各自的项目中使用特定的AI模型,而无须担心数据混合。OpenAI的Miqdad Jaffer解释道:“项目功能使您能够将资源和成员隔离到个别项目中,从而提供独特的报告和更好的访问、安全和成本控制。”
可扩展的AI操作成本管理功能
OpenAI还推出了新的成本管理功能,帮助组织高效扩展AI操作。这些功能包括对持续令牌使用的折扣以及通过新的批处理API对异步工作负载的50%成本降低,后者承诺更快的响应时间和更高的速率限制。
使用批处理API时,客户必须将令牌以单一请求提交,结果通常在24小时内交付,不过OpenAI表示对于不需即时反馈的请求,响应时间可快至10-20分钟。
随着OpenAI不断加强其在企业级安全、管理控制和成本管理方面的功能更新,旨在为企业提供更顺畅的体验,直接应对Llama 3以及竞争对手如Mistral的开源模型,这些可能需要企业额外的设置努力。