谷歌发布Gemini 1.5 Flash和Pro版本,公众使用可达200万令牌限制

谷歌云推出了其旗舰AI模型的两个版本:Gemini 1.5 Flash和Gemini 1.5 Pro。Gemini 1.5 Flash是一种紧凑的多模态模型,具有100万个令牌的上下文窗口,专为高频任务设计。该模型首次在5月的Google I/O大会上发布,现在已向开发者开放。更强大的Gemini 1.5 Pro于2月推出,拥有200万个令牌的上下文窗口,是谷歌迄今为止最先进的大型语言模型(LLM)。

这两个Gemini版本的发布展示了谷歌的AI技术如何帮助企业创建创新的AI代理和解决方案。在最近的一次新闻发布会上,谷歌云CEO托马斯·库里安强调了生成式AI采纳的“惊人势头”,指出包括埃森哲、空客和高盛在内的大型组织正在谷歌平台上构建解决方案。库里安将这一增长归功于谷歌模型与Vertex平台的强大功能,承诺这两个领域都将迅速发展。

Gemini 1.5 Flash

Gemini 1.5 Flash为开发者提供了更低的延迟、经济的价格和适合零售聊天代理及文档处理的上下文窗口。谷歌声称,当处理10,000个字符的输入时,Gemini 1.5 Flash的平均处理速度比GPT-3.5 Turbo快40%。此外,其输入成本比OpenAI的模型低四倍,并支持超过32,000个字符的输入上下文缓存。

Gemini 1.5 Pro

Gemini 1.5 Pro具备独特的200万个令牌上下文窗口,能够分析更多文本并生成全面的回复。库里安解释说,这意味着用户可以输入大量内容,例如两小时的高清晰度视频或超过60,000行代码,而无需将内容拆分为较小的部分。许多公司已发现这一模型的增强处理能力带来了显著价值。

库里安进一步根据用户需求区分了这两种模型:Gemini 1.5 Pro非常适合处理冗长内容,而Flash更适合低延迟应用。

Gemini 1.5的上下文缓存

为帮助开发者充分利用Gemini的上下文窗口,谷歌推出了上下文缓存功能,目前已在两个模型中进行公开预览。此功能允许模型存储和重用之前处理的信息,从而显著降低计算成本,减少多达75%的重复计算需求,特别是对于长对话或文档。

Gemini的预置吞吐量

新推出的预置吞吐量功能使开发者能够高效地管理Gemini模型的查询处理能力。这一选项在可靠性和可预测性方面优于之前的按需付费模型。库里安指出,预置吞吐量允许客户预留推理能力,确保在高需求峰值(如大型活动期间社交媒体平台的流量激增)时依然能够保持稳定性能。

预置吞吐量现已全面推出,为开发者提供了更大的生产工作负载控制能力和服务水平保证,确保响应时间和正常运行时间的一致性。

Most people like

Find AI tools in YBX