生成型人工智能有潜力显著提高人类的生产力,但目前只有少数组织具备开发和训练基础模型所需的专业知识和资源。这一挑战主要体现在两个方面:首先,由于内容所有者对知识产权的严格保护,获取必要的训练数据变得越来越困难;其次,训练模型所需的财务资源可能高得令人望而却步。然而,使生成型人工智能技术广泛可用所带来的社会效益是巨大的。
那么,小型企业或个人开发者如何将生成型人工智能整合到他们的应用中呢?解决方案在于创建和部署现有基础模型的定制版本。由于开发新生成型人工智能模型的投入巨大,这些模型必须能够适应多种应用,就像当前基于GPT模型的多种用法一样。然而,通用模型可能无法充分满足不同行业的特定需求。在小众应用中使用大规模通用模型,往往会导致计算资源、时间和能量的浪费。
因此,大多数企业和开发者从大型生成型人工智能模型入手,并根据具体需求进行适配,是更为明智的选择。这种方法还利用可用的CPU或人工智能加速器,避开了GPU短缺问题,提高了基础设施的灵活性。关键在于专注于特定用例,缩小项目范围,同时通过开放标准的软件和广泛可用的硬件优化灵活性。
以用例为基础的人工智能应用开发
在软件开发中,用例定义了目标用户的特征、待解决的问题以及应用如何实现这一目标。这一定义决定了产品需求、影响软件架构,并为产品生命周期提供了路线图。最重要的是,它明确了项目的范围外内容。
对于生成型人工智能项目,确立用例可以缩小模型的规模,降低计算需求和能耗,同时通过专注于特定数据集提高准确性。这种针对性的方法将降低开发成本和工作量。
确立生成型人工智能用例的因素因项目而异,但一些指导性问题能够提供帮助:
- 数据需求:需要什么类型和数量的训练数据?数据是结构化的(数据仓库)还是非结构化的(数据湖)?适用的限制有哪些?应用如何处理数据——通过批处理还是流处理?模型更新的频率如何?从零开始训练大型语言模型(LLM)耗时较长,因此如果实时信息对您的应用至关重要(例如医疗),可能需要其他方法确保数据的时效性。
- 模型需求:在选择合适的模型时,模型的大小、性能和结果的透明性是关键因素。LLM的性能可以从数十亿到数万亿参数不等,Meta的Llama 2提供从70亿到700亿参数的多个版本,而OpenAI的GPT-4据报道有1.76万亿参数。一般来说,更大的模型提供更高的性能,但更小的模型可能更符合您的需求。开源模型允许更深入的定制,而封闭模型则提供现成的解决方案和API访问。根据数据定制模型对于需要可追溯性的应用至关重要,例如为投资者生成财务报表摘要,而现成模型足以应对诸如生成广告文案等创造性任务。
- 应用需求:明确准确性、延迟、隐私和安全等标准。需支持多少并发用户?用户如何与应用互动?例如,您的模型是在低延迟的边缘设备上运行,还是在高容量的云环境中,这将显著影响实施决策。
- 计算需求:一旦上述因素明确,确定所需的计算资源。您是否需要通过Modin*并行数据处理?您的微调和推理需求是否需要混合云-边缘设置?即使您拥有从零开始开发生成型人工智能模型的人才和数据,也需评估您的预算是否支持所需的计算基础设施改造。
这些考虑因素将指导讨论,以确定和界定项目需求。财务方面——涵盖数据工程、初始开发费用及支持推理成本的商业模式——也会影响数据、训练和部署策略。
英特尔的生成型人工智能技术如何提供帮助
英特尔提供多样化计算需求的异构AI硬件解决方案。为了最大化您的硬件潜力,英特尔提供了优化版本的热门数据分析和端到端AI工具。最近,英特尔推出了一个优化模型,成为Hugging Face开放LLM排行榜上排名第一的7B参数模型(截至2023年11月)。这些资源以及英特尔AI开发者生态系统中的资源能够满足您对应用准确性、延迟和安全性的需求。我们建议从Hugging Face或GitHub上数百个适用于英特尔硬件的预训练模型开始,使用Intel工具如Modin进行数据预处理,利用Intel® Transformers扩展或Hugging Face Optimum微调基础模型,并通过SigOpt自动调整模型参数,这些优化均基于开源AI框架(如TensorFlow、PyTorch和DeepSpeed)所做的贡献。
生成型人工智能用例示例
1. 客户服务:聊天机器人用例
基于大型语言模型的聊天机器人通过即时回答常见问题,提高服务效率,使代表能够处理更复杂的问题。通用LLM能够以多种语言对话,但可能缺乏特定的业务知识,或者在没有实际依据的情况下“幻想”信息。微调会逐步更新模型,而像检索增强生成(RAG)这样的检索方法能够从基于业务特定文档的外部数据库中获取相关数据。这两种方法都能提供特定上下文的响应,并可以使用像Intel® Xeon®可扩展处理器这样的现成CPU。
2. 零售:虚拟试穿用例
生成型人工智能能够提供沉浸式的在线购物体验,例如虚拟试穿,提升客户满意度并优化供应链效率。这一应用基于图像生成,需专注于特定的服装系列。微调图像模型如Stable Diffusion可能仅需在CPU平台上处理有限数量的图像。为保护客户隐私,图像应本地存储,可能存放在消费者设备上。
3. 医疗:患者监测用例
将生成型人工智能与实时患者监测相结合,可以生成个性化的报告和行动计划。此用例要求多模态人工智能处理多种输入类型并生成报告。医疗模型的训练带来了隐私问题,患者数据需保留在提供者手中。联邦学习允许模型在本地训练而不转移敏感数据。虽然本地推理是理想的,但同时结合边缘和云的混合方案可能是必要的,可能需要优化技术。
如何开始
首先,使用上述指导性问题定义您的用例,以明确数据、计算、模型和应用需求。接下来,探索AI生态系统中可用的相关基础模型、参考实现和社区资源。确定并采用最适合您项目的微调和优化技术。
了解计算需求可能需要时间,并且这些需求通常会随项目进展而演变。英特尔®开发者云提供了多种CPU、GPU和人工智能加速器,助您在开始开发时提供支持。
最后,为了在开发和部署期间简化不同计算平台之间的过渡,请选择开放、标准化且能够在各种设备上实现最佳性能的AI工具和框架,而无需广泛重写代码。
了解更多内容:英特尔AI软件、英特尔开发者云、英特尔AI参考工具包、用于统一编程的一体化API
撰稿人: Jack Erickson,英特尔AI软件产品营销经理
撰稿人: Chandan Damannagari,英特尔AI软件总监