Updated on 二月 5 2024
语言模型是强大的工具，能够生成自然语言，应用于多种任务，如摘要、翻译、回答问题和写作。然而，训练和运行这些模型的成本往往很高，尤其是在需要高精度和低延迟的专业领域中。
苹果公司最新的人工智能研究为这个问题提供了解决方案。该公司的新论文《基于有限领域数据的低成本专业语言模型推理》提出了一种经济高效的人工智能开发策略，使得技术更易于被以前因费用高昂而受阻的企业所采用。
该研究引起了广泛关注，甚至被Hugging Face的《每日论文》选中，标志着人工智能项目财务格局的重大变化。研究人员识别了四个关键成本领域：预训练预算、专业化预算、推理预算和领域内训练集的规模。他们认为，仔细管理这些费用可以创造出高效且经济的人工智能模型。
开创低成本语言处理
团队指出，“大型语言模型具有通用性，但在没有相应的推理预算和广泛的领域内训练集的情况下，应用起来十分困难。”为了解决这个问题，他们提出了两条主要路径：对拥有丰裕预训练预算的项目使用超网络和专家混合模型，而对财务条件紧张的环境，则建议使用小型、选择性训练的模型。
研究评估了包括超网络、专家混合、重要性采样和蒸馏等多种机器学习方法，涉及生物医学、法律和新闻三个领域。结果表明，模型性能因背景差异而异。例如，超网络和专家混合在较大的预训练预算下表现更佳，而在关键采样的数据集上训练的小型模型则对那些有限预算的领域尤为有利。
论文还提供了实用指南，帮助从业者根据领域和预算选择最佳方法。作者强调，他们的研究可提升语言模型在更广泛应用中的可达性和实用性。
用预算友好的模型颠覆行业
该研究为不断增长的低成本和高效语言模型研究提供了有力支持。例如，Hugging Face最近与谷歌合作，促进特定领域和语言的专业语言模型的用户友好创建与共享。
虽然对后续任务的进一步评估仍然必要，但该研究突出了大规模重新训练AI模型与适应较小高效模型之间的权衡。通过合适的技术，这两种策略都可以实现精准的结果。总之，研究总结道，最有效的语言模型不一定是最大的，而是最适合其特定应用的模型。
Find AI tools in YBX
Pure Storage与Nvidia在GTC大会上推出AI基础设施解决方案，旨在简化企业AI部署，解决数据环境分散的问题。合作提供了经过验证的参考架构和灵活存储选项，特别针对金融行业推出定制解决方案，同时关注节能和可持续性。
排行榜
