Meta公司的生成式人工智能工程总监谢尔盖·艾杜诺夫（Sergey Edunov）最近给出了一个令人惊讶的估算：为了满足未来一年对人工智能应用不断增长的需求，只需要两座新的核电站。
在我主持的硅谷数字工作者论坛小组讨论中，艾杜诺夫提到，他负责培训Meta的Llama 2开源基础模型。他表示，这样的电力供应足以支持人类在一年内的人工智能需求。针对关于全球是否有能力满足生成式人工智能日益增长的电力需求的担忧，他表示：“我们绝对可以解决这个问题。”
艾杜诺夫承认他的估算基于粗略计算，但他认为这对人工智能的“推理”所需的电力提供了合理的估计。推理是指人工智能在经过广泛训练后，对查询进行响应或给出建议的处理过程。
推理的电力需求在控制之中
艾杜诺夫区分了推理和训练的电力需求。他解释说，推理将在组织部署人工智能应用时占据大部分处理能力。他对推理所需电力的计算包括了Nvidia预计明年发布的一到两百万个H100 GPU。如果这些GPU被充分利用，为平均大小的语言模型（LLMs）生成标记，这将相当于每个地球人每天约产生100,000个标记，这是一个相当可观的数量。
标记是LLMs用于处理和生成语言的基本文本单元。这些计算所需的能量是巨大的；每个H100 GPU的功耗约为700瓦。考虑到数据中心和冷却所需的额外能源，艾杜诺夫将该数字统一为每个GPU1千瓦。最终，他得出结论认为，仅需两座核反应堆即可有效为所有GPU供电。他指出，“从人类规模来看，这并非太多”，暗示社会可以合理支持每人每天100,000个标记。
训练生成式人工智能：数据挑战
相比之下，艾杜诺夫强调训练LLMs面临的另一个挑战是获取足够的数据。他估算，尽管整个公开互联网大约由100万亿个标记组成，但在清理和去重后，这一数字会显著减少，可能降至10到20万亿个标记。尤其是，如果高质量数据被优先考虑，能够获得的标记数量将更少。他表示，下一代模型可能需要比以往多一个数量级的数据。例如，GPT-4的训练需要20万亿个标记，而下一代模型可能需要约200万亿个标记，这种数据可能并不容易获得。
艾杜诺夫指出，研究人员正在探索利用小型数据集提高模型学习效率的技术，同时挖掘多模态输入等替代数据源（包括视频）。
小组讨论：数据资源与技术洞见
在以“生成标记：生成式人工智能时代的电力”为主题的小组讨论中，艾杜诺夫与Nvidia生成式人工智能总监尼克·斯皮林（Nik Spirin）和谷歌生成式人工智能解决方案架构负责人凯文·蔡（Kevin Tsai）共同参与。斯皮林对此表示赞同，指出除了公共互联网外，还有其他数据资源，即使获取受限。
斯皮林主张，需要强大的开源基础模型，以减少独立努力所产生的计算冗余。这种协作方式可以利用预训练模型，使组织能够专注于开发智能的下游应用。
蔡则提到，几种新兴技术，如检索增强生成（RAG），可以减轻训练负担，同时提高模型性能。他认为，协作倡议可以导致在不同应用之间灵活适用的模型，这对可持续性至关重要。
对LLM发展的未来预测
在小组讨论结束时，我邀请与会者分享他们对未来两到三年内LLM进展的预测。他们一致认为，尽管LLM改进的确切轨迹尚不确定，但其所提供的巨大价值已然显现，预计将在两年内得到广泛应用。
艾杜诺夫预测，我们将在三到四年内清楚人工通用智能（AGI）的可行性。斯皮林借鉴过去的技术趋势，建议公司在采用人工智能技术时可能会谨慎行事，但在两年内很有可能显现出显著价值。
蔡指出，Nvidia对高带宽内存的依赖导致供应链挑战，将成为模型增强的关键瓶颈。然而，他对Salesforce的Blib-2项目表示乐观，该项目旨在创建更小、更高效的模型，可能会绕过目前的限制。
排行榜
