OpenAI推出了一种新工具，称为MLE-bench，用于评估人工智能在机器学习工程中的能力。该基准测试将人工智能系统与Kaggle上的75个真实数据科学竞赛进行对比，Kaggle是一个领先的机器学习竞赛平台。
随着科技公司寻求开发更先进的人工智能系统，MLE-bench的评估超越了计算能力和模式识别，它还考察人工智能是否能够在复杂的机器学习工程领域中进行策略制定、故障排除和创新。
MLE-bench利用人工智能代理应对Kaggle风格的竞赛，模拟人类数据科学家的工作流程，从模型训练到提交生成。这些代理的表现随后与人类基准进行比较。
人工智能在Kaggle竞赛中的表现：进展与挑战
MLE-bench的结果突出显示了当前人工智能技术的进步与局限。OpenAI最先进的模型o1-preview结合AIDE框架，在16.9%的竞赛中表现出色，获得了奖牌级别的成绩，表明人工智能在某些情况下能够与优秀的人类数据科学家竞争。
然而，人工智能与人类专业知识之间仍然存在显著差距。尽管人工智能模型能够有效应用标准技术，但在需要适应性和创造性解决问题的任务上往往表现不佳，这进一步强调了人类洞察力在数据科学中的重要性。
机器学习工程涉及设计和优化系统，使人工智能能够从数据中学习。MLE-bench评估了该过程的多个方面，包括数据准备、模型选择和性能调优。
不同的机器学习任务策略
对三种人工智能代理策略的比较——MLAB ResearchAgent、OpenHands和AIDE——展示了应对复杂数据科学挑战的不同方法和执行时间。其中，AIDE框架的运行时间为24小时，显示出更全面的问题解决能力。
人工智能对数据科学和行业的影响
MLE-bench的意义超越了学术研究。开发能够独立处理复杂任务的人工智能系统可能会加速各行业的研究和产品开发。然而，这一进展也引发了关于人类数据科学家角色演变及人工智能快速发展的质疑。
通过将MLE-bench开源，OpenAI促进了对这一基准的广泛审查和利用，这可能帮助建立标准化方法，用于评估机器学习工程中人工智能的进展，影响未来的发展和安全措施。
评估人工智能在机器学习中的进展
随着人工智能系统在专业任务上逐渐接近人类水平，MLE-bench等基准提供了评估进展的重要指标。它们为夸大人工智能能力的声称提供了现实检验，呈现出当今的优势和劣势的明确可测数据。
人工智能与人类协作的未来
增强人工智能能力的倡议正在获得关注。MLE-bench为数据科学和机器学习的进展提供了新的视角。随着人工智能的不断进步，与人类专家的合作将可能拓宽机器学习应用的范围。
尽管该基准展现出令人鼓舞的成果，但它同样表明，人工智能在复制经验丰富的数据科学家的细微决策和创造力方面还有很长的路要走。当前的挑战在于弥合这一差距，并确定如何最佳地将人工智能能力与人类专业知识结合，使机器学习工程达到新的高度。
排行榜
