Ocient提升超大规模数据仓库能力，以支持更先进的机器学习技术

Home AI News CN Ocient提升超大规模数据仓库能力，以支持更先进的机器学习技术

Updated on 十二月 12 2023

在大数据的世界中，存在着更为庞大的数据——想象一下数万亿的数据行。总部位于芝加哥的Ocient处于这一领域的前沿，依托其尖端的超大规模数据仓库技术。

近日，Ocient发布了新的功能，进一步增强其超大规模数据平台，特别是在地理空间分析、机器学习（ML）和人工智能（AI）方面。新推出的OcientGeo功能包括一个全面的地理空间函数库和全球优化的空间索引，使企业能够高效地摄取和分析海量历史及实时地理空间数据，从而生成可操作的洞见。集成的机器学习工具则进一步加速了地理空间AI项目的推进。

Ocient凭借优化的存储和处理技术，满足了超大规模数据的需求，而无需依赖GPU。Ocient的首席执行官Chris Gladwin表示：“我们的关注点在于超大规模的工作负载。在Ocient的平均查询中，无论是SQL、机器学习还是地理空间分析，我们通常处理约一万亿个元素。”

超大规模数据分析：超越GPU的流处理

尽管许多组织通过GPU来优化性能，Ocient却采取了不同的策略。“我们成功的关键在于卓越的并行化水平，”Gladwin解释道。“在每个层级，常常会有超过一百万个并行任务在运行。”

为了在其数据仓库内实现广泛的并行化，Ocient强调流处理。Gladwin指出，在聚类、回归和分类等机器学习算法中，限制因素往往并不是CPU的计算能力，而是计算密度——特别是每TB数据所需的处理能力。

主要挑战在于确保计算堆栈（包括存储和内存）的充足吞吐量。这是Ocient技术创新的核心，公司专注于优化内存和快速固态硬盘（SSD）存储系统。Gladwin说道：“我们的工程师对GPU很赞赏——它们的确很出色，但我们并未感到必须使用它们。”

高效的机器学习：OcientML

Ocient的数据库最初侧重于SQL数据查询，而同样的架构优势也支持了OcientML和OcientGeo的快速分析。Gladwin强调，OcientML使客户能够在包含数十亿到数万亿数据点的数据集上执行机器学习，提供优于其他解决方案的性价比。诸如工作负载管理等功能确保各种超大规模查询和分析的资源公平访问。此外，OcientML集成于Ocient超大规模数据仓库中，消除了将数据提取、转换和加载至单独平台的需求。

OcientML的优势包括通过与历史和当前数据的全面交互提升模型准确性，借助消除不必要的数据移动加快迭代，以及通过在统一系统中管理SQL和机器学习来简化操作。

OcientGeo也采用了类似的方法，作为Ocient超大规模数据仓库的重要组成部分，充分利用平台的广泛并行化功能。使用OcientGeo，用户可直接在Ocient环境中对海量数据集进行地理空间查询与分析，无需大规模的数据提取。这一功能使得涉及数万亿数据点的地理空间查询能够在几秒钟内完成。

Gladwin最后总结道：“我们才刚刚开始探索这些新应用，这些应用只能通过将超大规模分析的价格和性能提升十倍或更多来实现。”

Lightning AI 发布灵感来源于 iPhone 设计原则的创新 AI 开发平台

BitHuman推出真实感AI代理，专为提升企业解决方案而设计