科莱纳推出创新平台,专为AI模型及其定制变体进行测试

确保企业中AI模型的安全部署

对于希望在运营中实施AI模型的企业—无论是针对员工还是客户—最紧迫的问题不仅在于选择哪种模型或其用途,更在于确定何时可以安全地部署所选模型。这就涉及到多少后端测试是必需的? 应进行哪些类型的测试? 企业自然希望避免像一些汽车经销商使用ChatGPT进行客户支持时那样出现意外情况,用户利用系统漏洞让其同意以1美元出售汽车。

全面测试的重要性

对AI模型进行适当测试,尤其是经过精细调整的版本,可能决定产品发布的成功与否,也关乎公司的声誉和财务状况。位于旧金山的初创公司Kolena,由一名前亚马逊高级工程经理共同创立,最近推出了其AI质量平台。这款网络应用旨在帮助快速、准确地测试和验证AI系统。

该平台具备多种功能,包括数据质量监控、模型测试、A/B测试,以及监测数据漂移和模型随时间退化的能力,还提供调试功能。

“解决这个问题对推动企业AI技术的采用至关重要,”Kolena联合创始人兼首席执行官穆罕默德·埃尔根迪在一次独家媒体采访中表示。埃尔根迪曾在乐天担任工程副总裁,并在亚马逊担任高级工程经理,拥有丰富经验,他对企业在AI部署中面临的挑战有深入的了解。

Kolena的AI质量平台如何运作

Kolena的解决方案旨在帮助软件开发人员和IT人员创建安全、可靠和公平的AI系统,以应对现实应用。通过从数据集中快速开发详细测试用例,该平台支持对AI/ML模型进行严格的现实场景检验,超越了可能掩盖关键性能洞察的广泛统计指标。

每位Kolena客户通过API连接其选择的模型,同时提供自己的数据集和操作需求—无论是文本、图像、代码、音频或其他内容。客户还可以评估诸如偏见以及不同年龄、种族和民族的多样性等属性。Kolena通过模拟数百或数千次交互进行测试,以识别任何不良结果,包括这些结果的发生频率和出现的情况。

此外,Kolena在模型更新、再培训或由提供者或客户进行调整后会重新进行测试。

埃尔根迪表示:“系统将进行测试,精准定位模型退化的具体位置。Kolena将测试转变为一种精确的工程学科,类似于软件开发。”

这种能力不仅对企业有价值,也对AI模型提供者至关重要。例如,埃尔根迪提到,谷歌的Gemini由于生成不准确的图像而受到 scrutinize,如能在发布前使用Kolena的平台进行严格测试,将大有裨益。

发布前的广泛测试

为了实现其目标,Kolena确保在更广泛发布之前,对其AI质量平台进行全面测试。在过去24个月中,公司与《财富》500强企业及初创公司进行闭门测试,并根据用户反馈和需求不断完善平台。

“我们与一组精选客户紧密合作,界定已知和未知的挑战,”埃尔根迪解释道。此小组对AI模型进行了“数万次”测试,充分利用Kolena的平台。

展望未来,Kolena希望在三个关键领域与客户开展合作:1. AI基础模型的构建者,2. 科技行业的买家,3. 非科技行业的买家。例如,一位合作伙伴利用大型语言模型解决方案提升快餐车道的运营效率,而另一位则针对无人驾驶汽车开发者。

定价与可获取性

Kolena的AI质量平台采用软件即服务(SaaS)模式,设有三个定价层级,随着公司的AI发展从初步数据质量评估到模型训练及最终部署逐步扩展。

Most people like

Find AI tools in YBX

Related Articles
Refresh Articles