Kolena lanza una plataforma innovadora para probar modelos de IA y variantes personalizadas.

Asegurando el Despliegue Seguro de Modelos de IA en Empresas

Para las empresas que buscan implementar modelos de IA en sus operaciones—ya sea para empleados o clientes—la pregunta más urgente no es solo qué modelo elegir o para qué se utilizará, sino cuándo es seguro desplegar el modelo seleccionado.

¿Cuánto testing en el backend es necesario? ¿Qué tipos de pruebas se deben realizar? Es comprensible que las empresas quieran evitar contratiempos, como los experimentados por algunos concesionarios que utilizaron ChatGPT para atención al cliente, donde los usuarios engañaron al sistema para que aceptara vender coches a $1.

La Importancia de Pruebas Exhaustivas

Realizar pruebas adecuadas de modelos de IA, especialmente de versiones finamente ajustadas, puede marcar la diferencia entre un lanzamiento exitoso y uno que ponga en riesgo la reputación y finanzas de una empresa. Kolena, una startup con sede en San Francisco cofundada por un exgerente de ingeniería senior de Amazon, anunció recientemente el lanzamiento de su Plataforma de Calidad de IA. Esta aplicación web está diseñada para facilitar pruebas y validaciones rápidas y precisas de sistemas de IA.

La plataforma incluye funciones diversas como monitoreo de calidad de datos, pruebas de modelo, pruebas A/B y vigilancia de la deriva de datos y degradación del modelo a lo largo del tiempo, además de capacidades de depuración.

“Resolver este problema es esencial para avanzar en la adopción de la IA en las empresas,” comentó Mohamed Elgendy, cofundador y CEO de Kolena, en una entrevista exclusiva. Elgendy aporta una experiencia valiosa de sus roles anteriores como VP de Ingeniería en Rakuten y gerente de ingeniería senior en Amazon, lo que le brinda una visión clara de los desafíos que enfrentan las empresas en el despliegue de IA.

Cómo Funciona la Plataforma de Calidad de IA de Kolena

La solución de Kolena está diseñada para ayudar a desarrolladores de software y personal de TI a crear sistemas de IA seguros, confiables y equitativos para aplicaciones del mundo real. Al permitir el desarrollo rápido de casos de prueba detallados a partir de conjuntos de datos, la plataforma facilita el examen riguroso de modelos de IA/ML en escenarios realistas, superando métricas estadísticas amplias que pueden ocultar conocimientos críticos sobre el rendimiento.

Cada cliente de Kolena conecta su modelo seleccionado a través de una API y proporciona su propio conjunto de datos junto con los requisitos funcionales para las operaciones del modelo—ya sea texto, imágenes, código, audio u otro contenido. Los clientes también pueden evaluar atributos como sesgo y diversidad en edad, raza y etnicidad entre diversas métricas. Kolena realiza pruebas simulando cientos o miles de interacciones para identificar resultados indeseables, incluyendo la frecuencia y las circunstancias bajo las cuales ocurren.

Además, Kolena re-prueba los modelos tras actualizaciones, reentrenamientos o ajustes realizados por proveedores o clientes.

“Elgendy explica: ‘Realizará pruebas y señalará exactamente dónde se ha degradado su modelo. Kolena convierte las pruebas en una disciplina de ingeniería precisa, similar al desarrollo de software’.”

Esta capacidad es valiosa no solo para las empresas, sino también para los proveedores de modelos de IA. Por ejemplo, Elgendy mencionó que Gemini de Google, que enfrentó críticas por generar imágenes inexactas, podría haber beneficiado de las rigurosas pruebas proporcionadas por la plataforma de Kolena antes de su lanzamiento.

Pruebas Extensas Antes del Lanzamiento

En línea con sus ambiciones, Kolena asegura pruebas exhaustivas de su Plataforma de Calidad de IA antes de un lanzamiento más amplio. La empresa ha estado realizando pruebas beta cerradas con empresas de Fortune 500 y startups durante los últimos 24 meses, refinando su plataforma según los comentarios y necesidades de los usuarios.

“Trabajamos de cerca con un grupo selecto de clientes para definir tanto desafíos conocidos como desconocidos,” explicó Elgendy. Este grupo ha ejecutado colectivamente "decenas de miles" de pruebas en modelos de IA utilizando la plataforma de Kolena.

De cara al futuro, Kolena busca involucrar a los clientes en tres áreas clave: 1. Creadores de modelos de fundación de IA, 2. Compradores dentro del sector tecnológico, y 3. Compradores de industrias no tecnológicas. Por ejemplo, un socio está utilizando una solución de modelo de lenguaje grande para mejorar las operaciones de autoservicio en restaurantes de comida rápida, mientras que otro se dirige a desarrolladores de vehículos autónomos.

Precios y Accesibilidad

La Plataforma de Calidad de IA de Kolena opera bajo un modelo de software como servicio (SaaS), con tres niveles de precios que escalan con el crecimiento en la IA de una empresa, desde evaluaciones iniciales de calidad de datos hasta el entrenamiento de modelos y su eventual despliegue.