A medida que las empresas se apresuran a adoptar la inteligencia artificial generativa, las preocupaciones sobre la precisión y la seguridad de los modelos de lenguaje de gran tamaño (LLM) amenazan con obstaculizar su integración generalizada en las organizaciones. Patronus AI, una startup de San Francisco que recientemente aseguró 17 millones de dólares en financiamiento de la Serie A, se dedica a abordar estos desafíos al identificar automáticamente errores costosos y potencialmente peligrosos en los LLM a gran escala.
Esta ronda de financiamiento, que eleva la inversión total de Patronus AI a 20 millones de dólares, fue liderada por Glenn Solomon de Notable Capital, con contribuciones de Lightspeed Venture Partners, el exejecutivo de DoorDash Gokul Rajaram, Factorial Capital, Datadog, y varios líderes tecnológicos no revelados.
Fundada por expertos en aprendizaje automático de Meta, Anand Kannappan y Rebecca Qian, Patronus AI ha desarrollado una plataforma de evaluación automatizada innovadora diseñada para detectar problemas como alucinaciones, violaciones de derechos de autor y riesgos de seguridad en las salidas de los LLM. Utilizando inteligencia artificial propia, la plataforma evalúa el rendimiento de los modelos, los somete a pruebas de estrés con ejemplos adversariales y facilita un detallado análisis comparativo, todo sin el trabajo manual que normalmente requieren las empresas.
"Nuestro producto se destaca en la detección de una variedad de errores," afirmó Kannappan, CEO de Patronus AI. "Esto incluye alucinaciones, problemas de derechos de autor, riesgos relacionados con la seguridad y capacidades personalizadas para mantener el estilo y tono de una marca."
El surgimiento de potentes LLM como GPT-4 de OpenAI y Llama 3 de Meta ha desencadenado una competencia en Silicon Valley para aprovechar las capacidades generativas de esta tecnología. Sin embargo, junto con el entusiasmo también han surgido fracasos notables en los modelos, desde artículos generados por AI llenos de errores en CNET hasta firmas de descubrimiento de fármacos que retractan investigaciones influidas por inexactitudes de los LLM.
Estos fracasos destacan problemas sistémicos más profundos en los LLM actuales, que Patronus AI busca abordar. Su investigación, que incluye el recientemente lanzado API "CopyrightCatcher" y el benchmark "FinanceBench", revela deficiencias alarmantes en la capacidad de los modelos líderes para proporcionar respuestas precisas y basadas en hechos.
En el benchmark "FinanceBench", Patronus evaluó modelos como GPT-4 en consultas financieras usando documentos públicos de la SEC. Los resultados fueron impactantes: el modelo mejor calificado solo respondió correctamente el 19% de las preguntas, a pesar de haber revisado todo un informe anual. Una evaluación separada utilizando el API "CopyrightCatcher" descubrió que los LLM de código abierto reprodujeron texto protegido por derechos de autor de manera literal en el 44% de los casos.
"Aún los modelos más avanzados luchan con la precisión, rindiendo solo un 90% en contextos financieros," señaló Qian, CTO de Patronus. "Nuestros hallazgos muestran que los modelos de código abierto generan más del 20% de respuestas inseguras en áreas de alto riesgo. Las infracciones de derechos de autor representan una preocupación considerable; los grandes editores y empresas de medios deben estar alerta."
Mientras otras startups como Credo AI y Weights & Biases desarrollan herramientas de evaluación de LLM, Patronus se diferencia por su enfoque centrado en la investigación. Su tecnología principal implica entrenar modelos de evaluación dedicados para identificar escenarios específicos donde los LLM pueden fallar.
"Ninguna otra empresa iguala nuestra profundidad de investigación y tecnología," aseguró Kannappan. "Nuestra estrategia es única—basada en entrenar modelos de evaluación, desarrollando técnicas de alineación, y publicando investigaciones."
Patronus AI ha ganado tracción con varias compañías Fortune 500 en sectores como automotriz, educación, finanzas y software, ayudándoles a implementar LLM de manera segura. Con la nueva inyección de capital, Patronus planea expandir sus equipos de investigación, ingeniería y ventas, mientras desarrolla benchmarks adicionales.
Si Patronus logra su visión, las evaluaciones automatizadas de LLM podrían convertirse en esenciales para las empresas, similar al papel de las auditorías de seguridad en la adopción de la nube. Qian imagina un futuro donde probar modelos con Patronus sea rutinario, comparable a las pruebas unitarias para código.
"Nuestra plataforma es versátil, aplicable en varios dominios, desde legal hasta healthcare," explicó. "Nuestro objetivo es empoderar a las empresas en cada industria para aprovechar los LLM mientras aseguramos el cumplimiento de sus requisitos específicos."
A pesar de las complejidades inherentes a la validación del rendimiento de los LLM debido a su naturaleza de caja negra y las amplias posibilidades de salida, Patronus está comprometida con el avance de la evaluación de la IA. Al empujar los límites de las pruebas automatizadas, buscan facilitar el despliegue responsable de los LLM en aplicaciones del mundo real.
"Automatizar la medición del rendimiento de los LLM es un desafío debido a la diversidad de comportamientos que estos modelos generativos pueden exhibir," reconoció Kannappan. "Sin embargo, nuestra metodología basada en la investigación nos permite identificar errores de manera confiable y escalable que las pruebas manuales simplemente no pueden."
Clasificación
