En la era de la inteligencia artificial generativa, asegurar la seguridad de los modelos de lenguaje grandes (LLMs) es tan crucial como su rendimiento en diversas tareas. Equipos de todo el mundo reconocen cada vez más esta necesidad y mejoran sus procesos de prueba y evaluación para identificar y resolver problemas que podrían resultar en malas experiencias de usuario, oportunidades perdidas o sanciones regulatorias.
Con la rápida evolución de los modelos de código abierto y cerrado, determinar cuál es el LLM más seguro puede ser un desafío. Enkrypt ofrece una solución a través de su LLM Safety Leaderboard. Esta startup de Boston se especializa en proporcionar una capa de control para el despliegue seguro de la inteligencia artificial generativa y ha clasificado los LLMs según su vulnerabilidad a riesgos de seguridad y fiabilidad.
El leaderboard incluye numerosos modelos de lenguaje de alto rendimiento, como las familias GPT y Claude. Ofrece valiosos insights sobre los factores de riesgo esenciales para seleccionar LLMs seguros y fiables y optimizar su implementación.
Entendiendo el LLM Safety Leaderboard de Enkrypt
Cuando las empresas implementan LLMs en aplicaciones como chatbots, realizan pruebas internas continuas para identificar riesgos de seguridad, como jailbreaks y respuestas sesgadas. Incluso errores menores pueden llevar a problemas significativos, como filtraciones de datos o respuestas sesgadas, como se demostró en el incidente del chatbot Google Gemini. Estos riesgos son aún más marcados en sectores regulados como fintech y salud.
Fundada en 2023, Enkrypt aborda estos desafíos con Sentry, una solución integral que descubre vulnerabilidades en aplicaciones de inteligencia artificial generativa y implementa guardrails automatizados para mitigarlas. El LLM Safety Leaderboard es el siguiente paso de esta iniciativa, ofreciendo conocimientos que ayudan a los equipos a seleccionar el modelo más seguro desde el principio.
Desarrollado a través de pruebas rigurosas en diversos escenarios, el leaderboard evalúa hasta 36 LLMs—tanto de código abierto como cerrado— basándose en métricas de seguridad y protección. Evalúa la capacidad del modelo para evitar generar contenido dañino, sesgado o inapropiado, y su habilidad para prevenir ataques de malware o inyecciones de prompting.
¿Quién tiene el título del LLM más seguro?
Hasta el 8 de mayo, el leaderboard de Enkrypt clasifica al GPT-4-Turbo de OpenAI como el LLM más seguro, con la puntuación de riesgo más baja de 15.23. Este modelo se defiende eficazmente contra ataques de jailbreak y produce respuestas tóxicas solo el 0.86% del tiempo. Sin embargo, enfrenta problemas con el sesgo y malware, con impactos del 38.27% y 21.78% del tiempo, respectivamente.
Los modelos Llama2 y Llama 3 de Meta siguen de cerca, con puntuaciones de riesgo que varían entre 23.09 y 35.69. El Claude 3 Haiku de Anthropic se clasifica en décimo lugar con una puntuación de riesgo de 34.83, mostrando un rendimiento decente en las pruebas, pero produciendo respuestas sesgadas más del 90% del tiempo.
En la parte inferior del leaderboard se encuentran Saul Instruct-V1 y el recién anunciado Phi3-Mini-4K de Microsoft, con puntuaciones de riesgo de 60.44 y 54.16, respectivamente. Mixtral 8X22B y Snowflake Arctic también reciben clasificaciones bajas de 28 y 27.
Es importante destacar que esta lista está sujeta a cambios a medida que los modelos mejoren y surjan otros nuevos. Enkrypt planea actualizar regularmente el leaderboard para reflejar estos desarrollos.
“Nuestro leaderboard se actualizará en el Día Cero tras el lanzamiento de nuevos modelos y semanalmente para actualizaciones de modelos. A medida que avanza la investigación en seguridad de IA y se desarrollan nuevos métodos, el leaderboard mostrará constantemente los últimos hallazgos. Esto garantiza su relevancia y autoridad como recurso,” declaró Sahi Agarwal, cofundador de Enkrypt.
Agarwal imagina esta lista en evolución como una herramienta valiosa para los equipos empresariales que exploran las fortalezas y debilidades de los LLMs populares—ya sea en la mitigación del sesgo o la prevención de inyecciones de prompting—y para tomar decisiones informadas basadas en sus casos de uso específicos.
“Integrar nuestro leaderboard en la estrategia de IA mejora las capacidades tecnológicas mientras se mantienen estándares éticos, fomentando una ventaja competitiva y construyendo confianza. El equipo de riesgo/salud/gobernanza puede utilizar el leaderboard para identificar cuáles modelos son seguros para que los equipos de producto e ingeniería los usen. Actualmente, les falta información de seguridad integral, dependiendo solo de métricas de rendimiento públicas. El leaderboard, junto con los informes de evaluación de equipos rojos, proporciona recomendaciones de seguridad esenciales para el despliegue de modelos,” añadió.
Clasificación
