IA Generativa y Ciberseguridad: Soluciones Innovadoras de SydeLabs
La IA generativa está transformando las empresas modernas, pero también introduce nuevos vectores de ataque que pueden comprometer tanto a las organizaciones como a su reputación. La startup californiana SydeLabs está enfrentando este desafío con un firewall basado en la intención y en tiempo real. Recientemente, la empresa aseguró 2.5 millones de dólares en financiamiento inicial de RTP Global, Picus Capital y varios inversores ángeles.
Aunque existen múltiples actores en el sector de la seguridad con IA, SydeLabs se distingue por su completa suite de soluciones diseñadas para ayudar a los desarrolladores a evitar vulnerabilidades en los modelos de lenguaje grande (LLMs), incluyendo riesgos menos conocidos a lo largo del ciclo de vida del proyecto, desde el desarrollo hasta la implementación.
Ofertas de Productos Innovadores
SydeLabs ha desarrollado tres productos clave enfocados en IA: SydeBox, SydeGuard y SydeComply. SydeBox, actualmente en fase beta, actúa como una solución de red team autogestionada que permite a los equipos evaluar sus aplicaciones y modelos de IA en busca de vulnerabilidades. SydeGuard, que se lanzará pronto, proporciona protección en tiempo real basada en la intención, mientras que SydeComply aborda problemas de cumplimiento en diferentes regiones del mundo.
“Durante la fase beta de SydeBox, descubrimos diversas vulnerabilidades, incluyendo filtraciones de datos de entrenamiento, inyecciones de prompts y omisiones de alineación de seguridad”, comentó Ankita Kumari, cofundadora de SydeLabs. “SydeGuard puede detectar y prevenir inyecciones de prompts, ataques de denegación de billeteras e intentos de filtración de datos”.
Cómo Funciona SydeLabs
SydeBox utiliza un agente de IA que inicia pruebas de ataque basadas en investigaciones internas y datos disponibles públicamente, mientras un LLM evalúa el éxito del ataque al interactuar con el sistema objetivo. Por otro lado, SydeGuard emplea modelos propietarios que analizan los prompts de los usuarios para identificar amenazas potenciales, asignando puntuaciones de riesgo a los prompts, sesiones de usuario y usuarios.
En lugar de bloquear a los usuarios de inmediato, SydeGuard informa a los equipos de seguridad de la empresa, ofreciendo opciones para bloquear, monitorear o redirigir la amenaza a un honeypot, permitiendo así que los equipos decidan estratégicamente cómo abordar los posibles ataques.
Detección Robusta de Vulnerabilidades
Desde el lanzamiento de la beta de SydeBox el 1 de marzo de 2024, SydeLabs ha señalado más de 10,000 vulnerabilidades en más de 50 aplicaciones y modelos. A medida que la empresa continúa creciendo, su objetivo es finalizar sus ofertas de SydeGuard y SydeComply. A largo plazo, SydeLabs planea ofrecer la solución de red team de forma gratuita a las empresas enfocadas en la detección de vulnerabilidades, mientras monetiza SydeGuard a través de un modelo basado en consumo.
Kumari enfatizó la importancia de la precisión de un producto de ciberseguridad y su capacidad para anticiparse a las amenazas cibernéticas. “Priorizamos las constantes actualizaciones de nuestro modelo, enfocándonos en nuevos vectores de ataque y metodologías”.
Contexto de la Industria y Ventaja Competitiva
La financiación de SydeLabs llega en un momento en que la seguridad de las aplicaciones de IA generativa está bajo un intenso escrutinio, evidenciado por incidentes de ataques de inyección de prompts que resultan en deepfakes de celebridades. En respuesta, Microsoft ha lanzado nuevas herramientas de Azure AI destinadas a detectar alucinaciones y prevenir ataques. Competidores como Lakera y Prompt Security operan en el espacio de red team y prevención en tiempo real, pero Kumari afirma que los productos de SydeLabs demuestran una precisión y rendimiento superiores en comparación con estas herramientas.
SydeLabs continúa innovando en el paisaje de la ciberseguridad, asegurando que los sistemas de IA generativa permanezcan seguros frente a las amenazas en evolución.
Clasificación
