El marco de código abierto Ray es ampliamente utilizado, con miles de organizaciones que confían en él para cargas de trabajo complejas y que requieren muchos recursos. Cabe destacar que GPT-3 fue entrenado con este marco, lo que resalta su importancia en el ámbito de los modelos de lenguaje a gran escala (LLMs).
Recientemente, el descubrimiento de la vulnerabilidad “ShadowRay” ha generado serias preocupaciones. Durante siete meses, esta vulnerabilidad permitió a los atacantes acceder a cargas de trabajo sensibles de IA de miles de empresas, comprometiendo poder computacional, credenciales, contraseñas, claves, tokens y otros datos críticos.
Aunque Anyscale, el mantenedor del marco, inicialmente discutió la gravedad de la vulnerabilidad, desde entonces ha lanzado nuevas herramientas para ayudar a los usuarios a verificar si sus puertos están expuestos. “A la luz de los informes sobre actividad maliciosa, nos hemos movido rápidamente para proporcionar herramientas que verifiquen la correcta configuración de los clústeres y prevenir exposiciones accidentales”, afirmó un portavoz de Anyscale.
La vulnerabilidad, identificada como CVE-2023-48022, puede exponer la API de Ray Jobs a ataques de ejecución remota de código. Esto significa que cualquier persona con acceso a la red del panel de control podría invocar trabajos no autorizados, según revela un informe reciente de Oligo Security.
Inicialmente, Anyscale caracterizó el problema como un comportamiento esperado, pero ahora ha introducido el Open Ports Checker. Esta herramienta simplifica el proceso de identificación de puertos inesperadamente abiertos. El script del lado del cliente se conecta a un servidor Anyscale preconfigurado y devuelve un mensaje “OK” o un informe de “WARNING” sobre puertos abiertos.
Una respuesta de "WARNING" significa que el servidor detecta algo en el puerto, pero no indica necesariamente acceso abierto a tráfico no autenticado, ya que el script no determina qué se está ejecutando en ese puerto. Una respuesta “OK” indica que no se pudieron establecer conexiones con ningún puerto. Sin embargo, Anyscale advierte que esta respuesta no garantiza que no haya puertos abiertos, debido a configuraciones como firewalls o reglas NAT.
Anyscale planea realizar pruebas para que la comunidad verifique explícitamente estos caminos de red. El repositorio está disponible bajo la licencia Apache2 y se puede implementar en cualquier Nodo Principal o Nodo de Trabajo de Ray, funcionando en todas las versiones de Ray y devolviendo todos los puertos existentes a través de las APIs de Ray. La herramienta también se puede configurar para enviar llamadas de prueba a un servidor web liviano, o los usuarios pueden enviar llamadas a sus propios servidores si lo prefieren.
La vulnerabilidad 'ShadowRay' pasó en gran medida desapercibida, ya que no había un parche disponible. Por lo tanto, se consideró una “vulnerabilidad oculta”, típicamente ignorada en análisis estándar. Según Oligo Security, esta vulnerabilidad afectó a:
- Cargas de trabajo de producción de IA
- Acceso a entornos de nube (AWS, GCP, Azure, Lambda Labs) y servicios en la nube sensibles
- Acceso a la API de Kubernetes
- Credenciales para OpenAI, Stripe y Slack
- Credenciales de bases de datos de producción
- Tokens para OpenAI, Hugging Face, Stripe y Slack
El 28 de marzo, Censys identificó 315 hosts afectados a nivel mundial, con más del 77% exponiendo una página de inicio de sesión y varios exponiendo directorios de archivos.
Los expertos advierten que 'ShadowRay' presenta riesgos significativos, ya que apunta a la infraestructura subyacente en lugar de a aplicaciones específicas. Nick Hyatt, director de inteligencia de amenazas en Blackpoint Cyber, señala que los actores de amenazas pueden obtener mucha más información al comprometer la infraestructura que mediante ataques teóricos impulsados por IA.
Muchos asumen que esta infraestructura es segura, lo que genera complacencia respecto a los datos que utilizan los LLMs. Esta percepción crea oportunidades para que los atacantes accedan a grandes volúmenes de información sensible. Neil Carpenter de Orca Security enfatiza el desafío de lanzar proyectos de IA de código abierto sin medidas de seguridad robustas, a menudo basándose en documentación inadecuada para componentes críticos.
El caso de 'ShadowRay' subraya la necesidad de conversaciones más amplias sobre prácticas de desarrollo seguro, especialmente en un entorno donde la velocidad a menudo eclipsa la seguridad. Las empresas interesadas en adoptar LLMs deben priorizar la higiene de datos. “No puedes introducir un servidor entero en un LLM sin tener en cuenta los resultados, especialmente al manejar datos sensibles”, advierte Hyatt.
Las organizaciones deben validar los conjuntos de datos y comprender los requisitos regulatorios, especialmente al desarrollar LLMs en las instalaciones. Las preguntas sobre la procedencia de los datos y su validación se vuelven críticas para asegurar que los modelos ofrezcan información precisa como parte de las operaciones comerciales regulares.
En última instancia, los desafíos que plantea 'ShadowRay' no son solo tecnológicos; implican personas, procesos y tecnología. A medida que la IA generativa continúa evolucionando, Hyatt predice un aumento en los ataques a la infraestructura en lugar de una explotación directa mediante IA generativa. Con datos fácilmente disponibles y exploits frecuentes, los atacantes pueden encontrar caminos más sencillos para comprometerse, en lugar de emplear IA directamente para la intrusión.
Clasificación
