Фреймворк с открытым исходным кодом Ray широко используется тысячами организаций для комплексных и ресурсоемких задач. Особенно стоит отметить, что на этом фреймворке была обучена модель GPT-3, что подчеркивает его значимость в мире крупных языковых моделей (LLM).
Недавно было обнаружено уязвимость "ShadowRay", вызвавшая серьезные опасения. В течение семи месяцев данная уязвимость позволяла злоумышленникам получать доступ к конфиденциальным рабочим нагрузкам AI от тысяч компаний, скомпрометировав вычислительные мощности, учетные данные, пароли, ключи, токены и другую критически важную информацию.
Хотя компания Anyscale, поддерживающая фреймворк, изначально отрицала серьезность уязвимости, она вскоре выпустила новые инструменты для помощи пользователям в проверке открытых портов. "В свете сообщений о злонамеренной активности мы быстро предоставили инструменты для проверки правильной конфигурации кластеров, чтобы предотвратить случайное раскрытие", - заявил представитель Anyscale.
Уязвимость, идентифицированная как CVE-2023-48022, может позволить удаленные атаки на API Ray Jobs. Это означает, что любой, имеющий доступ к сети панели управления, может запускать несанкционированные задачи, как было указано в недавнем отчете Oligo Security.
Хотя Anyscale сначала охарактеризовала проблему как ожидаемое поведение, теперь они представили Open Ports Checker. Этот инструмент упрощает процесс выявления неожиданно открытых портов. Скрипт клиентской стороны по умолчанию связывается с предварительно настроенным сервером Anyscale, возвращая сообщение "OK" или отчет "WARNING" о открытых портах.
Сообщение "WARNING" означает, что сервер обнаружил что-то на порту, но это не всегда указывает на открытую доступность для неаутентифицированного трафика, так как скрипт не определяет, какие услуги запущены на этом порту. Ответ "OK" указывает, что не удалось установить соединения с любыми портами. Однако Anyscale предупреждает, что этот ответ не гарантирует отсутствие открытых портов из-за потенциальных конфигураций, таких как брандмауэры или правила NAT.
Anyscale планирует проводить тесты для сообщества, чтобы явно проверить эти сетевые пути. Репозиторий доступен по лицензии Apache2 и может быть развернут на любом Ray Head или Worker Node, функционируя со всеми версиями Ray и возвращая все существующие порты через API Ray. Инструмент также можно настроить для отправки тестовых сетевых запросов на легковесный веб-сервер, или пользователи могут отправлять запросы на свои собственные серверы при необходимости.
Уязвимость "ShadowRay" долгое время оставалась незамеченной, поскольку не имела исправления. Поэтому она считалась "теневой уязвимостью", часто игнорируемой в стандартных сканированиях. По данным Oligo Security, эта уязвимость затрагивала:
- Рабочие нагрузки AI в производственной среде
- Доступ к облачным средам (AWS, GCP, Azure, Lambda Labs) и чувствительным облачным сервисам
- Доступ к API Kubernetes
- Учетные данные для OpenAI, Stripe и Slack
- Учетные данные производственной базы данных
- Токены для OpenAI, Hugging Face, Stripe и Slack
По состоянию на 28 марта, Censys выявила 315 глобально затронутых хостов, из которых более 77% выставляли страницу входа, а несколько - файловые директории.
Эксперты предупреждают, что "ShadowRay" представляет собой значительные риски, поскольку нацелена на базовую инфраструктуру, а не на конкретные приложения. Ник Хайатт, директор по разведке угроз в Blackpoint Cyber, отмечает, что злоумышленники могут получить гораздо больше информации, компрометируя инфраструктуру, чем через теоретические атаки с использованием AI.
Многие предполагают, что эта инфраструктура защищена, что приводит к самодовольству касаемо данных, используемых LLM. Это восприятие создает возможности для атаки на большие объемы конфиденциальной информации. Нил Карпентер из Orca Security подчеркивает сложности в выпуске проектов AI с открытым исходным кодом без надежных мер безопасности, часто полагаясь на недостаточную документацию для критических компонентов.
Ситуация с "ShadowRay" подчеркивает необходимость более широких обсуждений по безопасным методам разработки, особенно в условиях, когда скорость нередко затмевает безопасность. Компании, интересующиеся внедрением LLM, должны придавать первостепенное значение гигиене данных. "Нельзя бездумно загружать целый сервер в LLM и ожидать плавных результатов, особенно при работе с конфиденциальными данными", - предостерегает Хайатт.
Организации должны проверять наборы данных и понимать регулирующие требования, особенно при разработке локальных LLM. Вопросы о происхождении данных и их верификации становятся критическими для обеспечения точных выводов моделей в рамках регулярных бизнес-операций.
В конечном итоге, вызовы, связанные с "ShadowRay", имеют не только технологическую природу; они касаются людей, процессов и технологий. Поскольку генеративный AI продолжает развиваться, Хайатт предсказывает рост атак на инфраструктуру, а не прямую эксплуатацию через генеративный AI. С учетом легкого доступа к данным и общих уязвимостей, злоумышленники могут найти более простые способы компрометации, чем непосредственное использование AI для вторжения.
Рейтинг
