Понимание Shadow AI и его вызовов для ИТ-отделов
Shadow AI становится серьезной проблемой для ИТ-отделов, ответственных за внедрение и управление сервисами генеративного ИИ. Поразительно, что 45% предприятий не имеют официальной политики по использованию генеративного ИИ, что делает организации уязвимыми к рискам.
С увеличением доступности крупных языковых моделей (LLM) и GPU-as-a-service от различных поставщиков облачных услуг, сотрудники ИТ-отделов получают легкий доступ к LLM. Это упрощает создание цифровых помощников для работников знаний через удобные интерфейсы на ноутбуках или мобильных устройствах.
Рост Shadow AI
Современное состояние Shadow AI напоминает появление SaaS приложений и публичных облачных сервисов, когда ИТ-руководители сталкивались с проблемами, связанными с тем, что отделы бизнеса и разработчики приобретали программное обеспечение без одобрения. Чаще всего ИТ-отделы реагировали, ограничивая применение теневой ИТ или заключая неловкие соглашения с сотрудниками, предпочитающими свои приложения.
В то же время облачное потребление вышло из-под контроля, что привело к излишним затратам из-за некорректных настроек и избыточных ресурсов. Когда ИТ начали оценивать инвестиции с точки зрения деловой ценности, акцент сместился к оптимизации облачных затрат.
Перераспределение рабочих нагрузок ИТ стало необходимым, когда организации осознали, что многие приложения могут работать лучше локально или в альтернативных облачных средах. С учетом изменения тарифов на выход данных некоторых облачных поставщиков, руководители ИТ пересматривают свои стратегии.
Хотя публичное облако отлично подходит для быстрого тестирования и масштабирования приложений, оно также увеличивает подверженность несанкционированным рабочим нагрузкам.
Навигация в управлении ИИ
Демократизация возможностей ИИ создает задачи по управлению для ИТ-лидеров. Несмотря на сложности, генеральные директора стремятся внедрять сервисы генеративного ИИ, что делает их полный запрет непрактичным.
Вместо этого ИТ-лидерам необходимо найти баланс между поддержкой инициатив сотрудников по генеративному ИИ и внедрением ответственного управления, учитывающего бюджетные ограничения.
Определение идеальных случаев использования ИИ
Чтобы достичь этого, ИТ-руководители должны сотрудничать с бизнес-менеджерами для выявления оптимальных случаев использования генеративного ИИ. Этот процесс потребует компромиссов с обеих сторон: ИТ сузит услуги и стандартизирует инструменты.
Каждый случай использования следует оценить по критериям экономической эффективности и производительности, независимо от того, создается он локально или в облаке. Некоторые приложения могут работать лучше в публичном облаке, но многие преуспеют на местах, получая выгоду от улучшенного контроля и безопасности.
Развертывание LLM локально также может привести к экономии затрат. Недавнее исследование Enterprise Strategy Group (ESG) показало, что использование open-source LLM с RAG на месте обычно более экономически выгодно, чем ресурсы публичного облака или основанные на API сервисы.
В тестах ESG было установлено:
- Экземпляр open-source модели Mistral 7B, протестированный на Amazon Web Services (AWS) EC2, оказался на 38% до 48% более экономичным, при этом экономия увеличивалась с ростом числа пользователей.
- Сравнение 70-миллиардного экземпляра Meta Llama 2 с AWS EC2 показало преимущество в затратах от 69% до 75%.
- Тестирование Llama 2 (70B параметров) против GPT-4 Turbo от OpenAI для 50 000 корпоративных пользователей указывало на экономическую эффективность на уровне 81% до 88%.
Хотя развертывание сервисов генеративного ИИ локально не устранит Shadow AI, это поможет снизить его воздействие. Мониторинг моделей внутри компании облегчает работу ИТ-отдела по устранению проблем, связанных с неожиданными результатами, подчеркивая важность согласования инициатив ИИ с деловыми данными.
Сотрудничество для успеха
Организации, вероятно, будут использовать генеративные рабочие нагрузки в различных средах, включая публичные и частные облака, а также на краевых площадках. Принятие решений о развертывании LLM может быть сложным, и надежные партнеры, такие как Dell Technologies, могут оказать критическую поддержку в этом процессе, предлагая оптимизированные под ИИ серверы, современные клиентские устройства и профессиональные услуги.
Shadow AI представляет собой серьезные вызовы, но при правильной стратегии и партнерских отношениях компании могут создать ответственный фреймворк генеративного ИИ. Правильный партнер может проложить путь вперед.
Рейтинг
