Региональная доступность крупных языковых моделей (LLM) значительно усиливает конкурентные преимущества — более быстрый доступ способствует ускоренной инновационной деятельности. В свою очередь, те, кто ожидает, рискуют остаться позади.
Однако быстрый темп развития ИИ часто заставляет организации откладывать внедрение до появления моделей в их технологическом стеке. Эта задержка обычно вызвана ограниченными ресурсами, западами в подходах и многоязычными трудностями.
Чтобы решить эту актуальную проблему, Snowflake объявила о генеральной доступности кросс-регионального вывода на платформе Cortex AI. С помощью простой настройки разработчики могут обрабатывать запросы в разных регионах, даже если конкретная модель недоступна на месте. Это позволяет бесшовно интегрировать новые LLM по мере их доступности.
Организации могут безопасно использовать LLM в США, ЕС и Азиатско-Тихоокеанском регионе, включая Японию (APJ), без дополнительных затрат на выездные данные.
«Кросс-региональный вывод на Cortex AI позволяет вам интегрироваться с выбранной LLM независимо от региональной доступности», — утверждает Арун Агарвал, руководитель маркетинга продуктов ИИ в Snowflake.
Включение кросс-регионального вывода
Для передачи данных необходимо включить кросс-региональную функциональность, поскольку настройки по умолчанию отключены. Разработчики должны указать регионы для вывода. Если оба региона работают в рамках Amazon Web Services (AWS), данные будут передаваться безопасно через глобальную сеть AWS с использованием автоматического шифрования физического уровня. Если участвуют разные облачные провайдеры, трафик будет передаваться через общедоступный интернет с использованием зашифрованной взаимной транспортной безопасности (MTLS). Важно отметить, что входные данные, выходные данные и запросы, сгенерированные сервисом, не сохраняются и не кэшируются; процесс вывода осуществляется исключительно в кросс-региональной среде.
Для безопасной генерации ответов в рамках Snowflake пользователи должны сначала установить параметр на уровне учетной записи, чтобы определить, где будет происходить вывод. Затем Cortex AI автоматически определяет соответствующий регион для обработки, если запрашиваемая LLM недоступна в исходном регионе.
Например, если пользователь устанавливает параметр как «AWSUS», вывод может происходить как в восточном, так и в западном регионах США. Альтернативно, установка «AWSEU» позволяет маршрутизировать запросы в центральный ЕС или на северо-восток Азиатско-Тихоокеанского региона. В настоящее время целевые регионы могут быть настроены только в AWS; если кросс-регион включен в Azure или Google Cloud, запросы все равно будут обрабатываться через AWS.
Агарвал иллюстрирует это сценарией с Snowflake Arctic. Если модель недоступна в исходном регионе (AWS Восток США), кросс-региональный вывод направит запрос в AWS Запад США 2, и ответ будет возвращен в исходный регион.
«Все это можно сделать с помощью одной строки кода», — отмечает Агарвал.
Пользователи оплачивают кредиты за использование LLM в исходном регионе, а не в кросс-регионе. Время задержки между регионами зависит от инфраструктуры и условий сети, но Snowflake ожидает, что эта задержка будет незначительной по сравнению с задержкой вывода LLM.
Рейтинг
