OpenAI реагирует на рост Meta Llama 3 с новыми инновационными функциями для корпоративного ИИ.

Несмотря на то что Llama 3 от Meta стремительно завоевывает популярность как одна из самых используемых крупных языковых моделей (LLM), OpenAI, пионер генеративного ИИ, усиливает свои конкурентные преимущества, внедряя новые функции для корпоративного использования в модели GPT-4 Turbo и других.

OpenAI объявила о расширении функций, ориентированных на бизнес, для своих клиентов API, улучшая Assistants API и introducing новые инструменты, которые улучшают безопасность, административный контроль и управление затратами.

Оливье Годемонт, руководитель продукта API в OpenAI, в недавнем интервью заявил: «Когда мы говорим с разработчиками и бизнесами о значимой работе для ИИ-моделей, OpenAI по-прежнему лидирует. Мы всегда приветствуем конкуренцию — это способствует улучшению для всех».

Приватная связь и улучшенные функции безопасности

Ключевым улучшением безопасности является внедрение Приватной связи, которая обеспечивает безопасное взаимодействие между облачными сервисами Microsoft Azure и OpenAI. Это снижает риск утечки данных клиентов в открытый интернет при запросах API.

Рамки безопасности OpenAI также включают сертификацию SOC 2 Type II, единую авторизацию (SSO), шифрование данных AES-256 в состоянии покоя, шифрование TLS 1.2 в передаче и управление доступом на основе ролей. Кроме того, OpenAI внедрила родную многофакторную аутентификацию (MFA) для усиления контроля доступа на фоне растущих требований по соблюдению норм.

Для организаций здравоохранения, которым необходимо соответствие HIPAA, OpenAI предлагает договора о деловых ассоциациях вместе с политикой нулевого хранения данных для квалифицированных клиентов API.

Обновленный Assistants API для улучшенного управления файлами

Одним из значительных предложений OpenAI для бизнеса является Assistants API, который был обновлен для улучшения возможностей извлечения файлов с новой функцией «file_search», способной управлять до 10,000 файлов на одного помощника — увеличение в 500 раз по сравнению с предыдущим лимитом в 20 файлов. Это обновление включает функции, такие как параллельные запросы, улучшенная переоценка и переработка запросов.

OpenAI также внедрила функции потоковой передачи для получения ответов в реальном времени, что позволяет моделям, таким как GPT-4 Turbo, создавать выводы по мере формирования токенов, а не дожидаться завершения ответа. API теперь включает новые объекты «vector_store» для улучшенного управления файлами и предлагает детальный контроль за использованием токенов, что помогает в управлении затратами.

Функция Проекты для индивидуального контроля доступа

Новая функция Проекты позволяет организациям управлять ролями и ключами API на уровне проектов. Это позволяет корпоративным клиентам устанавливать разрешения, контролировать доступность моделей и устанавливать лимиты на использование для избежания неожиданных расходов, упрощая управление проектами.

Например, разные команды внутри предприятия могут работать с конкретными ИИ моделями в рамках отдельных проектов, избегая смешивания данных. Микдад Джаффер из OpenAI объяснил: «Проекты позволяют выделить ваши ресурсы и участников в индивидуальные проекты, обеспечивая отчетность и улучшенный контроль над доступом, безопасностью и затратами».

Функции управления затратами для масштабируемых операций ИИ

OpenAI также вводит новые функции управления затратами, чтобы помочь организациям эффективно масштабировать операции ИИ. К ним относятся специальные расценки за постоянное использование токенов и 50% снижение затрат для асинхронных рабочих нагрузок через новый Batch API, который обещает более быстрые времена отклика и более высокие лимиты.

Чтобы воспользоваться Batch API, клиентам нужно отправить свои токены в едином запросе, результаты обычно приходят в течение 24 часов, хотя OpenAI утверждает, что ответы могут быть получены всего за 10-20 минут для тех, кому не требуется немедленная обратная связь.

По мере того как OpenAI продолжает укреплять свои предложения с акцентом на безопасность корпоративного уровня, административный контроль и управление затратами, эти обновления направлены на предоставление более плавного опыта для бизнеса, совершенно противопоставляя росту Llama 3 и открытым моделям от конкурентов, таких как Mistral, для которых может потребоваться дополнительная настройка.