A medida que Llama 3 de Meta gana rápidamente popularidad como uno de los modelos de lenguaje grande más utilizados, OpenAI, pionero en la inteligencia artificial generativa, refuerza su ventaja competitiva al introducir nuevas características de nivel empresarial para su modelo GPT-4 Turbo y otros.
OpenAI anunció la expansión de características enfocadas en empresas para sus clientes de API, enriqueciendo su Assistants API e introduciendo nuevas herramientas que mejoran la seguridad, el control administrativo y la gestión de costos.
Olivier Godement, Jefe de Producto para API en OpenAI, expresó en una reciente entrevista que “OpenAI sigue liderando al hablar con desarrolladores y empresas sobre el trabajo significativo para modelos de IA. Siempre damos la bienvenida a la competencia; impulsa la mejora para todos”.
Enlace Privado y Mejora de la Seguridad
Una mejora clave en seguridad es la introducción de Enlace Privado, que facilita una comunicación segura entre el servicio de nube de Azure de Microsoft y OpenAI, reduciendo la exposición de datos de los clientes a internet en las consultas de API.
El marco de seguridad de OpenAI también incluye la certificación SOC 2 Tipo II, inicio de sesión único (SSO), encriptación de datos AES-256 en reposo, encriptación TLS 1.2 en tránsito y controles de acceso basados en roles. Además, OpenAI ha implementado autenticación multifactor (MFA) nativa para fortalecer los controles de acceso en medio de crecientes requisitos de cumplimiento.
Para las organizaciones de salud que requieren cumplimiento con HIPAA, OpenAI ofrece Acuerdos de Asociado Comercial junto con una política de retención cero de datos para los clientes de API que califiquen.
Upgrade de la Assistants API para una Mejor Gestión de Archivos
Una de las ofertas significativas de OpenAI es su Assistants API, que ahora ha sido mejorada para optimizar la recuperación de archivos con la nueva función ‘file_search', capaz de gestionar hasta 10,000 archivos por asistente—un aumento de 500 veces respecto al límite anterior de solo 20 archivos. Esta mejora incluye funcionalidades como consultas paralelas, mejor reordenamiento y reescritura de consultas.
OpenAI también ha introducido capacidades de transmisión para respuestas conversacionales en tiempo real, permitiendo que modelos como GPT-4 Turbo generen resultados mientras se crean los tokens, sin esperar respuestas completas. La API ahora incluye nuevos objetos ‘vector_store’ para una mejor gestión de archivos y ofrece un control detallado sobre el uso de tokens, ayudando en la gestión de costos.
Función de Proyectos para Control de Acceso Personalizado
La nueva función de Proyectos permite a las organizaciones gestionar roles y claves de API a nivel de proyecto. Esto permite a los clientes empresariales establecer permisos, controlar la disponibilidad de modelos y fijar límites de uso para evitar costos inesperados, simplificando la gestión de proyectos.
Por ejemplo, diferentes equipos dentro de una empresa pueden trabajar con modelos de IA específicos en proyectos separados sin riesgo de mezcla de datos. Miqdad Jaffer de OpenAI explicó, “Los Proyectos permiten reservar recursos y miembros en proyectos individualizados, proporcionando informes distintos y mayor control sobre acceso, seguridad y costos”.
Características de Gestión de Costos para Operaciones de IA Escalables
OpenAI también está introduciendo nuevas características de gestión de costos para ayudar a las organizaciones a escalar las operaciones de IA de manera eficiente. Estas incluyen tarifas con descuento para un uso constante de tokens y una reducción del 50% en costos para cargas de trabajo asincrónicas a través de la nueva Batch API, que promete tiempos de respuesta más rápidos y límites de tasa más altos.
Para usar la Batch API, los clientes deben enviar sus tokens en una sola solicitud, con resultados generalmente entregados dentro de 24 horas, aunque OpenAI indica que las respuestas pueden ser tan rápidas como 10-20 minutos para aquellos que no requieren retroalimentación inmediata.
A medida que OpenAI continúa fortaleciendo sus ofertas con un enfoque en seguridad de nivel empresarial, control administrativo y gestión de costos, estas actualizaciones buscan proporcionar una experiencia más fluida para las empresas, contrarrestando directamente el ascenso de Llama 3 y modelos abiertos de competidores como Mistral, que pueden requerir un esfuerzo adicional de configuración para las empresas.
Clasificación
