Stability AI ha ganado reconocimiento principalmente por su innovadora suite de modelos de IA generativa de texto a imagen, pero la compañía ahora está ampliando su oferta.
Hoy, Stability AI presentó su último avance: StableLM Zephyr 3B. Este modelo es un modelo de lenguaje grande (LLM) con 3 mil millones de parámetros, diseñado para diversas aplicaciones de chat, incluyendo generación de texto, resumen y personalización de contenido. StableLM Zephyr 3B es una versión optimizada y más pequeña del modelo de generación de texto StableLM presentado a principios de este año.
Una de las principales ventajas de StableLM Zephyr 3B es su tamaño. Al ser más pequeño que las versiones de 7 mil millones de parámetros de StableLM, permite despliegues en una gama más amplia de hardware con un menor consumo de recursos, todo mientras garantiza respuestas rápidas. El modelo ha sido optimizado específicamente para tareas de preguntas y respuestas e instrucciones.
“StableLM se entrenó durante más tiempo con datos de mayor calidad que los modelos anteriores, utilizando el doble de tokens en comparación con LLaMA v2 7b, y aún así iguala el rendimiento básico de ese modelo con solo el 40% del tamaño”, afirmó Emad Mostaque, CEO de Stability AI.
Presentación de StableLM Zephyr 3B
StableLM Zephyr 3B no es un modelo completamente nuevo, sino más bien una extensión del modelo existente StableLM 3B-4e1t. Su diseño se basa en el modelo Zephyr 7B de HuggingFace, que opera bajo una licencia MIT de código abierto y está destinado a ser utilizado como asistente. Zephyr utiliza un método de entrenamiento llamado Optimización de Preferencia Directa (DPO), que también se aplica en StableLM.
Mostaque explicó que DPO sirve como una alternativa a las técnicas de aprendizaje por refuerzo utilizadas en modelos anteriores, refinándolas para alinearse mejor con las preferencias humanas. Aunque DPO se ha aplicado generalmente a modelos más grandes, StableLM Zephyr marca una de las primeras instancias en que se utiliza eficazmente en un modelo de 3 mil millones de parámetros más pequeño.
Stability AI aprovechó DPO junto con el conjunto de datos UltraFeedback del grupo de investigación OpenBMB, que comprende más de 64,000 indicaciones y 256,000 respuestas. Esta combinación de DPO, el tamaño del modelo y el conjunto de datos de entrenamiento optimizado da como resultado métricas de rendimiento impresionantes. Por ejemplo, en la evaluación MT Bench, StableLM Zephyr 3B superó a modelos más grandes, incluyendo Llama-2-70b-chat de Meta y Claude-V1 de Anthropic.
Una Cartera en Expansión de Modelos
StableLM Zephyr 3B se suma a una creciente variedad de modelos lanzados por Stability AI mientras la startup de IA generativa busca mejorar continuamente sus capacidades. En agosto, la compañía presentó StableCode para el desarrollo de código de aplicaciones, seguido de Stable Audio en septiembre para la generación de texto a audio. En noviembre, se mostró una vista previa de Stable Video Diffusion, marcando la entrada de Stability AI en la generación de video.
A pesar de esta expansión, Stability AI sigue comprometida con sus raíces en la generación de texto a imagen. Recientemente, la compañía introdujo SDXL Turbo, una versión más rápida de su modelo insignia de difusión estable de texto a imagen, SDXL.
Mostaque enfatiza que aún queda mucho por innovar en Stability AI. “Creemos que los modelos pequeños, abiertos y de alto rendimiento, adaptados a los datos específicos de los usuarios, superarán a los modelos generales más grandes”, explicó. “Con el próximo lanzamiento completo de nuestros nuevos modelos StableLM, esperamos continuar democratizando los modelos de lenguaje generativos.”
Clasificación
