Para maximizar los beneficios de los modelos de lenguaje de gran tamaño (LLMs), las empresas deben ajustarlos utilizando datos específicos del dominio. Este proceso mejora la capacidad del modelo para generar resultados relevantes. Sin embargo, ajustar modelos preentrenados presenta un desafío crítico: ajustar los pesos para diferentes distribuciones de datos puede provocar un "olvido catastrófico", donde el modelo pierde conocimientos previamente adquiridos. Este deterioro afecta negativamente el rendimiento y las habilidades de razonamiento del LLM.
La empresa de inteligencia artificial vocal Tenyx ha anunciado una solución de ajuste diseñada para combatir este problema. Su plataforma permite a las empresas personalizar LLMs según sus necesidades específicas sin sacrificar el conocimiento fundamental ni las medidas de seguridad.
“El olvido catastrófico es un problema persistente en la comunidad de aprendizaje automático”, afirmó Itamar Arel, CEO y fundador de Tenyx. “Tradicionalmente, se suponía que los modelos podían entrenarse continuamente con nuevos datos mientras retenían información anterior”.
Los Riesgos de la Ajuste
Arel destaca que el ajuste se vuelve cada vez más vital para las aplicaciones empresariales de los LLMs. Sin embargo, los científicos de datos a menudo no tienen acceso completo a los conjuntos de datos de entrenamiento originales, y los métodos de ajuste tradicionales no logran mitigar el efecto de olvido. Esto puede resultar en la pérdida de capacidades esenciales y exponer a las organizaciones a contenido nocivo o sesgado.
Por ejemplo, utilizar LLaMA 7B como chatbot de servicio al cliente, una aplicación común, requiere ajustarlo con interacciones típicas de clientes. Las técnicas estándar, como la Adaptación de Bajo Rango (LoRA), pueden llevar inadvertidamente a la pérdida de conocimientos valiosos, como responder con precisión a preguntas sobre la distancia entre el hotel y el aeropuerto o inferir el contexto de afirmaciones como: “Llegaré el 7 de diciembre por cuatro noches”.
“El modelo ajustado puede sobresalir en tareas específicas, pero podría generar respuestas incorrectas o sesgadas sobre conocimientos y razonamiento más amplios”, comentó Arel.
Limitaciones de la Adaptación de Bajo Rango
Aunque LoRA es popular por su eficiencia computacional, Arel explica que no fue diseñada para abordar el olvido catastrófico. Cuando el ajuste modifica la distribución de datos respecto al original, se producen distorsiones impredecibles.
“Nuestros hallazgos indican que, a pesar de las ventajas de LoRA, conlleva los mismos riesgos de pérdida de conocimiento y razonamiento”, declaró Arel. La complejidad del modelo también complica la identificación y rectificación de estas distorsiones. Además, los métodos de ajuste tradicionales pueden debilitar los protocolos de seguridad establecidos a través del aprendizaje por refuerzo con retroalimentación humana (RLHF), que son cruciales para prevenir resultados sesgados.
“El RLHF es también un proceso de entrenamiento y, por lo tanto, se ve afectado durante el ajuste”, enfatizó Arel.
Ineficiencias en las Estrategias Actuales de Mitigación
Actualmente, las empresas intentan gestionar el olvido catastrófico confiando en numerosos ingenieros de aprendizaje automático para limitar el ajuste y utilizar la ingeniería de solicitudes para resultados óptimos. Sin embargo, este enfoque es inconsistente, costoso y carece de una comprensión clara de cuándo y por qué funciona. Evaluar el conocimiento y razonamiento durante el ajuste, a menudo a través de intervención manual, complica el proceso sin posibilidades de automatización.
El Enfoque de Tenyx para el Ajuste
El método innovador de ajuste de Tenyx identifica qué parámetros del modelo se pueden actualizar para aprender de nuevos datos mientras se preservan la mayoría de los mapeos de entrada-salida previos. Su plataforma asegura que las actualizaciones durante el ajuste no interrumpan la capacidad del modelo para procesar los datos originales.
“Al analizar un LLM entrenado, nuestro método determina los pesos óptimos para actualizar, permitiendo el aprendizaje de nuevos datos mientras se minimiza el olvido catastrófico”, explicó Arel. El enfoque de Tenyx emplea una nueva interpretación matemática de las representaciones geométricas formuladas durante el entrenamiento inicial del LLM, reteniendo eficazmente la información aprendida previamente mientras se acomodan los cambios.
Crucialmente, el método de Tenyx preserva las protecciones de RLHF y se alinea con las directrices regulatorias, incluido el Decreto Ejecutivo de la Casa Blanca sobre IA Segura, Segura y Confiable.
Resultados del Método de Ajuste de Tenyx
En un estudio piloto que evaluó algoritmos de ajuste tanto empresariales como de código abierto, Tenyx demostró ventajas notables en seguridad, competencia y retención de conocimiento:
- Seguridad: Tenyx logró una reducción del 11% en riesgos, superando a OpenAI (-66%), Together AI (-94%) y LoRA (-91%).
- Competencia: Aunque GPT 3.5 Turbo de OpenAI mostró una competencia inicial superior gracias a sus parámetros, Llama-2 7B de Tenyx sobresalió tras el ajuste.
- Conocimiento: Tenyx registró solo un 3% de pérdida por olvido catastrófico, en comparación con el 10% de OpenAI, el 40% de Together AI y el 43% de LoRA.
“El olvido catastrófico sigue siendo un obstáculo reconocido en el aprendizaje profundo, afectando incluso a los modelos más avanzados”, observó Noah Goodman, profesor asociado en la Universidad de Stanford. “A medida que los modelos realizan ajustes en nuevos datos del dominio, suelen mejorar su rendimiento en esa área, pero a expensas de alterar habilidades establecidas”.
Goodman añadió: “Tenyx cuenta con un sólido equipo de investigación que explora soluciones innovadoras para abordar este complejo desafío”.
Clasificación
