Uno de los términos en la jerga más intrigantes y prácticos que ha surgido de Reddit es "ELI5", que significa "Explícalo como si tuviera 5 años". Este término invita a los expertos a simplificar ideas complejas como si se las explicaran a un niño de cinco años, lo que facilita a todos, incluso a aquellos sin educación formal, entender conceptos intrincados.
Este enfoque directo también beneficia a los modelos de IA, especialmente para abordar el problema de la "legibilidad", que se refiere a comprender cómo los sistemas de IA llegan a sus conclusiones. Hoy, los investigadores de OpenAI están presentando un avance significativo en esta área con un nuevo artículo científico titulado “Prover-Verifier Games Improve Legibility of LLM Outputs”, disponible en el sitio web de la empresa y en arXiv.org. Su trabajo explora un nuevo algoritmo que permite a los modelos de lenguaje grandes (LLMs), como GPT-4, articular su razonamiento de manera más clara.
Establecer confianza en los sistemas de IA es crucial, especialmente a medida que se aplican en campos sensibles como la salud, el derecho, el ámbito militar y la infraestructura crítica, donde las inexactitudes pueden tener consecuencias peligrosas. Incluso empresas fuera de estos sectores pueden dudar en adoptar la IA debido a preocupaciones sobre resultados erróneos. El objetivo del trabajo de OpenAI es ofrecer un marco que capacite a los modelos de IA para explicar sus procesos de toma de decisiones de manera clara, mejorando así la confianza del usuario.
El investigador de OpenAI, Jan Hendrik Kirchner, comentó: "Esta es una investigación reciente que acabamos de finalizar, y estamos ansiosos por compartir estos hallazgos con la comunidad para promover la conciencia sobre el problema de la legibilidad y fomentar la colaboración para su resolución”.
Entendiendo el Juego Prover-Verifier
El algoritmo desarrollado por OpenAI se basa en el “Juego Prover-Verifier”, un concepto detallado originalmente por investigadores de la Universidad de Toronto y el Vector Institute for Artificial Intelligence en 2021. Este juego involucra dos modelos de IA: un "prover" más avanzado y un "verifier" menos sofisticado. El objetivo del prover es convencer al verifier de su respuesta, independientemente de su corrección, mientras que el verifier se esfuerza por identificar la respuesta correcta.
El objetivo es incentivar a los modelos de IA a "mostrar su trabajo" y explicar su razonamiento a los usuarios humanos, promoviendo enfoques de resolución de problemas verificables. “A medida que los modelos de lenguaje grandes se implementan en dominios complejos y críticos, asegurar que sus resultados sean confiables es esencial. El método del Juego Prover-Verifier mejora la claridad y verificabilidad, componentes clave de la confianza”, comentó el investigador de OpenAI, Yining Chen.
Implementando el Juego Prover-Verifier
OpenAI utilizó dos modelos GPT-4 ajustados a medida para participar en una serie de rondas donde resolvieron problemas de matemáticas de nivel escolar. Un aspecto clave de su metodología consistió en alternar el comportamiento del modelo prover entre ser "útil" (buscando proporcionar la respuesta correcta) y "engañoso" (intentos de desviar al verifier). El modelo verifier, ajeno a las intenciones del prover, evaluó las respuestas basándose únicamente en su entrenamiento.
Después de cada ronda, ambos modelos fueron reentrenados en función de sus desempeños anteriores, mejorando su capacidad para evaluar la corrección y articular explicaciones de manera accesible. Se reclutaron contratistas humanos para evaluar la legibilidad de las respuestas del modelo prover.
Tras varias rondas, los investigadores observaron que el modelo verifier mejoró su resistencia a las técnicas de persuasión del prover engañoso, mientras que el modelo prover se volvió más efectivo al explicar su razonamiento. El artículo indica: “Las soluciones engañosas que son más difíciles de detectar para verifiers más pequeños también son más desafiantes para los humanos, mientras que las soluciones útiles que son más legibles para verifiers pequeños son también más comprehensibles para los humanos”.
El algoritmo resultante de estos experimentos optimiza los LLMs tanto para la corrección como para la claridad, lo que, según OpenAI, facilitará el desarrollo de sistemas de IA que produzcan no solo resultados correctos, sino también transparentes, mejorando así la seguridad y la confianza en aplicaciones del mundo real. Como destacó Chen, este método tiene el potencial de alinear sistemas de IA más avanzados con evaluadores humanos, un paso crucial a medida que los modelos se acercan o superan la inteligencia humana. Kirchner añadió: “En esa etapa, puede volverse cada vez más difícil para los humanos juzgar de manera confiable la precisión del contenido generado por la IA.”
Clasificación
