Confiando en la IA: La Importancia de la Justificación en los Resultados de la IA
Cada mes, más de 500 millones de personas confían en Gemini y ChatGPT para obtener información, desde recetas de pasta hasta temas complejos de tareas escolares. Sin embargo, si la IA recomienda cocinar pasta con petróleo, surgen preguntas sobre su fiabilidad en áreas sensibles como el control de la natalidad o el álgebra.
En el Foro Económico Mundial de enero, el CEO de OpenAI, Sam Altman, destacó la necesidad de transparencia en los resultados de la IA: “No puedo mirar en tu mente para entender tus pensamientos, pero puedo pedirte que expliques tu razonamiento y determinar si es razonable. Creo que nuestros sistemas de IA podrán hacer lo mismo.”
El Conocimiento Requiere Justificación
Altman busca generar confianza en modelos de lenguaje grandes (LLMs) como ChatGPT, sugiriendo que pueden ofrecer explicaciones claras para sus resultados. Sin una justificación válida, las creencias no pueden considerarse conocimiento. ¿Cuándo nos sentimos justificados en lo que sabemos? Generalmente, cuando nuestras creencias están respaldadas por evidencia creíble, argumentos lógicos o el testimonio de fuentes confiables.
Los LLMs están destinados a ser fuentes de información fiables. Sin embargo, si no pueden explicar su razonamiento, carecemos de la certeza de que sus afirmaciones cumplan con nuestros criterios de justificación. Por ejemplo, si afirmas que la neblina de hoy en Tennessee es causada por incendios forestales en Canadá, podría aceptar tu afirmación. Pero, si previamente afirmaste que las peleas de serpientes son comunes en las defensas de tesis, tu credibilidad se pone en entredicho. En ese caso, buscaría aclaración sobre tu razonamiento respecto a la neblina.
Las Limitaciones de la Comprensión de la IA
Los sistemas de IA actuales no pueden ganarse nuestra confianza a través del razonamiento, ya que carecen de esa capacidad. En cambio, los LLMs son entrenados con vastos conjuntos de datos para detectar y predecir patrones de lenguaje. Al recibir un aviso, la herramienta genera una respuesta basada en estos patrones, a menudo imitando el discurso humano informado. Sin embargo, este proceso no valida la exactitud o justificación del contenido. Como afirman Hicks, Humphries y Slater en “ChatGPT es Bullshit”, los LLMs producen texto que parece convincente pero carece de una preocupación real por la verdad.
Si el contenido generado por la IA no equivale al conocimiento humano, ¿qué es entonces? Aunque puede parecer inexacto categorizar todos los resultados como "bullshit", muchas respuestas de los LLM son fácticamente correctas, dando lugar a lo que los filósofos llaman "casos de Gettier". Estas situaciones ocurren cuando existen creencias verdaderas, pero sin comprensión sobre su justificación.
Los Resultados de la IA como Ilusiones
Consideremos un escenario inspirado en el filósofo budista indio Dharmottara del siglo VIII: imagina que buscas agua en un día abrasador. Ves algo que parece agua, solo para descubrir que es un espejismo. Sin embargo, al llegar a ese lugar, encuentras agua real bajo una roca. ¿Puedes afirmar que tienes conocimiento genuino del tipo de agua que buscabas?
La mayoría coincidiría en que esos viajeros no poseen conocimiento real; simplemente encontraron agua sin tener un razonamiento sólido que esperara su presencia.
Cuando afirmamos conocer algo aprendido de un LLM, nos colocamos en una situación similar a la de los viajeros de Dharmottara. Si el LLM fue entrenado de manera efectiva, sus resultados son probablemente verdaderos, como el hallazgo de agua donde se esperaba. No obstante, la justificación que sustenta la afirmación se encuentra en algún lugar dentro del conjunto de datos, pero no juega ningún papel en la generación del resultado.
Por lo tanto, las garantías de Altman pueden ser engañosas. Si solicitas a un LLM que justifique su resultado, generará una justificación convincente pero superficial—una "justificación de Gettier”, como describen Hicks et al. Esta imitación de justificación carece de una base real.
El Riesgo de Justificaciones Engañosas
Actualmente, los sistemas de IA a menudo malinterpretan o "alucinan" información fáctica, lo que lleva a la inconsistencia. A medida que la ilusión de justificación se vuelve cada vez más convincente, enfrentamos dos posibles resultados:
1. Usuarios Informados: Aquellos que son conscientes de las limitaciones inherentes de la IA reconocerán que los LLM producen afirmaciones engañosas.
2. Usuarios Desinformados: Las personas que no comprenden la naturaleza de los resultados de la IA pueden ser engañadas, viviendo en un estado donde distinguir la realidad de la ficción se vuelve difícil.
La Necesidad de Justificación en los Resultados de la IA
Aunque los LLMs son herramientas poderosas, generan resultados que requieren escrutinio. Los usuarios, especialmente aquellos sin experiencia, confían en la IA para obtener conocimientos críticos—adolescentes que buscan ayuda con álgebra o consejos sobre sexo seguro. Para asegurar la responsabilidad y la confianza en los resultados de la IA, debemos comprender la justificación detrás de cada afirmación.
Afortunadamente, las personas con experiencia reconocen que el aceite de oliva es una mejor opción que el petróleo para cocinar espaguetis. Pero, ¿cuántas recetas potencialmente dañinas para la realidad hemos aceptado ciegamente de la IA sin cuestionar su justificación?
Clasificación
