La Gira de Impacto de IA en Medios visitó recientemente San Francisco, centrándose en las aplicaciones del mundo real de la IA generativa y las complejidades de implementar tales iniciativas. Matt Marshall, CEO de una empresa de medios, lideró la discusión con líderes de la industria, incluidos Ed Anuff, Director de Productos en DataStax; Nicole Kaufman, Directora de Transformación en Genesis Health; y Tisson Matthew, CEO de Skypoint.
Esta conversación es crucial mientras las empresas transitan de fases exploratorias de IA generativa a implementaciones maduras. Las organizaciones están pasando de experimentos sencillos con herramientas como ChatGPT a abordar la pregunta crítica: ¿cómo aprovechamos esta tecnología e integramos nuestros datos comerciales esenciales para su uso en producción?
“Estamos presenciando la aparición de un modelo de madurez de IA,” señaló Anuff. “Las organizaciones están pasando de proyectos puntuales orientados a resultados rápidos a iniciativas de IA críticas lideradas por campeones comerciales enfocados en implementaciones de alto impacto y alta visibilidad. Estos esfuerzos pueden tomar más tiempo en desarrollarse, pero su potencial transformador es significativo.”
La IA generativa puede aplicarse en diversos casos de uso, desde operaciones administrativas hasta sitios web y aplicaciones móviles de cara al público. Aunque las empresas aún pueden referirse a términos como "chatbots" o "interfaces conversacionales", su objetivo final es crear aplicaciones de conocimiento que permitan la recuperación interactiva de datos en contextos adecuados. La decisión principal radica en si desarrollar estas soluciones internamente o aprovechar productos disponibles en el mercado.
Consideraciones Previas a la Producción
Para el soporte al cliente o el análisis financiero, muchas organizaciones buscan utilizar la IA generativa para crear aplicaciones que obtengan información de datos internos. Anuff explicó, “Dependiendo del volumen de datos y los requisitos específicos de tu interfaz personalizada, las soluciones disponibles pueden ser muy efectivas. Empresas como Amazon ofrecen plataformas que permiten subir documentos para recibir respuestas inmediatas de chatbots, facilitando una implementación rápida y sencilla.”
Sin embargo, a medida que las organizaciones amplían su enfoque desde aplicaciones simples de back-office hacia casos de uso críticos vinculados a funciones comerciales fundamentales—especialmente aquellos de cara al público—las soluciones básicas pueden no ser suficientes. Anuff citó aplicaciones en el sector salud que requieren conexiones en tiempo real a fuentes de datos para respuestas precisas basadas en información actualizada de pacientes. También destacó a agentes de IA en instituciones financieras de Asia-Pacífico que proporcionan acceso directo a planificación financiera basada en chat, informada por datos en vivo de estados financieros.
“Esa es una aplicación de IA RAG (generación aumentada por recuperación) personalizada vinculada a tus datos centrales,” afirmó. “Minoristas de alto perfil como Home Depot o Best Buy invierten en equipos de ingeniería web dedicados para desarrollar experiencias personalizadas que se alineen con su marca y operaciones comerciales.”
Calculando la Preparación y el Costo
A medida que las organizaciones avanzan más allá de la etapa de ideación, enfrentan dos desafíos principales: la relevancia y el costo.
“La relevancia es un nuevo indicador clave para muchos en el ámbito de los datos,” explicó Anuff. “Las organizaciones necesitan evaluar cuán pertinentes son sus respuestas generadas por IA. Los problemas de relevancia a menudo requieren una reevaluación de toda tu arquitectura de datos.”
Esto, a su vez, influye en el segundo desafío—el costo. Encontrar una manera de ofrecer resultados relevantes y limpios es costoso, y las organizaciones deben evaluar más a fondo los costos asociados con la escalabilidad hacia la producción.
“Las discusiones sobre estos temas brindan una evaluación realista de cuán preparadas están las equipos para la producción,” observó. “Si la relevancia sigue siendo un obstáculo, indica que los equipos han superado los desafíos iniciales de arquitectura pero enfrentan nuevas complejidades con los costos de producción, que a menudo van de la mano.”
Alucinaciones, Datos y la Importancia de RAG
El término “alucinaciones” se utiliza comúnmente cuando las respuestas de IA parecen incorrectas. Aunque es un término coloquial útil, no todas las respuestas erradas son alucinaciones; algunas resultan de errores en los datos de entrenamiento. Las alucinaciones ocurren cuando un modelo de lenguaje grande (LLM) extrapola más allá de su entrenamiento y genera contenido vago o engañoso. Anuff destacó que hay soluciones efectivas para estos problemas, especialmente a través de RAG.
RAG combina recuperación de conocimiento con IA generativa, permitiendo a un sistema procesar y consolidar datos de una base de conocimiento interna, ofreciendo respuestas contextualmente relevantes en lenguaje natural en lugar de simplemente resumir información.
“Un modelo de lenguaje grande destaca en dos áreas,” indicó Anuff. “Primero, comprende las sutilezas del lenguaje. Segundo, funciona como un repositorio de conocimiento. Un programador puede controlar cuánto de su conocimiento intrínseco se utiliza imponiendo límites a las respuestas, conocido como grounding. Esto reduce significativamente el riesgo de alucinaciones al mantener el modelo enfocado en datos relevantes.”
Además, Anuff enfatizó que RAG es esencial para integrar de manera segura y precisa datos en tiempo real de la empresa en el modelo durante la inferencia.
“Si bien existen otros métodos de integración de datos, a menudo carecen de seguridad, capacidad en tiempo real y protección,” afirmó. “Por esta razón, usar un acoplamiento modelo-base de datos—independientemente de si lo denominamos RAG—seguirá siendo prevalente en la industria en el futuro.”
Clasificación
