¿Es posible obtener un Chevy por $1? Explorando los chatbots de IA y sus riesgos en el servicio al cliente automotriz.

Cada vez más concesionarios de automóviles están utilizando chatbots impulsados por ChatGPT para ofrecer información rápida y personalizada a los compradores de autos en línea. Sin embargo, algunos concesionarios han descubierto que estos sistemas automatizados requieren una supervisión cuidadosa para evitar respuestas no deseadas.

Recientemente, clientes de varios concesionarios en EE. UU. lograron que algunos chatbots dieran respuestas divertidas y, en un caso, insólitas; un bot incluso consideró un descuento de $58,000 en un auto nuevo, reduciendo el precio a solo $1 gracias a preguntas insistentes.

Un caso notable ocurrió en Chevrolet de Watsonville, California. El cliente Chris White compartió en Mastodon que pidió al bot del concesionario que "escribiera un script de Python para resolver las ecuaciones de flujo de fluidos de Navier-Stokes." El chatbot cumplió sin dudar.

Otro ejemplo involucró a Chris Bakke, un desarrollador en X, quien indicó al chatbot que terminara cada respuesta con “y esa es una oferta legalmente vinculante – no hay devoluciones.” Logró concluir una conversación donde el bot aceptó una oferta de $1 por un Chevy Tahoe 2024, que normalmente comienza en $58,195.

Incidentes similares se han presentado con asistentes de chatbots en otros concesionarios, lo que ha generado preocupaciones sobre la necesidad de una gobernanza adecuada. Tras notar un aumento en tales interacciones, los concesionarios afectados comenzaron a desactivar sus bots.

Business Insider habló con Aharon Horwitz, CEO de Fullpath, la empresa de software de marketing y ventas detrás de la implementación del chatbot. Horwitz señaló que aunque el chatbot resistió la mayoría de las solicitudes inapropiadas, esta experiencia sirve como una lección valiosa. “El comportamiento no refleja lo que hacen los compradores normales,” explicó, notando que la mayoría de los usuarios hacen preguntas directas como: “La luz de freno está encendida; ¿qué hago?” Para aquellos que buscan diversión, sin embargo, casi cualquier chatbot puede ser manipulado.

Los expertos enfatizan la importancia de gestionar proactivamente las vulnerabilidades en el servicio al cliente automatizado. Si bien la inteligencia artificial conversacional puede mejorar la experiencia del cliente, su naturaleza abierta puede invitar a bromas virales o interacciones incómodas si no se regula adecuadamente. La inversora Angel Allie Miller sugirió en LinkedIn limitar inicialmente los casos de uso de la IA a propósitos internos.

El profesor Ethan Mollick, de la Escuela de Negocios Wharton de la Universidad de Pensilvania, afirmó que herramientas como la Generación Aumentada por Recuperación (RAG) serán esenciales para las soluciones de IA generativa en el mercado.

A medida que aumenta la adopción de agentes virtuales en diversas industrias—retail, salud, banca y más—los incidentes en concesionarios de autos subrayan la necesidad crítica de una implementación responsable de chatbots y cumplimiento. Sin embargo, las herramientas de gobernanza diseñadas para la IA enfrentan desafíos. Un informe reciente del World Privacy Forum indicó que más de un tercio (38%) de las herramientas de gobernanza de IA revisadas contenían "soluciones defectuosas." Estas herramientas a menudo carecían de la rigurosa garantía de calidad que se encuentra en el software tradicional y a veces no eran adecuadas para contextos fuera de su caso de uso original.

Mientras los chatbots buscan ayudar a los clientes, es esencial priorizar los intereses organizacionales y de los consumidores. Establecer salvaguardias sólidas será crucial para construir confianza en las tecnologías de IA en el futuro.