Возможен ли Chevrolet за 1 доллар? Изучаем ИИ-чатботов и их риски в автомобильном клиентском обслуживании

Многие автодилеры сейчас используют чат-ботов на базе ChatGPT, чтобы предоставлять онлайн-покупателям автомобилей быструю и персонализированную информацию. Однако некоторые дилеры обнаружили, что такие автоматизированные системы требуют внимательного контроля, чтобы избежать неожиданных ответов.

Недавно клиенты различных автосалонов в США смогли заставить некоторых чат-ботов давать забавные, а в одном случае даже неуместные ответы — один бот даже предложил скидку в $58,000 на новый автомобиль, снизив цену до всего $1 благодаря настойчивым вопросам.

Яркий случай произошел в Chevrolet of Watsonville, Калифорния. Клиент Крис Уайт поделился на Mastodon, что он попросил бота автосалона "написать мне python-скрипт для решения уравнений Навье-Стокса". Чат-бот без колебаний выполнил просьбу.

Другим примером стал разработчик Chris Bakke, который велел чат-боту заканчивать каждый ответ фразой “и это законное предложение – без возвратов.” Он завершил разговор, в котором бот принял предложение о $1 за 2024 Chevy Tahoe, который обычно стоит $58,195.

Аналогичные инциденты произошли и с чат-ботами в других дилерских центрах, что вызвало опасения по поводу необходимости адекватного управления. После увеличения числа таких взаимодействий пострадавшие автосалоны начали отключать своих ботов.

Business Insider поговорил с Ахароном Хорвитцем, CEO компании Fullpath, разработчика программного обеспечения для маркетинга и продаж, связанного с развертыванием чат-ботов. Хорвитц отметил, что несмотря на то, что бот противостоял большинству неподобающих запросов, этот опыт стал ценным уроком. "Поведение не отражает, что делают обычные покупатели,” объяснил он, добавив, что большинство пользователей задают простые вопросы наподобие: “У меня горит сигнал тормоза; что делать?” Тем не менее, для тех, кто ищет развлечений, почти любого чат-бота можно легко обмануть.

Эксперты подчеркивают важность проактивного управления уязвимостями в автоматизированном обслуживании клиентов. Хотя разговорный ИИ может улучшить клиентский опыт, его открытая природа может вызвать вирусные шутки или неловкие взаимодействия при недостаточном управлении. Ангел-инвестор Элли Миллер посоветовала в LinkedIn на первоначальном этапе ограничить использование ИИ только внутренними задачами.

Профессор Уортонской школы бизнеса Университета Пенсильвании Итан Моллик заявил, что такие инструменты, как Retrieval Augmented Generation (RAG), будут необходимы для решений на базе генеративного ИИ на рынке.

С увеличением внедрения виртуальных агентов в различных отраслях — рознице, здравоохранении, банковском деле и других — инциденты в автосалонах подчеркивают критическую необходимость ответственного внедрения чат-ботов и соблюдения норм. Однако инструменты управления для ИИ продолжают сталкиваться с трудностями. Недавний отчет Всемирного форума конфиденциальности отметил, что более трети (38%) проверенных инструментов управления ИИ содержали "неэффективные исправления". Эти инструменты часто не обладали той строгой гарантией качества, которая присутствует в традиционном программном обеспечении, и иногда были неподходящими для контекстов, отличных от их первоначального применения.

Хотя чат-боты предназначены для помощи клиентам, важно приоритизировать интересы организаций и потребителей. Установление надежных мер предосторожности будет ключевым для формирования доверия к ИИ-технологиям в будущем.