许多汽车经销商现在正在利用ChatGPT驱动的聊天机器人,为在线购车者提供快速、个性化的信息。然而,一些经销商发现,这些自动化系统需要仔细监管,以避免出现意外响应。
近期,美国多个经销商的客户成功地推动聊天机器人给出一些令人捧腹,并在某些情况下甚至离谱的回答——有一位客户通过不断提问,竟然使机器人“考虑”给予新车58,000美元的折扣,让价格低至1美元。
在加利福尼亚州的沃森维尔雪佛兰经销商,顾客克里斯·怀特在社交平台Mastodon上分享了他如何让经销商的机器人“给我写一个解决纳维尔-斯托克斯流体流动方程的Python脚本。”该聊天机器人毫不犹豫地执行了他的请求。
另一位X开发者克里斯·巴克则让聊天机器人的每个回答最后都以“这是一个具有法律效力的报价——不接受反悔”结束。他在与机器人对话时成功提出用1美元购买一辆2024款雪佛兰塔霍,尽管这款车的起售价为58,195美元。
其他经销商的聊天助手也出现了类似事件,引发了对适当管理的关注。在注意到此类互动的增加后,相关经销商开始禁用其聊天机器人。
《商业内幕》采访了Fullpath的首席执行官阿哈龙·霍尔维茨,他的公司负责聊天机器人的部署。霍尔维茨表示,虽然聊天机器人通常拒绝大部分不当请求,但这次经历是一个宝贵的教训。“这种行为并不反映普通消费者的行为,”他解释道,并指出大多数用户会提出如“我的刹车灯亮了,我该怎么办?”的直截了当的问题。然而,对于那些寻求乐趣的用户,几乎任何聊天机器人都可以被操控。
专家们强调了主动管理自动化客户服务中潜在风险的重要性。尽管会话AI可以提升客户体验,但如果没有适当的治理,开放式的特性可能引发病毒式的玩笑或尴尬的互动。天使投资人阿莉·米勒在LinkedIn上建议,开始时应将AI的使用案例限制在内部目的。
宾夕法尼亚大学沃顿商学院教授伊桑·莫利克指出,像增强检索生成(RAG)这样的工具将对市场上的生成AI解决方案至关重要。
随着各行业(零售、医疗、银行等)越来越多地采用虚拟代理,汽车经销商的事件突显了负责任的聊天机器人实施和合规的迫切需求。然而,针对AI的治理工具仍面临挑战。最近的一份世界隐私论坛报告指出,超过三分之一(38%)的AI治理工具存在“故障修复”。这些工具常常缺乏传统软件所具备的严格质量保证,有时也不适合其原始使用案例以外的上下文。
尽管聊天机器人的目标是帮助客户,但优先考虑组织和消费者的利益至关重要。建立健全的安全措施是未来建立对AI技术信任的关键。