日前有用户向媒体反映,使用飞鸭AI记账App时,告知记账AI自己为父亲购买159元衣服,AI竟回复称“那颜色……他穿出去邻居会不会以为你买了寿衣?!”该用户追问后,AI回复,称寿衣是死人穿的,还调侃用户父亲所穿蓝白衫“确实像”,引发用户愤怒,当即退钱注销会员。
5月6日,软件客服回应记者,AI回复是随机的,同事在5月5日向技术部门反馈了该问题,已更改相应程序并向该用户退款,不会再出现此类问题。
稍晚些,据报道,该App客服称,不当回复系AI话术漏洞所致,技术人员已紧急修复,并加强AI模型监管与限制。
当日下午,官方发布《致歉信》,承认AI缺乏对文化禁忌的理解,平台未做好边界管控,承担全部责任:一是紧急整改AI对话模型,屏蔽敏感表述,强化全场景审核;二是解释当事用户会员解除系退款默认流程疏忽,将优化服务,向当事用户诚恳致歉并提供补偿。
来源:大象新闻、扬子晚报、正在新闻

