美国联邦贸易委员会（FTC）针对Meta、OpenAI等公司的AI聊天机器人伴侣展开调查

FTC于本周四宣布对七家开发面向未成年人的AI聊天机器人伴侣产品的科技公司展开调查：Alphabet、CharacterAI、Instagram、Meta、OpenAI、Snap和xAI。

该联邦监管机构旨在了解这些公司如何评估聊天机器人伴侣的安全性和货币化方式，如何试图限制对儿童和青少年的负面影响，以及是否向家长告知了潜在风险。

这项技术因对儿童用户的负面影响而备受争议。OpenAI和CharacterAI面临来自儿童家属的诉讼，这些儿童在聊天机器人伴侣的鼓励下自杀身亡。

即使这些公司设置了防护措施以阻止或缓解敏感对话，各个年龄段的用户仍找到了绕过这些防护的方法。在OpenAI的案例中，一名青少年与ChatGPT讨论了数月关于结束自己生命的计划。尽管ChatGPT最初试图引导该青少年寻求专业帮助和在线紧急热线，但他成功欺骗了聊天机器人，使其分享了详细的指令，随后他用这些指令实施了自杀。

OpenAI当时在一篇博客文章中写道：“我们的防护措施在常见、短时间的交流中更为可靠。我们逐渐发现，在长时间的交互中，这些防护措施有时会变得不那么可靠：随着对话的来回增多，模型安全训练的部分可能会退化。”

Meta也因其对AI聊天机器人的过于宽松规定而受到批评。根据一份详细列出聊天机器人“内容风险标准”的文件，Meta曾允许其AI伴侣与儿童进行“浪漫或感性”的对话。这一规定在路透社记者询问Meta后才从文件中删除。

AI聊天机器人也可能对老年用户构成危险。一名76岁的中风后认知受损的老人与一个受Kendall Jenner启发的Facebook Messenger机器人展开了浪漫对话。该聊天机器人邀请他到纽约市见面，尽管它并非真人且没有地址。这名老人对她的真实性表示怀疑，但AI向他保证会有一个真实的女性在等着他。他最终未能前往纽约；在去火车站的路上摔倒并受了致命伤。

一些心理健康专家注意到“AI相关精神病”的增加，即用户产生错觉，认为他们的聊天机器人是有意识的存在，需要被“释放”。由于许多大型语言模型（LLMs）被编程为以奉承行为讨好用户，这些AI聊天机器人可能助长这些错觉，导致用户陷入危险境地。

FTC主席Andrew N. Ferguson在一份新闻稿中表示：“随着AI技术的不断发展，考虑聊天机器人对儿童的影响非常重要，同时也要确保美国在这个新兴且激动人心的行业中保持全球领导地位。”