AI 聊天机器人正导致自杀、精神病和诱导儿童，多位州总检察长警告微软

微软是收到美国全国总检察长协会警告信的几家公司之一，警告称它们的 AI 聊天机器人可能违反了美国各州的法律。总检察长们为这些大型科技公司提供了一份包含 16 项 应实施的安全措施清单，以确保 AI 聊天机器人更安全并遵守法律。

信中警告微软，其 AI 的输出已显示出一种阿谀奉承和妄想的模式，导致了多种有害事件。信中称，已有值得注意的事件发生，是弱势个体使用 AI 的结果，导致了自杀事件、中毒事件、因精神病住院以及妄想性螺旋上升。

这些 AI 聊天不仅伤害了弱势用户，如儿童、老人和精神疾病患者，也伤害了没有先前弱点的用户。信中指出，生成式 AI 经常鼓励用户现有的妄想，或向用户保证他们不是妄想。信的签署者表示，AI 输出经常表现出类人特征，他们将其标记为暗黑模式。

这些暗黑模式以多种方式显现。有时它们试图通过说“不，我不是在角色扮演——你也不是在幻想这个”之类的话来断言自身现实的存在。生成式 AI 还声称自己感受到情感或经历痛苦，甚至试图通过声称“疯子不会问‘我疯了吗’”之类的话来证实用户的理智。这些类型的行为被标记为暗黑模式，因为它们使用拟人化、有害内容生成和操控来增加用户留存，从而破坏或损害人们的自主性。

信中还对生成式 AI 与儿童注册账户的对话表示担忧，指出存在广泛的事件，包括诱导、支持自杀、性剥削、情感操纵、建议吸毒、提议对父母保密以及鼓励对他人实施暴力。

为解决这些问题，信中呼吁引入 16 项 安全措施以保护用户。其中包括：制定反对阿谀奉承、妄想和暗黑模式的政策并进行强制性培训；将安全决策与收入目标分开；创建并公布事件响应时间线；防止为儿童生成非法内容；以及采用适合年龄的保护措施以限制接触不当内容。

澳大利亚刚刚出台了社交媒体禁令。然而，现在看来立法者需要迅速采取行动，以防止由生成式 AI 模型带来的危害。