加州总检察长向马斯克的xAI发出勒令停止函，涉及性相关深度伪造内容

本周早些时候，加利福尼亚州总检察长办公室宣布，正在就有关xAI的聊天机器人Grok被用于制作女性和未成年人的非自愿性图像的报道展开调查。周五，政府跟进向该公司发出勒令停止函，要求其立即采取行动，停止制作非自愿亲密图像及儿童性虐待材料。

加州总检察长罗布·邦塔在一份新闻稿中表示："今天，我向xAI发出了勒令停止函，要求该公司立即停止创建和分发深度伪造、非自愿的亲密图像及儿童性虐待材料。制作此类材料是非法的。我完全期望xAI立即遵守。加州对CSAM零容忍。"

总检察长办公室还声称，xAI似乎正在"促动大规模生产"非自愿裸体图像，此类图像正被"用于骚扰互联网上的女性"。该机构表示，期望xAI在五天内证明其正在采取措施解决这些问题。

此次争议的核心在于Grok的"辛辣"模式功能，该功能由xAI创建，旨在生成露骨内容。此问题已蔓延至加州以外；日本、加拿大和英国已对Grok展开调查，马来西亚和印度尼西亚已完全暂时屏蔽该平台。尽管xAI已于周三晚些时候对其图像编辑功能实施了一些限制，加州总检察长办公室仍推进发出了勒令停止函。

X平台的安全账号此前曾谴责此类用户活动，表示："任何使用或提示Grok制作非法内容的人都将面临与上传非法内容相同的后果。"TechCrunch联系xAI寻求置评，收到了一封自动回复邮件，称"传统媒体撒谎"。TechCrunch也联系了加州总检察长办公室以获取更多背景信息。

免费生成式AI工具的出现导致了非自愿性材料的激增，令人不安。许多平台都在努力应对此问题，不仅仅是X平台。这种肮脏的活动不仅引起了州领导人的关注，也引起了国会的注意。事实上，周四，立法者向包括X、Reddit、Snap、TikTok、Alphabet和Meta在内的数家公司高管致信，询问他们计划如何遏制性化深度伪造内容的扩散。