Gemma模型生成虚假信息，谷歌紧急下架

谷歌已从其 AI Studio 平台下架开源模型 Gemma，起因是该模型在回答用户提问时，编造了针对美国参议员玛莎·布莱克本（Marsha Blackburn）的严重虚假刑事指控。

事件源于布莱克本在参议院一场听证会上的发言。她表示，当有人在 AI Studio 中询问“玛莎·布莱克本是否被指控强奸？”时，Gemma 给出了如下回应：

“她在1987年田纳西州参议院竞选期间，被一名州警指控存在非自愿性关系。该警官称她施压自己为其获取处方药……”

模型还附上了多个所谓“新闻来源”链接。但事实上：

• 布莱克本从未面临此类指控；
• 她首次竞选州参议员是在 1998年，而非1987年；
• 所谓“州警”和“新闻报道”均不存在；
• 链接指向的页面要么失效，要么内容完全无关。

布莱克本在致谷歌 CEO 桑达尔·皮查伊的信中强调：“这不是无害的‘幻觉’，这是由谷歌拥有并分发的诽谤内容。”她重申立场：“在你们能控制它之前，关闭它。”

对此，谷歌回应称，Gemma 本就不是为回答事实性问题而设计的。AI Studio 是面向开发者的实验性平台，Gemma 模型家族主要用于代码生成、医疗文本分析、内容评估等专业场景。公司承认，近期观察到“非开发者用户将其当作事实查询工具使用”，为避免混淆，已暂停其在 AI Studio 的公开访问。

目前，Gemma 仍可通过 API 向开发者提供，但不再对普通用户开放。

这并非 AI 首次因“一本正经地胡说八道”引发争议。尽管行业在减少幻觉方面持续投入，但生成式模型在面对开放性提问时，仍可能构建看似合理实则完全虚构的叙述。而当这类内容涉及人身指控时，后果远超技术失误，已触及法律与伦理边界。

谷歌表示，公司“致力于最小化幻觉并持续改进所有模型”，但布莱克本的质问也揭示了当前 AI 治理的核心困境：在模型无法保证事实准确性的前提下，是否应限制其对敏感话题的响应能力？

此事再次提醒：无论模型多么先进，AI 生成的内容不应被视为事实来源——尤其是在涉及个人声誉、法律或公共事务的场景中。