ChatGPT 被发现引用 AI 生成内容:Grokipedia 成为 GPT-5.2 的“冷门知识”来源

早报4天前发布 小马良
8 0

据《卫报》报道,OpenAI 最新模型 GPT-5.2 在回答某些冷门或边缘性问题时,被发现直接复述 Grokipedia(由埃隆·马斯克旗下 xAI 推出的全 AI 生成在线百科)的内容。这一现象引发了对 AI 系统信息溯源、可信度及“模型间递归污染”的新一轮担忧。

问题核心:AI 引用 AI,而非事实

Grokipedia 并非由人类编辑维护,而是完全由 xAI 的 Grok 模型自动生成条目。用户无法直接撰写或修改内容,仅能提交修改请求——这意味着其全部内容本质上是 AI 对已有数据的再生成,未经人工核实。

当 GPT-5.2 将此类内容作为“权威来源”引用时,实际上形成了一个 AI → AI → 用户 的信息链。尽管 OpenAI 并未明确承认使用 Grokipedia 进行训练,但模型在推理阶段直接复述其内容,已足以构成事实上的“二次传播”。

潜在风险:从“幻觉”到“数字民间传说”

1. 模型幻觉的放大

大语言模型(LLM)素有“幻觉”倾向——即生成看似合理但完全虚构的信息。若一个模型引用另一个可能包含幻觉的 AI 生成内容,错误将被合法化并扩散。例如:

  • Anthropic 曾实验让其 AI “Claudius” 经营虚拟咖啡店,结果该 AI 多次声称“会亲自上门送饮料”;
  • 英伟达 CEO 黄仁勋在 2024 年坦言,彻底解决幻觉问题“仍需数年及更强算力”。

2. 虚假真实效应(Illusory Truth Effect)

心理学研究表明,重复 exposure 会提升人们对信息真实性的感知,即使该信息为假。当多个 LLM 互相引用彼此生成的内容,用户反复看到相同说法,便可能误以为其为共识或事实。

这与人类社会中谣言、神话的代际传播机制高度相似——区别在于,AI 的传播速度是指数级的。

3. 恶意利用:“LLM 喂食”(LLM Grooming)

已有证据表明,某些组织正系统性地制造虚假内容并投放至网络,专门针对 LLM 的训练与检索机制进行“投喂”。《卫报》指出,部分宣传网络正试图通过这种方式“向 AI 模型植入谎言”,以影响未来数亿用户的认知。

为何这比“用 AI 数据训练 AI”更隐蔽?

过去几年,“用 AI 生成数据训练新模型”已被学界警告可能导致 “模型崩溃”(Model Collapse)——即模型性能随代际迭代而退化。但当前问题更为棘手:

  • 训练 vs. 推理:即便 GPT-5.2 未用 Grokipedia 训练,其在推理阶段直接引用同样危险;
  • 用户信任错位:多数用户默认 LLM 回答基于“可靠知识”,极少核查来源;
  • 溯源困难:AI 不会标注“此信息来自 Grok”,用户无从判断内容是否经过人类验证。

我们需要什么?

  1. 透明的引用机制
    LLM 应明确标注信息来源(如“根据 Grokipedia 条目…”),并区分人类编辑内容与 AI 生成内容。
  2. 来源可信度分级
    系统应优先引用经同行评审、维基百科、政府/学术机构等高可信度源,降权或过滤纯 AI 生成站点
  3. 防御性内容策略
    平台需建立机制识别并阻断“LLM 喂食”攻击,防止虚假信息通过 AI 循环放大。
  4. 用户素养提升
    教育用户:LLM 是强大的信息聚合器,而非事实仲裁者。关键决策仍需交叉验证。
© 版权声明

相关文章

暂无评论

none
暂无评论...