AI 巨头的“书荒”危机:为获取纯净数据,科技巨头正秘密粉碎数百万本实体书

早报3个月前发布 小马良
126 0

在互联网被“AI 生成的垃圾内容”淹没的今天,科技巨头们发现了一个意想不到的纯净数据源:实体书店里的旧书。

据 404 Media 的最新调查,为了训练更聪明、更“干净”的 AI 模型,各大科技公司正通过中间商秘密购买数百万本二手书。而这些书在提取完文字后,往往面临一个残酷的命运——被销毁。

为什么是实体书?

AI 的发展依赖海量数据,但现在的互联网充满了由早期 AI 生成的重复、低质内容(即“AI Slop”)。这些内容如果再次被用于训练新模型,会导致“模型崩溃”。

因此,目光转向了 2022 年之前的印刷品。这些由人类亲手撰写、编辑、出版的文字,被视为未被污染的“黄金数据”。它们原创、逻辑严密,且带有独特的文化质感。

隐秘的采购链:ISBNdb 成为新枢纽

这场购书热潮并非毫无踪迹。拥有超过 1.11 亿册编目书籍的在线数据库 ISBNdb,已从传统的图书交易平臺转型为 AI 公司的批量采购中心。

  • 疯狂下单:单笔订单从 1,000 册到 100 万册不等。
  • 无视价格与分类:买家不挑题材、不看作者,甚至不在乎定价过高,只要带有国际标准书号(ISBN)就照单全收。
  • 销量激增:一位专业书商透露,其周销量从平时的 20 本飙升至数百本,增长了五倍。Alibris 和 Biblio 等平台也报告了类似的异常波动。

虽然没有确凿证据指名道姓,但考虑到 Anthropic、Google 等公司此前因使用受版权保护书籍而面临的诉讼压力,这种通过中间商“洗白”数据来源的做法显得顺理成章。

“破坏性扫描”:效率至上,文化靠边

一旦书籍到手,数字化过程同样冷酷。

曾参与 Google Books 项目并后来领导 Anthropic“巴拿马计划”的 Tom Harvey 证实,AI 公司雇佣了多家文档扫描公司。其中,破坏性扫描因其高效和低成本成为首选:员工将书籍拆解,把单页送入高速工业扫描仪。

这意味着,数百万本承载人类知识的实体书,在变成服务器里的二进制代码后,就变成了废纸。

道德困境:智能的进步,文化的倒退?

这一做法引发了强烈的伦理质疑:

  1. 文化灭绝风险:在拆解过程中,稀有或绝版书籍可能与普通畅销书一样被粉碎,导致不可逆的文化损失。
  2. 知识私有化:扫描后的数据进入私人数据库,公众无法访问。我们得到了更聪明的 AI,却失去了对原始文本的公共访问权。
  3. 版权阴影:尽管法院在某些案例中裁定 AI 训练属于“合理使用”,但 Anthropic 仍因维护包含七百万本盗版书的仓库而面临 15 亿美元罚款,Google 也因类似行为被出版商联盟起诉。
© 版权声明

相关文章