markdown.new

在构建 RAG（检索增强生成）应用或训练 AI 智能体时，如何处理杂乱的网页 HTML 一直是个痛点。冗余的标签、脚本和样式不仅浪费宝贵的 Token，还会干扰大模型的理解。

markdown.new 是一个完全免费、无需注册的在线工具，能将任何公开 URL 瞬间转换为清晰、结构化的 Markdown 格式。据官方测试，相较于原始 HTML，它能减少高达 80% 的 Token 消耗，让 AI 处理更高效、更便宜。

核心亮点：专为 AI 而生

• 极致压缩：自动剥离冗余 HTML 代码，仅保留标题、列表、链接、表格等核心语义结构，大幅降低 Token 成本。
• 多格式支持：不仅支持网页 URL，还提供文件转 Markdown功能，支持 PDF、Word (.docx)、Excel (.xlsx) 等格式直接转换。
• 零门槛使用：无需注册，无订阅费，无付费墙。面向开发者、AI 构建者和团队永久开放。
• Cloudflare 驱动：基于 Cloudflare Workers 和 Browser Rendering 技术，全球边缘节点加速，响应速度极快。

工作原理：智能三层回退机制

为了确保能处理各种类型的网站（从静态博客到重度依赖 JS 的单页应用），markdown.new 采用了一套聪明的三层回退链（Three-Tier Fallback）：

1. 原生优先：首先尝试发送 Accept: text/markdown 请求头。如果目标网站原生支持 Markdown 输出（如某些技术文档站），直接获取，速度最快。
2. AI 转换：若原生不支持，将获取到的 HTML 送入 Cloudflare Workers AI，调用 toMarkdown() 模型进行智能清洗和转换。
3. 浏览器渲染：对于大量依赖 JavaScript 动态加载内容的网站，自动启用 Cloudflare Browser Rendering（无头浏览器），渲染完整页面后再提取 Markdown。

系统会自动选择最快成功的一层，确保在速度与兼容性之间取得最佳平衡。

如何使用？

方法一：浏览器快捷访问（最简单）

只需在任何网址前加上 https://markdown.new/ 即可。

• 示例：想转换 https://example.com，直接访问 https://markdown.new/https://example.com。
• 结果：页面将直接显示转换后的 Markdown 内容，可一键复制。

方法二：API / cURL 集成

适合嵌入到自动化工作流或 AI Agent 中。

curl -X POST https://markdown.new/api \
  -H "Content-Type: application/json" \
  -d '{"url": "https://example.com"}'

高级参数：

• method: 指定转换模式 (auto, ai, browser)。
• retain_images: 设置为 true 可保留图片链接（默认排除以节省 Token）。

方法三：文件上传

访问官网，直接拖拽 PDF、Word 或 Excel 文件，即可下载对应的 .md 文件。

限制与规范

• 速率限制：每个 IP 每天 500 次 请求。超出将返回 HTTP 429。可通过响应头 x-rate-limit-remaining 查看剩余额度。
• 适用范围：仅限公开 URL。付费墙后、需登录认证的内容无法访问。
• 合规性：
  • 服务不存储或重新发布内容，仅做实时转换。
  • 请尊重目标网站的 robots.txt 和服务条款。
  • 屏蔽方法：网站管理员可在 robots.txt 中添加 User-agent: markdown.new Disallow: /，或通过 WAF 屏蔽该 User-Agent。

应用场景

• RAG 知识库构建：批量抓取技术文档、新闻文章，清洗后存入向量数据库。
• AI Agent 上下文优化：让智能体在浏览网页时只读取精简后的 Markdown，节省 Token 并提高响应速度。
• 内容归档：将重要的网页资料或报告永久保存为轻量级的 Markdown 格式。
• 多格式数据处理：统一将团队内部的 PDF/Word 报告转换为 Markdown，便于版本控制和协作。