x-reader

x-reader 是一款轻量、开源的通用内容获取与结构化工具，支持从 7 个以上主流平台自动识别、抓取、统一格式输出内容。你只需要输入一个 URL，它就能自动识别平台、爬取正文、提取字幕或转录音频，并输出干净、标准化的结构化内容。

它可以作为 CLI 命令行工具、Python 库、MCP 服务器 或 Claude Code 技能 使用，轻松接入各类 AI 工作流。

核心功能

x-reader 的工作流程非常简洁：
任意 URL → 自动平台检测 → 内容获取 → 标准化统一输出

• 自动识别 7+ 主流内容平台
• 文本内容：通过 Jina Reader 抓取清洗
• 视频内容：通过 yt-dlp 提取字幕
• 音频/播客：通过 Whisper 自动转录
• 特殊平台：支持 Bilibili、RSS、Telegram 等 API 接入

Python 层负责基础内容抓取与字幕提取，搭配 Claude Code 技能后，可实现视频、播客的完整转录与 AI 内容分析。

三层架构（按需使用，灵活组合）

x-reader 采用分层设计，你可以只使用需要的部分，无需全量安装。

第 1 层：Python CLI（基础核心）

CLI 是 x-reader 最基础的使用方式，安装完成后可直接在终端使用。

常用命令

# 抓取任意网页内容
x-reader https://mp.weixin.qq.com/s/abc123

# 抓取推文
x-reader https://x.com/elonmusk/status/123456

# 批量抓取多个 URL
x-reader https://url1.com https://url2.com

# 登录需要验证的平台（如小红书）
x-reader login xhs

# 查看历史抓取内容
x-reader list

第 2 层：Claude Code 技能（AI 增强）

该层用于视频、播客的完整转录与 AI 分析，需要克隆项目仓库并配置技能。

技能结构

skills/
├── video/       # YouTube/Bilibili/播客 → Whisper 完整转录
└── analyzer/    # 任意内容 → AI 结构化分析报告

安装方法

cp -r skills/video ~/.claude/skills/video
cp -r skills/analyzer ~/.claude/skills/analyzer

配置完成后，直接在 Claude Code 中发送视频/播客链接即可自动处理。

第 3 层：MCP 服务器（工具化接入）

将 x-reader 封装成 MCP 工具，可接入支持 MCP 的 AI 环境。

部署

git clone https://github.com/runesleo/x-reader.git
cd x-reader
pip install -e ".[mcp]"
python mcp_server.py

暴露工具接口

• read_url(url) — 读取单个 URL
• read_batch(urls) — 并发批量读取
• list_inbox() — 查看历史内容
• detect_platform(url) — 识别 URL 所属平台

Claude Code 配置示例

{
    "mcpServers": {
        "x-reader": {
            "command": "python",
            "args": ["/path/to/x-reader/mcp_server.py"]
        }
    }
}

支持平台一览

x-reader 已支持主流内容平台，自动区分文本、视频、音频处理方式：

说明：

• 小红书需要一次性登录：x-reader login xhs
• YouTube Whisper 转录需要配置 GROQ_API_KEY

安装教程

基础安装

pip install git+https://github.com/runesleo/x-reader.git

带扩展能力安装

# 支持 Telegram
pip install "x-reader[telegram] @ git+https://github.com/runesleo/x-reader.git"

# 支持浏览器渲染（公众号、小红书等）
pip install "x-reader[browser] @ git+https://github.com/runesleo/x-reader.git"
playwright install chromium

# 安装全部功能（推荐）
pip install "x-reader[all] @ git+https://github.com/runesleo/x-reader.git"
playwright install chromium

本地克隆安装

git clone https://github.com/runesleo/x-reader.git
cd x-reader
pip install -e ".[all]"
playwright install chromium

视频/音频依赖

# macOS
brew install yt-dlp ffmpeg

# Linux
pip install yt-dlp
apt install ffmpeg

Whisper 转录需要配置 GROQ_API_KEY。

作为 Python 库使用

你也可以在代码中直接调用 x-reader 进行内容抓取：

import asyncio
from x_reader.reader import UniversalReader

async def main():
    reader = UniversalReader()
    content = await reader.read("https://mp.weixin.qq.com/s/abc123")
    print(content.title)
    print(content.content[:200])

asyncio.run(main())

配置文件

将项目内 .env.example 复制为 .env，按需填写配置：

TG_API_ID      # Telegram API ID
TG_API_HASH    # Telegram API Hash
GROQ_API_KEY   # Whisper 转录使用
INBOX_FILE     # 历史内容存储路径
OUTPUT_DIR     # 输出目录
OBSIDIAN_VAULT # 可选：直接同步到 Obsidian

作者说明

x-reader 是开发者 runes_leo 的第一个开源项目。

作者自述：

我日常最常用的场景就是看到好内容，直接丢给 Claude Code 解读并生成下一步行动。
这个项目全程由 AI 辅助完成，我本身并不是专业程序员，但 AI 让 Builder 和 Coder 之间的门槛越来越低。
x-reader 做的事情很简单：输入链接 → 自动识别平台 → 输出干净 Markdown。
配合 Claude Code Skill，可以实现：链接 → 抓取 → 转录 → 分析 → 行动清单。

目前项目仍在持续完善，欢迎提交 Issue 或参与共建。