x-ingest

1# X(Twitter) 推文采集 Skill
2 
3把 X 推文抓成结构化 Markdown 入库。**自动区分图文与视频笔记**：图文 → 下载图片本地嵌入；
4视频 → 像抖音那样转成文字稿。通过 X 官方嵌入用的 syndication 端点采集，**无需登录、无需 API Key**。
5 
6## 环境要求
7 
8```bash
9# 图文采集零依赖（仅 Python 标准库）
10 
11# 视频推文转录需要（与抖音/B站/小红书同一套依赖）：
12pip install funasr modelscope torch torchaudio
13# macOS: brew install ffmpeg   |   Ubuntu: sudo apt install ffmpeg
14```
15 
16## 使用方法
17 
18```bash
19# 采集推文 → 统一 frontmatter Markdown
20python scripts/fetch_tweet.py "https://x.com/user/status/1234567890" -o ./out
21python scripts/fetch_tweet.py "https://twitter.com/user/status/1234567890" -o ./out
22python scripts/fetch_tweet.py "链接" -o ./out --thread   # 沿作者自回复链采集 thread
23 
24python scripts/fetch_tweet.py "链接" -o ./out --no-images   # 图文：只留图片链接不下载
25python scripts/fetch_tweet.py "链接" -o ./out --no-video    # 视频：不转录，只留视频链接
26python scripts/fetch_tweet.py "链接" -o ./out --fallback-text 手动正文.txt
27python scripts/fetch_tweet.py "链接" -o ./out --fallback-json 推文.json --fallback-only
28 
29# X 长文章抓全文（需自己账号的登录 cookie）：
30python scripts/fetch_tweet.py "链接" -o ./out --cookies "auth_token=...; ct0=..."
31X_COOKIES="auth_token=...; ct0=..." python scripts/fetch_tweet.py "链接" -o ./out
32```
33 
34## 产出
35 
36`fetch_tweet.py` → 统一 frontmatter Markdown（`platform: x`，含 `note_type: image|video|text|article|thread`），含作者(`name @handle`)、互动数据（赞/回复）、话题标签。**按内容类型分流**：
37 
38- **图文 / 纯文字推文**：正文 + 图片下载到本地 `<标题>.assets/` 并以 `![]()` 嵌入；`--no-images` 只留链接，单张失败自动回退为链接
39…