science-fulltext-hunting

1# 全文获取：九级回退与验真
2 
3## 铁律：200 不等于拿到了全文
4 
5实测中大量站点回 **200 + `text/html`**：Cookie 门、登录页、"请启用 cookie"跳转页。
6**每一级都必须验**：`content-type` 含 `pdf` **且** 文件头是 `%PDF-`；JATS 则验根元素 `<article`。
7 
8判失败的特征：
9- 内容是 HTML 且含 `cookies_not_supported` / `sign in` / `access denied` / `captcha`
10- 重定向后的 `finalUrl` 落在 `/login`、`/sorry/`、`?error=`
11- 长度 < 20KB 的"PDF"（多为占位页）
12 
13## 九级顺序（不跳级，除非上层明确 no-oa）
14 
151. `OpenAlex best_oa_location.pdf_url` —— **经常是空的**，别停在这一级
162. `OpenAlex locations[].pdf_url` —— 遍历全部 location，取第一个非空
173. `Unpaywall /v2/{doi}?email=` —— 需真实邮箱（占位会被 422 拒）
184. `Europe PMC fullTextUrlList` —— 挑 `documentStyle=pdf` 且 `availability` 含 open
195. `Europe PMC /{PMCID}/fullTextXML` —— **优先 JATS**：有章节标签，做证据链比 PDF 好切
206. `PMC efetch db=pmc&id={pmcid}&retmode=xml` —— 无需 key
217. 直链模板（这四个实测无门）：
22   - arXiv `https://arxiv.org/pdf/{id}`（支持 Range）
23   - PLOS `journals.plos.org/plosone/article/file?id={doi}&type=printable`
24   - Frontiers `frontiersin.org/articles/{doi}/pdf`
25   - bioRxiv `biorxiv.org/content/{doi}v1.full.pdf`（medRxiv 同路径会 403）
268. 出版商 Cookie 两步：先 GET 落地页收 Cookie，再带 `Referer` + Cookie 请求 PDF
27   - Springer `link.springer.com/content/pdf/{doi}.pdf`
28   - Nature `nature.com/articles/{suffix}.pdf`
299. CF 站点（Wiley `pdfdirect/`、SAGE `doi/pdf/`、T&F `doi/pdf/`、MDPI）—— 需 TLS 指纹伪装；本机默认判 `blocked`
30 
31Sci-Hub（`.st`/`.ru`）返回的是 **ALTCHA PoW 挑战页**，默认关闭；开了也要接受它可能变算法。
32 
33## 拿到之后
34 
351. **抽结构**：PDF 用 pymupdf 逐页取文本并记 `page_from/page_to`；JATS 按 `<sec sec-type>` 切。
362. **留 page 偏移**：证据链要能回答"这句话在第几页第几段"，所以抽文本时同时存字符偏移到页码的映射。
37…