全文目录：

• • 🌟 开篇语
  • 0️⃣ 前言（Preface）
  • 1️⃣ 摘要（Abstract）
  • 2️⃣ 背景与需求（Why）
  • • 2.1 为什么要爬报刊历史期号索引
    • 2.2 目标站点的典型结构
    • 2.3 目标字段清单
  • 3️⃣ 合规与注意事项
  • • 3.1 robots.txt 基本说明
    • 3.2 频率控制
    • 3.3 不采集敏感信息
    • 3.4 不绕过付费或登录限制
  • 4️⃣ 技术选型与整体流程（What/How）
  • • 4.1 静态、动态和 API 的判断
    • 4.2 为什么不一开始就用 Scrapy
    • 4.3 整体流程
  • 5️⃣ 环境准备与依赖安装
  • • 5.1 Python 版本
    • 5.2 创建虚拟环境
    • 5.3 安装依赖
    • 5.4 推荐项目结构
    • 5.5 requirements.txt
  • 6️⃣ 核心实现：请求层（Fetcher）
  • • 6.1 headers 设置
    • 6.2 timeout
    • 6.3 session/cookie
    • 6.4 失败处理：重试与退避
  • 7️⃣ 核心实现：解析层（Parser）
  • • 7.1 解析方式选择
    • 7.2 列表页如何拿详情链接
    • 7.3 详情页如何抽字段
    • 7.4 缺失字段怎么办
  • 8️⃣ 数据存储与导出（Storage）
  • • 8.1 为什么选择 SQLite 起步
    • 8.2 字段映射表
    • 8.3 去重策略
  • 9️⃣ 完整可运行代码
  • • 9.1 运行结果
  • 10. 真实站点改造方法
  • • 10.1 关闭样例模式
    • 10.2 修改日历 URL 规则
    • 10.3 修改 CSS 选择器
  • 11. 年月期号级联解析
  • • 11.1 年份层
    • 11.2 月份层
    • 11.3 日期层
    • 11.4 期号层
    • 11.5 分页层
  • 12. 动态日历解析
  • • 12.1 什么是动态日历
    • 12.2 JSON 日历解析示例
    • 12.3 只有渲染结果，没有接口怎么办
  • 13. 历史分页解析细节
  • • 13.1 从第一页顺着下一页走
    • 13.2 根据总页数构造 URL
    • 13.3 空页处理
  • 14. 数据清洗策略
  • • 14.1 日期清洗
    • 14.2 数字化状态清洗
    • 14.3 URL 补全
  • 15. 运行方式与结果展示
  • • 15.1 启动命令
    • 15.2 输出位置
    • 15.3 查看 SQLite 数据
    • 15.4 示例结果
  • 16. 常见问题与排错
  • • 16.1 403 怎么办
    • 16.2 429 怎么办
    • 16.3 HTML 抓到空壳怎么办
    • 16.4 解析报错怎么办
    • 16.5 编码乱码怎么办
    • 16.6 日期解析失败怎么办
    • 16.7 重复数据太多怎么办
    • 16.8 下一页死循环怎么办
  • 17. 进阶优化
  • • 17.1 并发采集
    • 17.2 asyncio
    • 17.3 Scrapy 改造方向
    • 17.4 断点续跑
    • 17.5 游标记录
    • 17.6 日志与监控
    • 17.7 定时任务
    • 17.8 增量采集
  • 18. 工程化拆分建议
  • • 18.1 config.py
    • 18.2 crawler/fetcher.py
    • 18.3 crawler/parser.py
    • 18.4 crawler/storage.py
  • 19. 字段质量检查
  • • 19.1 检查空字段
    • 19.2 检查日期范围
    • 19.3 检查重复主题
    • 19.4 检查状态分布
  • 20. MySQL 存储扩展示例
  • 21. 选择器稳定性建议
  • • 21.1 不建议的写法
    • 21.2 推荐写法
    • 21.3 多选择器兜底
  • 22. 请求失败 URL 的补抓
  • 23. 面向真实业务的采集边界
  • 24. 总结与延伸阅读
  • 🌟 文末
  • • ✅ 专栏持续更新中｜建议收藏 + 订阅
    • ✅ 互动征集
    • ✅ 免责声明