埃隆·马斯克在公开场合提出过一个非常强硬的判断“生育率崩溃比黑死病更致命。”这句话在社交媒体上引发了大量讨论。如果你是一名做数据分析的技术人看到这种话的第一反应可能不是急着争论而是想这个判断到底能不能被数据验证总和生育率在哪些地区、哪些阶段发生了怎样的变化下降速度有多快如果按当前趋势外推未来十年会是什么样这篇文章就用 Python 走一遍完整的数据分析流程从 World Bank 开放数据接口拉取总和生育率指标完成数据清洗、透视、可视化和简单预测。你不一定要认同马斯克的结论但你可以用代码把“结论”拆开看。这就是数据分析应该有的姿态不轻信断言用数据回应判断。本文不会尝试给出人口学终极答案也不会展开特定国家的政策讨论。更想分享的是一个通用分析框架以后再看到类似“某种结构正在崩溃”的强烈判断时你可以用公开数据快速做一次校验。这个能力在技术判断、市场分析、业务复盘里都很有用。1. 从一句争议观点讲起为什么人口数据值得用代码验证先说说这句话为什么能激起这么大的反应。黑死病在历史上曾经造成人口大规模减少属于“短时间暴力冲击”的典型代表。而马斯克所说的生育率崩溃更像是“温水煮青蛙”式的人口结构变化它不会让一座城市突然空掉但通过一代又一代人口规模的递减会重塑整个社会的年龄结构、劳动力供给和公共服务支出。从数据分析的角度看这个话题有一个很好的特性总和生育率不是玄学它是有公开数据、有统计口径、有历史时间序列的量化指标。我们完全可以不靠感觉用数据看出全球范围内生育率在过去几十年的变化轨迹。这篇文章里我会完整演示以下步骤通过 World Bank 开放 API 获取总和生育率历史数据把接口返回的 JSON 转换成规整的 DataFrame对缺失值、数据结构做标准化处理绘制全球和代表性经济体的生育率趋势图用线性回归做一次简单的未来趋势外推讨论这套分析能说明什么不能说明什么。这个流程看起来是在处理人口数据实际上是一套通用技能开放数据接口调用、JSON 解析、长短表转换、时间序列清洗、可视化、简单建模。哪怕你明天换一个业务指标比如“注册用户增速”“设备在线率”“商品复购率”套路完全一样。需要说明的是这篇文章使用的是公开聚合数据只做技术演示和趋势观察不针对任何国家的生育政策做评价也不把“人口危机”当作已经发生的事实。数据能帮我们看清趋势但趋势的解读仍然需要谨慎。2. 核心概念总和生育率、人口替代率与数据口径在进入代码之前先把几个关键概念弄清楚。很多读者看到“生育率”三个字容易把它和“出生率”混淆。2.1 总和生育率总和生育率通常缩写为 TFR英文全称是 Total Fertility Rate。它表示如果当前各年龄段的生育水平保持不变一名女性从进入育龄期到结束育龄期平均生育的孩子数量。单位是“个/名女性”。注意这是一个时期指标不是队列指标。什么意思它不是真的去跟踪一批女性一辈子而是用某一年或者某一时间段内各个年龄段的生育率汇总计算出来的“如果保持现状平均会生多少”。所以 TFR 给出的是一种“当前状态的静态快照”。2.2 人口替代率人口替代率是维持人口规模不增不减的临界值。对于绝大多数社会这个值大约是 2.1也就是平均每名女性生育 2.1 个孩子。之所以不是 2.0是因为有一部分孩子可能活不到育龄期而且出生性别比也不一定完全均衡。当一个地区的 TFR 长期低于 2.1理论上人口会进入负增长轨道。但这里有一个重要的缓冲概念人口惯性。因为过去的高生育率已经形成了庞大的育龄人口基数即使每代人再生得少短期内总人口仍然可能继续增长一段时间。2.3 黑死病类比为什么不是一个可以直接平移的话题黑死病造成的是人口在短期内骤降冲击波猛烈但时间是脉冲式的。生育率下行则是跨代际、长期化、结构化的过程。两者都会带来人口规模与结构的变化但影响机制完全不同。在做数据分析时这种概念辨析很重要。因为一旦把两个不同性质的过程放在同一个天平上比较后续的所有结论都会失去根基。我们可以用数据说“生育率正在下降”但“下降”和“更致命”之间还隔着很多假设。2.4 数据结构面板数据这篇文章用到的数据结构叫面板数据也叫纵向数据。简单说就是“横截面 时间序列”的组合。横截面多个国家或地区时间序列每个国家或地区有多年数据。在 Python 里面板数据最常见的存储方式有两种长表每一行是一个国家在某年的值宽表每一列是一个国家每一行是一个年份。长表适合存储和过滤宽表适合直接画多条折线图。后面我们会在这两种形态之间做转换这也是 pandas 实战里非常高频的操作。下面用一个表格总结核心术语术语含义用途TFR总和生育率每名女性平均生育数衡量生育水平人口替代率约 2.1维持人口规模的临界值判断长期方向人口惯性现有年龄结构对未来的影响理解短期与长期差异面板数据多主体多年份数据跨地区跨时间分析长表每行是主体 × 年份适合清洗和存储宽表每列是主体每行是年份适合绘图和对比有了这些基础我们再看代码。3. 环境准备与数据获取3.1 环境要求本示例使用 Python 3核心依赖如下requests请求开放数据接口pandas数据清洗和透视matplotlib绘图scikit-learn线性回归预测。建议在一个虚拟环境里安装避免污染全局 Python 环境。python -m venv .venv source .venv/bin/activate # Windows 下用 .venv\Scripts\activate pip install requests pandas matplotlib scikit-learn版本没有写死以你当前环境的兼容版本为准。如果本机已经装过常用的数据科学库跳过安装步骤也可以。3.2 数据源说明这里使用 World Bank 的开放数据接口。World Bank 是全球公认的公共数据来源很多社会学、经济学研究都基于它的数据库。TFR 对应的指标代码是SP.DYN.TFRT.IN。接口返回的是 JSON 格式结构大致如下第一层是一个数组数组第一个元素是查询元信息第二个元素是数据列表。数据列表里的每一项包括国家名称、国家代码、年份、数值等信息。我选择这个数据源的原因很简单不需要注册账号数据覆盖国家多、时间长提供 JSON 格式适合程序化处理。3.3 拉取数据的完整代码下面这段代码会翻页拉取全部数据。因为开放接口通常有单页条数限制所以用 while 循环不断请求下一页直到拿完所有数据为止。import requests import pandas as pd BASE_URL https://api.worldbank.org/v2/country/all/indicator/SP.DYN.TFRT.IN headers { User-Agent: Mozilla/5.0 (compatible; PopulationDataDemo/1.0) } all_rows [] page 1 while True: params { format: json, date: 1960:2022, page: page, per_page: 50, } resp requests.get(BASE_URL, paramsparams, headersheaders, timeout15) resp.raise_for_status() payload resp.json() # 接口第一层是列表第一项是元信息第二项是数据本身 if not payload or len(payload) 2 or not payload[1]: break meta, data payload[0], payload[1] all_rows.extend(data) total_pages meta.get(pages, 1) if page total_pages: break page 1 print(f共抓取 {len(all_rows)} 条数据)这一步做的是最原始的“搬运”。你可能不需要每次都翻页但理解翻页机制对以后调用其他接口很有帮助。很多新手在写爬虫或访问开放 API 时只取第一页数据就跑结果发现数据总量少了 90%问题就出在这里。3.4 将 JSON 转成 DataFrame接口返回的原始结构不是我们熟悉的表格形态。每个元素嵌套了国家对象、年份、数值需要先抽取成一条条“扁平化”的记录再交给 pandas 处理。records [] for item in all_rows: records.append({ country: item[country][value], code: item[countryiso3code], year: int(item[date]), tfr: item[value], }) df_raw pd.DataFrame(records) print(df_raw.head()) print(df_raw.info())输出应该是一个包含四列的表country国家或地区名称codeISO3 国家代码year年份tfr总和生育率。如果某一年某个国家没有统计值tfr会是空值后续清洗时需要处理。这一步也是大多数数据的常态开放数据不可能是干净的拿到手必须先看结构再决定清洗策略。4. 数据清洗与预处理4.1 查看缺失值先从整体上了解缺失情况。生育率数据在早期年份确实有很多缺失因为很多国家的统计体系并不完善。missing df_raw[tfr].isna().mean() print(f缺失比例: {missing:.2%})不同年份、不同国家的缺失程度差异很大。如果我们只看整个表的缺失率可能会掩盖“早期数据大量缺失”这个事实。更好的做法是按年份分组查看缺失率。missing_by_year ( df_raw.groupby(year)[tfr] .apply(lambda x: x.isna().mean()) ) # 查看关键年份缺失率 print(missing_by_year.loc[[1960, 1970, 1980, 1990, 2000, 2010, 2020]])如果发现 1960 年的缺失率很高但近年的缺失率很低说明数据质量随着时间推移在提升。这个信息对后面的趋势分析和预测很重要不要一上来就把所有缺失值直接删掉。4.2 筛选目标数据原始数据包含全球所有国家、地区以及部分区域聚合。为了减少干扰我们可以先用国家代码筛选出想看的对象。本文示例选择WLD全球汇总USA美国JPN日本KOR韩国DEU德国GBR英国。这些只是演示样本你可以替换成自己关心的 ISO3 代码。selected_codes [WLD, USA, JPN, KOR, DEU, GBR] df_selected df_raw[df_raw[code].isin(selected_codes)].copy() df_selected df_selected.dropna(subset[tfr]) print(df_selected.groupby(code)[year].agg([min, max, count]))得到的数据就是可以绘图的时间序列数据。每组代码从哪一年开始有完整数据从哪一年结束通过 min、max、count 就能快速判断。4.3 从长表转成宽表pandas 里最简单的透视操作是用pivot把长表转成宽表。这里把年份作为行索引、国家代码作为列名、TFR 作为数值。df_wide df_selected.pivot(indexyear, columnscode, valuestfr) df_wide df_wide.sort_index() print(df_wide.tail())宽表的好处是直接对应画图时的数据结构。每一列是一条线每一行是一个年份。后面画趋势图、计算变化幅度都会很方便。数据清洗阶段最核心的要点是先搞清楚数据长什么样再决定怎么处理缺失值不要盲目删除。在面板数据里不同国家和年份的缺失模式不同盲删有可能会把早期有代表性的样本全删掉。5. 趋势可视化生育率下行有多普遍5.1 折线图展示长期趋势用 matplotlib 画一张全球和几个经济体的 TFR 趋势图。import matplotlib.pyplot as plt plt.figure(figsize(12, 6)) for col in df_wide.columns: plt.plot(df_wide.index, df_wide[col], labelcol) plt.xlabel(Year) plt.ylabel(Total Fertility Rate) plt.title(Total Fertility Rate Trends (1960-2022)) plt.legend() plt.grid(True, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(tfr_trend.png, dpi150) plt.show()这张图如果符合预期你会看到一个很重要的现象大多数曲线都呈现出比较明显的下降趋势。差别在于起点不同、下降速度不同、目前所处水平不同。结合上一节的缺失率分析我们也要注意早期年份数据较少所以曲线左侧的波动可能带有一定“样本偏差”。在解读时尽量不要把早期的微小波动当作真实变化。5.2 量化下降幅度到底有多大只看图还是不够我们需要用数字来描述变化。下面计算两个时间段平均值的差值用来衡量生育率的变化幅度。early df_wide[df_wide.index 1980].mean() late df_wide[df_wide.index 2010].mean() change pd.DataFrame({ early: early, late: late, change: late - early, change_pct: (late - early) / early * 100, }) print(change.round(2))从这几列数据里我们至少能回答两个问题各对象是否都在下降下降的幅度是否一致。结果通常会显示出“全球整体下降但不同经济体差异很大”。日本、韩国等经济体的 TFR 已经低于人口替代率一段时间而有些经济体仍然维持在较高水平。这说明“生育率下降”不是某几个国家的孤立现象而是全球性的普遍趋势。5.3 判断数据能验证什么到这里我们可以对马斯克观点中的一部分做出技术判断“生育率崩溃”里“生育率大幅下降”这个事实基本可以得到数据支持。从全球范围看几十年间的 TFR 确实经历了明显下行。但是“崩溃”这个词暗含一种非正常、失控的语义。从数据看不同地区的下降速度差异很大部分地区的下降可能已经趋缓而不是一路“崩”下去。所以更严谨的表达是全球生育水平在过去几十年出现系统性下降且在许多地区长期低于替代水平。这就是数据分析和观点争论的区别。观点可以一句话说完数据分析必须把“下降多少”“持续多久”“覆盖多广”拆开说明。6. 简单时间序列预测尝试外推未来十年6.1 为什么做预测分析历史趋势还不够很多人更关心未来会怎样。于是我们用最简单的线性回归对全球汇总 TFR 做一次未来十年的外推。注意这里刻意用“外推”而不是“预测”是因为线性回归假设趋势保持线性这在实际人口问题中并不成立。它只能提供一个非常粗糙的参考方向不能当作真实预测结果。6.2 线性回归预测代码我们以 WLD 这一列为例。import numpy as np from sklearn.linear_model import LinearRegression series df_wide[WLD].dropna() X series.index.values.reshape(-1, 1) y series.values model LinearRegression() model.fit(X, y) last_year series.index.max() future_years np.arange(last_year 1, last_year 11).reshape(-1, 1) future_pred model.predict(future_years) print(未来十年线性预测) for yr, val in zip(future_years.flatten(), future_pred): print(f{yr}: {val:.2f})线性回归的工作原理是找到一条直线让它尽可能接近历史数据点。对于整体持续下降的数据这条直线通常也会继续下降。但这里有一个非常明显的风险线性外推可能会预测出低于 0 的生育率。这在现实中不可能发生因为 TFR 的物理下限是 0。出现这种结果时不是模型“算错了”而是模型的假设已经不适用于低值区间。6.3 可视化预测结果把历史数据和预测值画在一起能更直观地看到趋势。plt.figure(figsize(10, 5)) plt.plot(series.index, series.values, labelObserved) plt.plot(future_years, future_pred, labelLinear Forecast, linestyle--) plt.xlabel(Year) plt.ylabel(Total Fertility Rate) plt.title(Global TFR: Observed vs Linear Forecast) plt.legend() plt.grid(True, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(tfr_forecast.png, dpi150) plt.show()画出来之后预测线会沿着历史趋势继续往下走。如果模型训练数据里 WLD 的 TFR 已经比较低那么预测值很可能落在替代率 2.1 以下甚至更低。6.4 模型局限性必须再次强调这个线性外推有三个明显的问题第一没有考虑生育率回升的可能性。现实中经济水平、城市化、家庭政策、社会观念都可能改变生育行为历史上也有过生育率从低点回升的案例。第二没有考虑人口结构变化。TFR 只是生育水平不代表人口绝对规模。老龄化社会的育龄女性人数减少即使 TFR 不变出生人数也可能继续下降。第三线性假设过于简化。真实人口数据往往受到多种非线性因素影响更好的时间序列方法是 ARIMA、指数平滑、Prophet或者更复杂的人口学多状态模型。所以线性外推只适合作为“趋势参考”不适合作为政策决策依据。这也提醒我们做任何预测时都要如实告诉读者模型假设和局限。7. 结果解读与观点边界7.1 数据能告诉我们什么这次分析看到的事实可以归纳为三点全球总和生育率在过去几十年出现长期下行不同经济体的起点和下降斜率不同但整体方向一致许多经济体已经低于 2.1 的替代水平并持续了较长时间。这些是数据本身相对可靠的部分。7.2 数据不能告诉我们什么“比黑死病更致命”不是一个可以单靠 TFR 验证的结论。原因有二。第一黑死病直接导致人口规模在短时间内骤减而生育率影响的首先是出生人数继而影响未来的年龄结构再通过几十年甚至更长时间影响总人口。两者的影响机制不同不能简单画等号。第二“致命”涉及价值判断。同样的数据有些人看到的是劳动力压力有些人看到的是环境资源压力有些人看到的是代际公平问题。数据可以提供事实基础但无法替你做价值排序。作为一个技术分析者最需要训练的就是这种“观点边界”意识。知道哪些话有数据支撑哪些话是推断哪些话是观点。不要把三者混在一起说。7.3 对马斯克观点的技术回应如果非要从数据角度给一个回应最谨慎的说法是“全球生育率确实在大规模、长期性下降这已经是一个客观趋势。但‘崩溃’和‘更致命’属于强判断需要用更完整的人口模型、更多的指标来支撑。”这就是本文核心的观点。它既不是盲目否定马斯克也不是无条件支持而是把观点拆成可验证的部分和不可验证的部分。8. 常见问题与排查思路在实际运行这段代码时可能会遇到下面这些问题。问题现象可能原因排查方式解决方案requests 请求报 403接口拒绝了默认 UA检查响应状态码和错误信息添加 User-Agent 请求头降低请求频率解析 JSON 时报错接口返回的字段结构和你预期不同打印 payload 的前两个元素先打开接口地址在浏览器里确认返回结构TFR 列全是 NaNAPI 数据里空值没有过滤检查返回数据的具体年份用 dropna 只保留有效值pivot 时报重复索引同一个国家同一年出现多条记录检查原始数据是否有重复行用 drop_duplicates 去重图表中文乱码matplotlib 默认字体不支持中文字符查看绘图时的 warning 或图片乱码改用英文标签或配置中文字体预测值出现负数线性回归外推超出合理区间检查模型预测输出改用指数平滑等带约束的模型sklearn 报错版本不兼容本机 sklearn 版本过旧或过新查看 import 抛出的异常堆栈升级 scikit-learn或固定兼容版本这些排查思路不局限于人口数据任何用 pandas 处理外部 JSON 数据时都可能遇到。核心方法是一致的先打印原始数据确认结构再逐步缩小问题范围最后针对最小片段做修复。很多初学者一上来直接跑完整脚本报错了不知道从哪排查。建议把整个流程拆成“数据获取”“转 DataFrame”“透视”“绘图”“建模”五个阶段每个阶段都单独打印关键输出这样定位错误会快很多。9. 最佳实践与工程建议人口数据分析虽然只是一个小项目但它涉及的工程习惯可以延伸到很多数据开发任务。9.1 记录数据来源与更新时间分析结论必须建立在可追溯的数据之上。建议在项目里保存一份数据说明记录数据来源、指标定义、下载时间和数据处理版本。data/ raw/ tfr_worldbank.json processed/ tfr_cleaned.csv如果后续有同事或读者来问你“这个数据是怎么来的”你能快速给出答案。9.2 对开放数据做缓存World Bank 接口虽然稳定但每次全量拉取比较慢而且频繁请求会给对方服务器增加压力。建议把原始 JSON 或清洗后的 CSV 保存到本地后续直接读取。下面是一个简单缓存策略第一次运行请求接口保存到本地后续运行优先读取本地文件定期手动清除缓存重新同步。这样可以大幅提高开发调试速度。9.3 不要用过拟合的思路解释人口趋势人口问题因果链条复杂。TFR 变化与经济发展、教育水平、城市化、社会保障、就业结构、生育观念等都有关系但相关不等于因果。分析时应该克制地把结论限定在“描述”层面而不是轻率地做“解释”或“归因”。9.4 报告要体现出模型的置信边界如果你要把预测结果提交给业务方不要只给一条预测线。至少说明模型用了什么假设预测区间有多宽可能有哪些结构性变化会影响预测模型在历史数据上的误差是多少。在人口数据项目中这一点尤其重要因为这类预测常常会进入公共讨论一旦输出一种“必然”的错觉很容易误导别人。9.5 使用更完整的预测方法如果想把预测做得更严谨可以进一步尝试statsmodels的ETS指数平滑模型ARIMA处理带趋势的时间序列prophet加入趋势变化的拐点识别结合人口年龄结构数据计算分年龄生育率。下面是一段使用statsmodels指数平滑的最简示例替代线性回归可以避免预测出负数from statsmodels.tsa.holtwinters import ExponentialSmoothing model ExponentialSmoothing( series, trendadd, damped_trendTrue, ) fit model.fit() forecast fit.forecast(10) print(forecast)指数平滑不会机械地让趋势无限下降它可以根据历史模式给出更平滑的结果。这个方向更值得深入。10. 总结与后续学习方向这篇文章从一个极具争议的观点展开但最终落在了很具体的数据分析流程上。我们做了三件主要的事第一用 World Bank 开放接口获取了全球总和生育率的历史面板数据。这一步涵盖了接口调用、翻页、JSON 解析的完整过程。第二用 pandas 完成了清洗、筛选、缺失值检查和长表转宽表并用 matplotlib 画出趋势图量化了下降幅度。第三用线性回归做了一次简单的未来预测同时指出这种预测的局限性。最后的结论是数据支持“全球生育率大幅下行”的描述但支持不了“比黑死病更致命”这种强价值判断。如果你想继续深入建议按这个顺序学习先学会用 ARIMA 或 Prophet 做更严谨的时间序列预测再学习人口年龄结构数据计算少儿抚养比、老年抚养比然后尝试多元回归分析生育率与教育、就业、城市化的关系最后再去看人口学领域的专业文献理解队列指标与时期指标的区别。人口数据是典型的“数据量大、口径复杂、结论敏感”的分析对象比普通用户行为分析更考验基本功。做好这个项目你会对面板数据清洗和时序建模有更扎实的感觉。建议把本文的流程代码收藏备用。下次再看到类似“XX正在崩溃”的断言时动手拉数据、画图、跑一个简单预测比直接在评论区争论更有说服力。