先说一句实在话你在 B 站、抖音、公众号上看到那种“500 集全套 Python 教程”“5 天从小白到大神”的视频大概率会先收藏然后……就没有然后了。不是视频不够好而是大多数人缺的不是“资料”缺的是一条能真正走通的学习路径和能跟着敲完的实战项目。这篇文章不跟你谈“5 天速成”而是用一套完整的Python 零基础入门 → 爬虫采集 → 数据分析与可视化的真实案例把最常用、最核心的知识点串起来。你可以把它当成视频教程之外的“图文版配套笔记”。文章内容会覆盖Python 开发环境怎么配虚拟环境怎么用零基础必须掌握的核心语法不用贪多掌握这些就够入门用 requests BeautifulSoup 写一个简单爬虫抓取网页公开数据用 pandas 做数据清洗与统计用 matplotlib 画图爬虫运行后只显示Process finished with exit code 0却没有结果怎么办新手最容易踩的坑和工程习惯。友情提醒本文适合 Windows / macOS / Linux 用户代码只依赖 Python 生态常见库不需要额外安装数据库也不需要服务器。如果你能打开电脑跟着文章把代码敲完那你收获的不只是“学过 Python”而是一套可以迁移到很多场景的数据采集与分析小项目经验。1. 在开始写代码前先理清 Python 学习思路很多零基础的同学容易陷入一个误区今天学变量明天学列表后天学函数学了一个月还在“语法里打转”一遇到真实问题就不知道从哪下手。其实对零基础转 Python 的人来说最高效的路径不是“把所有语法学完再干活”而是带着目标去学。1.1 不建议一上来就死磕 500 集视频视频教程的优势是系统、全面缺点是太长。长教程往往会让人产生“我存了就等于会了”的错觉。这里不是说长教程不好而是建议你把“看视频”和“动手写”的比例控制在 1 : 3 以上。比如看 30 分钟视频至少要花 90 分钟去改代码、敲代码、故意制造报错再解决报错。代码能力和健身一样只能靠自己练出来。1.2 零基础入门要抓住四个核心环节如果你现在还是纯零基础下面这条路线可以作为参考环境篇装 Python理解解释器、pip、IDE 的概念。语法篇变量、数据类型、判断、循环、函数、文件读写。方向篇选定一个应用方向比如数据分析、爬虫、Web 开发、自动化办公。实战篇完整做一个能解决某个小问题的项目。本文设计的实战就是采集网站公开数据 → 清洗整理 → 统计分析 → 可视化展示。这个链路短、反馈快、成就感强而且用到的是数据分析与爬虫两个高频方向的核心技能。1.3 你是不是会担心“学了就忘”“学了就忘”太正常了不需要焦虑。真正有效的记忆方式是你不需要背下所有 API只需要知道“某个问题该用哪个库、去哪查文档、报错信息怎么读”。后面的实战案例里我会刻意演示“怎么读懂报错”。2. 环境准备与版本说明由于 Python 版本和第三方库更新比较快本文不会给出过期版本号建议你安装Python 3.10 以上的版本。如果你电脑上已经装了 Python先打开终端或命令行检查python --version在 Windows 下如果提示“python 不是内部或外部命令”可能需要到 Python 官网 下载安装包并在安装首页勾选Add Python to PATH。2.1 安装必需的第三方库本文案例中需要用到以下库requests发送 HTTP 请求获取网页内容beautifulsoup4解析 HTML提取网页数据pandas处理和分析数据matplotlib数据可视化openpyxl可选用于将数据保存为 Excel 文件。打开终端执行pip install requests beautifulsoup4 pandas matplotlib openpyxl国内网络环境下如果下载慢可以临时使用国内镜像pip install requests beautifulsoup4 pandas matplotlib openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple2.2 推荐开发工具新手推荐PyCharm Community Edition或Visual Studio Code。两者区别工具优点缺点PyCharm开箱即用调试方便适合零基础启动占用内存稍大VS Code轻量插件丰富适合后续多语言开发需要自己配置 Python 插件与解释器如果你选择 VS Code记得安装官方 Python 扩展并在命令面板中执行Python: Select Interpreter选择你刚安装的 Python 环境。这是很多新手运行代码时提示“没有解释器”的常见原因。2.3 创建虚拟环境强烈建议虚拟环境的作用是为不同项目隔离第三方库版本避免 A 项目升级库导致 B 项目无法运行。在项目目录下执行python -m venv venvWindows 激活虚拟环境venv\Scripts\activatemacOS / Linux 激活source venv/bin/activate激活后终端前面会出现(venv)标记。以后安装的库都只在这个项目里生效。如果你用的是 PyCharm它通常会自动识别并帮你选好虚拟环境。3. Python 零基础必懂的核心语法下面这些语法不需要死记硬背但我建议你对每个知识点都动手敲一遍。这是后续看代码、跟项目的地基。3.1 变量与数据类型Python 是动态类型语言不需要声明类型。# 字符串 str name Python # 整数 int year 2026 # 浮点数 float version 3.12 # 布尔值 bool is_fun True # 空值 None result None print(name, year, version, is_fun, result)#是注释符号解释器不会执行#后面的内容。给代码写注释是一个很好的习惯。3.2 容器类型列表、元组、字典后续爬虫采集的数据大多会保存在列表和字典中。# 列表有序可修改 movie_names [流浪地球, 哪吒之魔童降世, 长安三万里] movie_names.append(热辣滚烫) print(movie_names[0]) # 输出第一个元素 print(movie_names[-1]) # 输出最后一个元素 # 字典键值对适合保存一条电影记录 movie { title: 流浪地球, rating: 8.4, comment_num: 1200000 } print(movie[title]) print(movie.get(rating))3.3 条件判断与循环score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格)# 遍历列表 for name in movie_names: print(当前电影:, name) # 循环指定次数 for i in range(3): print(第, i 1, 次)3.4 函数函数帮你把重复代码封装起来。def add(a, b): 返回两个数的和 return a b result add(3, 5) print(result) # 83.5 文件读取与写入爬虫采集到的数据不会只在内存中通常要写入文件保存。# 写入文本文件 with open(demo.txt, w, encodingutf-8) as f: f.write(Hello Python\n) # 读取文本文件 with open(demo.txt, r, encodingutf-8) as f: content f.read() print(content)with ... as ...是推荐写法它会自动管理文件打开和关闭避免忘记关闭导致数据丢失。3.6 这节小结你不需要完全记住列表所有方法只需要理解上面代码的运行逻辑。后文案例出现新语法时我会再解释。如果某个地方看不懂回到这里查一遍即可。4. 爬虫入门用 requests 和 BeautifulSoup 获取网页公开数据很多读者学 Python 的目标就是“写爬虫”。但需要先强调三件事爬虫不是黑客技术它本质上是HTTP 客户端程序和浏览器访问网页没有本质区别。只学基础技术原理绝对不要用爬虫去采集个人隐私数据、破解登录或验证码、以及高频请求他人网站。在编写爬虫前先查看目标网站的robots.txt和相关条款控制请求频率做到文明采集。4.1 静态网页与动态网页的区分爬虫之所以能“抓到数据”是因为网页内容会通过 HTTP 请求返回到浏览器。有的网页数据直接写在 HTML 里打开浏览器“查看源代码”能找到完整数据这类叫静态页面。有的网页数据是页面加载后用 JavaScript 动态请求接口拿到的你在源代码里看不到完整数据这类叫动态页面。本文案例针对静态页面适合零基础入门。4.2 爬虫基本流程爬虫基本可以拆成四步构造 HTTP 请求模拟浏览器发出访问请求拿到服务器返回的 HTML 文本用解析库提取目标数据将结果保存到本地文件或数据库。为了减小对目标网站的影响本文用一个公开、稳定的演示 URL 示例同时控制请求间隔。如果你运行的环境无法访问外网可以把请求 URL 替换为任何一个你自己创建的 HTML 文件核心逻辑不变。4.3 第一个简单请求import requests url https://example.com resp requests.get(url) print(resp.status_code) # 200 表示成功 print(resp.text[:200]) # 打印网页前 200 个字符这种方式很可能被某些网站拒绝因为服务器能识别出默认的User-Agent与正常浏览器不同。修改为带请求头的方式import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } url https://example.com resp requests.get(url, headersheaders, timeout10) resp.encoding resp.apparent_encoding print(resp.status_code)代码解释headersHTTP 请求头User-Agent告诉服务器“我是浏览器”。timeout10请求超过 10 秒没有响应就报错防止程序卡死。resp.encoding resp.apparent_encoding按照内容自动识别编码解决中文乱码常见的难题。4.4 使用 BeautifulSoup 解析 HTML接下来用一个简单示例展示 HTML 解析。假设网页返回结构如下html body div classmovie-item span classtitle电影A/span span classrating8.5/span /div div classmovie-item span classtitle电影B/span span classrating7.9/span /div /body /html获取每个.movie-item中的标题和评分from bs4 import BeautifulSoup html html body div classmovie-item span classtitle电影A/span span classrating8.5/span /div div classmovie-item span classtitle电影B/span span classrating7.9/span /div /body /html soup BeautifulSoup(html, html.parser) items soup.select(.movie-item) for item in items: title item.select_one(.title).get_text(stripTrue) rating item.select_one(.rating).get_text(stripTrue) print(title, rating)这段代码的核心知识点soup.select(.movie-item)CSS 选择器方式选取所有包含movie-item类的元素。select_one选取第一个匹配的元素。get_text(stripTrue)获取文本并去掉首尾空白。如果你以前没有接触过 CSS 选择器只需要掌握两种即可写法含义div p选取div内部所有p.class_name选取所有带有该 class 的元素#id_name选取指定 id 的元素4.5 一个更完整的爬虫脚本模板下面这个模板演示了如何请求、解析、保存结果。每一行都很短但组合在一起就是一个真实的爬虫雏形。import csv import time import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } # 示例地址请替换为你实际需要访问的、合法的、公开的页面 start_url https://example.com resp requests.get(start_url, headersheaders, timeout10) resp.encoding resp.apparent_encoding soup BeautifulSoup(resp.text, html.parser) # 请根据目标页面实际 HTML 结构调整选择器 items soup.select(.list-item) results [] for item in items: title_tag item.select_one(.title) rating_tag item.select_one(.rating) if title_tag is None: continue title title_tag.get_text(stripTrue) rating rating_tag.get_text(stripTrue) if rating_tag else results.append({title: title, rating: rating}) print(采集到, len(results), 条数据) # 写入 csv 文件 with open(output.csv, w, encodingutf-8-sig, newline) as f: writer csv.DictWriter(f, fieldnames[title, rating]) writer.writeheader() writer.writerows(results) print(保存成功)上面代码里的encodingutf-8-sig使用带 BOM 的 UTF-8 格式方便使用 Excel 打开 CSV 时不乱码这是一个工程细节。newline是为了避免 CSV 写入时出现多余空行。4.6 爬虫代码里的异常处理网络请求非常容易受到超时、反爬、目标网站结构改变影响所以强烈建议在最外层加异常处理。try: resp requests.get(start_url, headersheaders, timeout10) resp.raise_for_status() except requests.exceptions.Timeout: print(请求超时请稍后重试) except requests.exceptions.RequestException as e: print(请求失败:, e)raise_for_status()会判断 HTTP 状态码如果返回 4xx 或 5xx 就主动抛出异常避免拿无效数据继续解析这是爬虫工程化里很重要的一个处理习惯。5. 数据分析用 pandas 读取爬虫结果当我们拿到一个 CSV 文件后就可以进入数据分析环节了。pandas 是 Python 数据分析和数据处理领域最核心的库。对零基础读者来说不需要把 pandas 全部 API 背下来只需要掌握以下步骤读取文件、查看数据、简单清洗、分组统计。5.1 读取 CSV 文件import pandas as pd df pd.read_csv(output.csv) print(df.head()) # 查看前 5 行 print(df.info()) # 查看列名、行数、缺失情况 print(df.describe()) # 查看数值列的统计描述df.head()是初学者调试代码最常用的方法。每次读取文件后先看前几行确认数据是否正常。5.2 数据清洗示例实际爬取到的数据往往存在空值、重复值、格式不一致等问题。# 删除全空行 df df.dropna(howall) # 删除完全重复的行 df df.drop_duplicates() # 如果 rating 列存在空值可以选择填充或删除 df df.dropna(subset[rating]) # 将 rating 从字符串转为浮点数 df[rating] pd.to_numeric(df[rating], errorscoerce) # 再次删除转换后产生的空值 df df.dropna(subset[rating])说明errorscoerce的作用是遇到无法转换的值就变成NaN而不是直接报错。这在处理不规范的文本数据时非常常用。数据清洗没有固定答案取决于你的实际数据质量。建议每一步操作后都用df.head()或df.info()检查。5.3 数据统计# 有多少条数据 print(总条数:, len(df)) # 平均分 print(平均分:, df[rating].mean()) # 最高分 print(最高分:, df[rating].max()) # 按区间分箱观察评分分布 bins [0, 6, 7, 8, 9, 10] labels [0-6, 6-7, 7-8, 8-9, 9-10] df[score_range] pd.cut(df[rating], binsbins, labelslabels) print(df[score_range].value_counts())这里引入的pd.cut()是连续数值离散化的常用方法。把持续变化的评分分成区间观察数据分布是数据分析中很常见的思路。5.4 用 matplotlib 画图在数据分析中一图胜千言。下面画一个评分分布柱状图。import matplotlib.pyplot as plt # 解决中文显示问题 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC] plt.rcParams[axes.unicode_minus] False range_counts df[score_range].value_counts().sort_index() plt.figure(figsize(8, 5)) range_counts.plot(kindbar, color#4C72B0) plt.title(评分分布情况) plt.xlabel(评分区间) plt.ylabel(数量) plt.xticks(rotation0) plt.grid(axisy, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(rating_distribution.png, dpi150) plt.show()关于中文字体Windows 下可以尝试SimHei黑体macOS 下可以尝试PingFang SC或Arial Unicode MS如果画出的图中文变成方块通常说明当前环境没有可用中文字体这是本机字体问题项目代码本身没有错。代码里还加入plt.rcParams设置了unicode_minusFalse否则坐标轴上的负号可能显示为方块这也是很常见的坑。6. 从爬虫到分析完整案例串联上一节用的还是模拟数据这一节我们把前面的知识点全部串联起来完成一个完整的“采集电影评分 → 统计分析 → 可视化”小项目。整体流程如下请求目标网页解析 HTML得到电影标题和评分保存到 CSV用 pandas 读取并清洗统计评分区间保存可视化图片。6.1 创建项目结构在本地新建文件夹作为项目根目录例如python_spider_analysis。python_spider_analysis/ ├── venv/ # 虚拟环境自动生成 ├── spider.py # 爬虫脚本 ├── analysis.py # 数据分析脚本 ├── requirements.txt # 依赖清单 └── output/ └── movies.csv # 爬虫生成的 CSVoutput目录可以先手动创建也可以在代码里用os.makedirs自动创建。6.2 编写爬虫文件 spider.pyimport csv import os import time import requests from bs4 import BeautifulSoup HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } # 示例地址请替换为你实际需要访问的、合法、公开的页面 URL https://example.com OUTPUT_DIR output OUTPUT_FILE os.path.join(OUTPUT_DIR, movies.csv) def get_html(url): try: resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except requests.exceptions.RequestException as e: print(请求失败:, e) return def parse_html(html): soup BeautifulSoup(html, html.parser) # 注意下面选择器仅为示例需要根据真实网页结构调整 items soup.select(.movie-item) data [] for item in items: title_tag item.select_one(.title) rating_tag item.select_one(.rating) if title_tag is None: continue title title_tag.get_text(stripTrue) rating rating_tag.get_text(stripTrue) if rating_tag else data.append({ title: title, rating: rating, }) return data def save_to_csv(data): os.makedirs(OUTPUT_DIR, exist_okTrue) with open(OUTPUT_FILE, w, encodingutf-8-sig, newline) as f: writer csv.DictWriter(f, fieldnames[title, rating]) writer.writeheader() writer.writerows(data) print(已保存, len(data), 条数据到, OUTPUT_FILE) def main(): html get_html(URL) if not html: print(HTML 内容为空程序结束) return data parse_html(html) if not data: print(没有解析到任何电影数据请检查选择器) return save_to_csv(data) if __name__ __main__: main()说明我把代码拆成了get_html、parse_html、save_to_csv、main几个函数。这样职责清晰后续想修改某个环节不需要改动整体逻辑。if __name__ __main__:是 Python 文件的标准写法表示只有直接运行该脚本时才执行main()。os.makedirs(OUTPUT_DIR, exist_okTrue)能自动创建输出目录避免因目录不存在而报错。运行python spider.py6.3 编写分析文件 analysis.pyimport os import pandas as pd import matplotlib.pyplot as plt # 设置中文字体 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC] plt.rcParams[axes.unicode_minus] False INPUT_FILE os.path.join(output, movies.csv) def load_data(file_path): if not os.path.exists(file_path): raise FileNotFoundError(f找不到文件: {file_path}请先运行 spider.py) df pd.read_csv(file_path) print(原始数据条数:, len(df)) return df def clean_data(df): df df.dropna(howall) df df.drop_duplicates() df df.dropna(subset[rating]) df[rating] pd.to_numeric(df[rating], errorscoerce) df df.dropna(subset[rating]) return df def analyze_data(df): print(清洗后数据条数:, len(df)) print(平均评分:, df[rating].mean()) bins [0, 6, 7, 8, 9, 10] labels [0-6分, 6-7分, 7-8分, 8-9分, 9-10分] df[score_range] pd.cut(df[rating], binsbins, labelslabels, rightFalse) counts df[score_range].value_counts().sort_index() return counts def plot_data(counts): plt.figure(figsize(8, 5)) counts.plot(kindbar, color#4C72B0) plt.title(电影评分分布) plt.xlabel(评分区间) plt.ylabel(数量) plt.xticks(rotation0) plt.grid(axisy, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(rating_distribution.png, dpi150) print(图片已保存为 rating_distribution.png) plt.show() def main(): df load_data(INPUT_FILE) df clean_data(df) counts analyze_data(df) print(counts) plot_data(counts) if __name__ __main__: main()运行python analysis.py如果文件路径没问题你会看到控制台输出统计数据同时弹出柱状图窗口并生成rating_distribution.png图片。6.4 用真实网页试跑时要注意什么如果你准备用某个真实网站做练习请务必注意先打开网页右键点击“检查”找到目标元素的真实 HTML 标签和 class 名称修改代码里的选择器.movie-item、.title、.rating第一次先用print(resp.text[:500])看看返回的 HTML 是否符合预期如果返回 403 或 418说明被服务器反爬了不要强行绕过应该降低频率或换公开 API控制全局抓取速度在循环解析分页时增加随机time.sleep(1 - 3)。这里的本质不是“教你怎么破反爬”而是提醒你当你看到 403、418、429 这些状态码时说明你的请求已经被限流或拒绝正确做法是尊重规则并调整策略而不是硬对抗。7. 常见问题与排查思路新手写 Python 爬虫和数据分析时会遇到大量重复问题。下表汇总了最高频的几类几乎每个同学都会遇到至少一个。问题现象常见原因解决思路运行爬虫后只显示Process finished with exit code 0没有任何输出代码逻辑没有打印内容或parse_html没有解析到任何数据在关键节点加print先打印 HTML 片段再确认选择器是否正确爬虫结果中文乱码网页编码与解析编码不一致设置resp.encoding resp.apparent_encoding或指定页面 charset请求返回 403服务器识别出是爬虫添加符合规范的User-Agent降低频率不要硬破解pandas 读取 CSV 后 rating 列是字符串导出时保存的是文本使用pd.to_numeric(..., errorscoerce)转数值matplotlib 中文显示为方块系统缺少中文字体切换字体配置或安装中文字体pip 安装库失败网络源慢或源不稳定使用国内镜像安装VS Code 运行代码提示 no module named requests选择了解释器但库没装到当前环境确认激活了虚拟环境在虚拟环境中执行 pip install找不到模块requests但 PyCharm 里能运行PyCharm 可能自动帮你装了库也可能用了不同解释器统一终端和 IDE 的解释器路径7.1 重点解释为什么爬虫运行没有结果只显示 exit code 0这个问题的搜索热度非常高是因为“程序没有报错”反而更容易让人困惑。先理解exit code 0的含义它表示 Python 解释器正常退出没有发生异常。它不表示“程序执行了你期望的业务逻辑”更不表示“你得到了数据”。所以当你看到这句话时就要反过来想程序哪里可能没有按预期执行最常见的几种场景代码里只有一个函数的定义没有调用它。代码里虽然有main()但没有写if __name__ __main__: main()。请求到了网页但 HTML 结构解析不到任何元素循环体没执行。你写了break或return提前结束了流程。网络请求被服务器拒绝但异常被你静默吞掉了。请记住一个调试原则不要让任何关键步骤“安静地失败”。在爬虫脚本里请求完先打印状态码解析完先打印条数保存完再打印文件路径。下面这段代码可以作为“打印埋点”的参考print(开始请求:, url) resp requests.get(url, headersheaders, timeout10) print(请求完成状态码:, resp.status_code) print(HTML 长度:, len(resp.text)) items soup.select(.movie-item) print(解析到条目数:, len(items))加了这些输出之后你就能定位到是“请求失败”“解析失败”还是“保存失败”。另外还有一个隐蔽坑如果你在 PyCharm、VSCode 或终端里看到Process finished with exit code 0但程序运行时间极短可能反映出程序根本没执行到业务逻辑。这时候可以尝试使用 IDE 的Debug 按钮在main()第一行添加断点单步执行。这比盲目改代码要高效得多。8. 进阶方向与工程实践建议到这里你已经完成了一个“爬虫 数据分析 可视化”的完整链路。虽然数据量不大、页面不复杂但所有大型爬虫和数据分析项目都建立在这个最小闭环上。8.1 从“能跑”到“工程化”真实项目里代码往往不是一次就写完的还需要考虑更多问题。8.1.1 使用 requirements.txt 管理依赖在虚拟环境中执行pip freeze requirements.txt以后换到新机器只需要pip install -r requirements.txt这样能保证团队成员和你的第三方库版本基本一致减少“在我电脑上能跑”的问题。8.1.2 增加日志而不是大量 print项目规模变大以后大量print会让输出混乱。Python 自带logging模块可以控制日志级别。import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s) logging.info(开始抓取第 1 页) logging.warning(该页面没有数据) logging.error(请求超时)8.1.3 保存中间结果爬虫抓取的数据如果量大建议先原始保存再清洗入库不要边抓边清洗。因为清洗规则可能随时调整如果只保留最终结果原始数据丢失后再想重新清洗就很难。8.1.4 控制采集频率很多新手写爬虫时会在for循环里连续快速请求几百页这样很容易触发服务器的反爬机制。使用随机等待import random import time for page in range(1, 11): print(抓取第, page, 页) # 请求逻辑 time.sleep(random.uniform(1, 3)) # 随机休息 1 到 3 秒这个做法的本质是“降低对目标服务器的压力”不是“绕过限制”。8.2 从“静态爬虫”到“动态页面与接口”后续进阶会面对大量动态页面。到那时你会用到以下技术和思路在浏览器开发者工具中筛选XHR/Fetch请求找到真正的数据接口分析接口的 URL 参数和返回 JSON 结构直接请求接口获得数据后再用 pandas 分析如果页面复杂可能再单独研究浏览器自动化工具如 Selenium/Playwright但这属于另一个技术主题。这部分内容大多涉及前端知识和接口分析不是零基础第一阶段需要掌握的内容。先把静态爬虫与 pandas 数据分析练熟练再进入动态页面会顺畅很多。8.3 从“单一表格”到“更大数据量”当数据量达到几十万行甚至更多时处理方式也会变化Excel 已经不适合存储与展示需要把数据导入 MySQL、PostgreSQL 或 ClickHouse 等数据库可能要使用分布式爬虫框架和消息队列pandas 单机处理大文件可能会内存不足可以考虑使用分块读取、dtype压缩或 PySpark。这些内容属于“数据工程”的范畴。初学阶段先不要一上来就追求大数据技术栈老老实实把一个 1000 条数据的小项目做完整带来的收获比听 100 个名词更大。8.4 安全与合规提醒无论你是学习爬虫还是数据分析都需要建立几条基本底线不采集个人敏感信息包括手机号、身份证、住址、聊天记录等不采集需要登录才能看到的非公开数据更不要尝试暴力破解不绕过任何反爬技术去攻击网站遇到反爬、验证码正确做法是停止并思考替代方案不将采集到的数据用于商业用途除非你已获得授权。这一点在写本文时我特别想强调爬虫技术的难点从来不只是“代码怎么写”还包括“什么能做、什么不能做”。建立边界意识会让你走得更远。8.5 如果爬虫目标网站结构变了怎么办真实项目里网页改版是常态。昨天能跑的代码今天可能就解析不到数据。解决方法其实很朴素打开浏览器开发者工具查看当前页面结构对比代码里的选择器差异修改 CSS 选择器或者解析函数增加异常提醒比如解析不到数据就发送告警或写入日志。不要试图写一套永远不变的爬虫世界上没有这种程序。9. 下一步该怎么学看完这篇文章你的学习进度其实已经超过了很多人。因为你不仅接触了 Python 基础语法还跑通了一个“从爬虫到数据分析”的完整流程。关于下一步给几点实际可行的建议先把本文案例改造成你自己的数据源。找一份你感兴趣、合法、公开的网站数据去爬取并完成分析哪怕只是统计关键词出现次数、排行榜数据之类的简单内容。补强基础语法。当你带着案例回头去学 Python 基础时你会发现自己理解变量的保存逻辑、列表和字典的存取方式都要快得多。深入 pandas 和 DataFrame 操作。pandas 是数据分析绕不开的核心建议系统学习DataFrame的筛选、分组、合并、透视表。如果要走数据分析方向可以继续学习统计学基础、SQL、数据可视化进阶、常见机器学习库scikit-learn的入门使用。如果要走爬虫方向可以继续学习 HTTP 协议、JSON 解析、动态页面抓取、Scrapy 框架等但一定把这些技术放在“合法合规”的框架下使用。不要盲目追求“把所有库都学会”。技术工具是会过时的但解决问题的思路和排错能力不会。你现在的目标不应该是“收藏更多教程”而是“找到一个自己感兴趣的问题把它解决掉”。希望这篇文章能和那 500 集收藏夹吃灰的视频形成一点区别它给不了你“5 天速成”的幻觉但能让你从零开始一步步写出自己的 Python 程序。关掉这篇教程之后建议你打开编辑器先建一个hello.py写下第一行代码。print(Hello Python)然后去处理一份真实数据。真正的进步从你写出属于自己代码的那一刻才刚开始。 Python零基础入门到爬虫数据分析实战教程
先说一句实在话你在 B 站、抖音、公众号上看到那种“500 集全套 Python 教程”“5 天从小白到大神”的视频大概率会先收藏然后……就没有然后了。不是视频不够好而是大多数人缺的不是“资料”缺的是一条能真正走通的学习路径和能跟着敲完的实战项目。这篇文章不跟你谈“5 天速成”而是用一套完整的Python 零基础入门 → 爬虫采集 → 数据分析与可视化的真实案例把最常用、最核心的知识点串起来。你可以把它当成视频教程之外的“图文版配套笔记”。文章内容会覆盖Python 开发环境怎么配虚拟环境怎么用零基础必须掌握的核心语法不用贪多掌握这些就够入门用 requests BeautifulSoup 写一个简单爬虫抓取网页公开数据用 pandas 做数据清洗与统计用 matplotlib 画图爬虫运行后只显示Process finished with exit code 0却没有结果怎么办新手最容易踩的坑和工程习惯。友情提醒本文适合 Windows / macOS / Linux 用户代码只依赖 Python 生态常见库不需要额外安装数据库也不需要服务器。如果你能打开电脑跟着文章把代码敲完那你收获的不只是“学过 Python”而是一套可以迁移到很多场景的数据采集与分析小项目经验。1. 在开始写代码前先理清 Python 学习思路很多零基础的同学容易陷入一个误区今天学变量明天学列表后天学函数学了一个月还在“语法里打转”一遇到真实问题就不知道从哪下手。其实对零基础转 Python 的人来说最高效的路径不是“把所有语法学完再干活”而是带着目标去学。1.1 不建议一上来就死磕 500 集视频视频教程的优势是系统、全面缺点是太长。长教程往往会让人产生“我存了就等于会了”的错觉。这里不是说长教程不好而是建议你把“看视频”和“动手写”的比例控制在 1 : 3 以上。比如看 30 分钟视频至少要花 90 分钟去改代码、敲代码、故意制造报错再解决报错。代码能力和健身一样只能靠自己练出来。1.2 零基础入门要抓住四个核心环节如果你现在还是纯零基础下面这条路线可以作为参考环境篇装 Python理解解释器、pip、IDE 的概念。语法篇变量、数据类型、判断、循环、函数、文件读写。方向篇选定一个应用方向比如数据分析、爬虫、Web 开发、自动化办公。实战篇完整做一个能解决某个小问题的项目。本文设计的实战就是采集网站公开数据 → 清洗整理 → 统计分析 → 可视化展示。这个链路短、反馈快、成就感强而且用到的是数据分析与爬虫两个高频方向的核心技能。1.3 你是不是会担心“学了就忘”“学了就忘”太正常了不需要焦虑。真正有效的记忆方式是你不需要背下所有 API只需要知道“某个问题该用哪个库、去哪查文档、报错信息怎么读”。后面的实战案例里我会刻意演示“怎么读懂报错”。2. 环境准备与版本说明由于 Python 版本和第三方库更新比较快本文不会给出过期版本号建议你安装Python 3.10 以上的版本。如果你电脑上已经装了 Python先打开终端或命令行检查python --version在 Windows 下如果提示“python 不是内部或外部命令”可能需要到 Python 官网 下载安装包并在安装首页勾选Add Python to PATH。2.1 安装必需的第三方库本文案例中需要用到以下库requests发送 HTTP 请求获取网页内容beautifulsoup4解析 HTML提取网页数据pandas处理和分析数据matplotlib数据可视化openpyxl可选用于将数据保存为 Excel 文件。打开终端执行pip install requests beautifulsoup4 pandas matplotlib openpyxl国内网络环境下如果下载慢可以临时使用国内镜像pip install requests beautifulsoup4 pandas matplotlib openpyxl -i https://pypi.tuna.tsinghua.edu.cn/simple2.2 推荐开发工具新手推荐PyCharm Community Edition或Visual Studio Code。两者区别工具优点缺点PyCharm开箱即用调试方便适合零基础启动占用内存稍大VS Code轻量插件丰富适合后续多语言开发需要自己配置 Python 插件与解释器如果你选择 VS Code记得安装官方 Python 扩展并在命令面板中执行Python: Select Interpreter选择你刚安装的 Python 环境。这是很多新手运行代码时提示“没有解释器”的常见原因。2.3 创建虚拟环境强烈建议虚拟环境的作用是为不同项目隔离第三方库版本避免 A 项目升级库导致 B 项目无法运行。在项目目录下执行python -m venv venvWindows 激活虚拟环境venv\Scripts\activatemacOS / Linux 激活source venv/bin/activate激活后终端前面会出现(venv)标记。以后安装的库都只在这个项目里生效。如果你用的是 PyCharm它通常会自动识别并帮你选好虚拟环境。3. Python 零基础必懂的核心语法下面这些语法不需要死记硬背但我建议你对每个知识点都动手敲一遍。这是后续看代码、跟项目的地基。3.1 变量与数据类型Python 是动态类型语言不需要声明类型。# 字符串 str name Python # 整数 int year 2026 # 浮点数 float version 3.12 # 布尔值 bool is_fun True # 空值 None result None print(name, year, version, is_fun, result)#是注释符号解释器不会执行#后面的内容。给代码写注释是一个很好的习惯。3.2 容器类型列表、元组、字典后续爬虫采集的数据大多会保存在列表和字典中。# 列表有序可修改 movie_names [流浪地球, 哪吒之魔童降世, 长安三万里] movie_names.append(热辣滚烫) print(movie_names[0]) # 输出第一个元素 print(movie_names[-1]) # 输出最后一个元素 # 字典键值对适合保存一条电影记录 movie { title: 流浪地球, rating: 8.4, comment_num: 1200000 } print(movie[title]) print(movie.get(rating))3.3 条件判断与循环score 85 if score 90: print(优秀) elif score 60: print(及格) else: print(不及格)# 遍历列表 for name in movie_names: print(当前电影:, name) # 循环指定次数 for i in range(3): print(第, i 1, 次)3.4 函数函数帮你把重复代码封装起来。def add(a, b): 返回两个数的和 return a b result add(3, 5) print(result) # 83.5 文件读取与写入爬虫采集到的数据不会只在内存中通常要写入文件保存。# 写入文本文件 with open(demo.txt, w, encodingutf-8) as f: f.write(Hello Python\n) # 读取文本文件 with open(demo.txt, r, encodingutf-8) as f: content f.read() print(content)with ... as ...是推荐写法它会自动管理文件打开和关闭避免忘记关闭导致数据丢失。3.6 这节小结你不需要完全记住列表所有方法只需要理解上面代码的运行逻辑。后文案例出现新语法时我会再解释。如果某个地方看不懂回到这里查一遍即可。4. 爬虫入门用 requests 和 BeautifulSoup 获取网页公开数据很多读者学 Python 的目标就是“写爬虫”。但需要先强调三件事爬虫不是黑客技术它本质上是HTTP 客户端程序和浏览器访问网页没有本质区别。只学基础技术原理绝对不要用爬虫去采集个人隐私数据、破解登录或验证码、以及高频请求他人网站。在编写爬虫前先查看目标网站的robots.txt和相关条款控制请求频率做到文明采集。4.1 静态网页与动态网页的区分爬虫之所以能“抓到数据”是因为网页内容会通过 HTTP 请求返回到浏览器。有的网页数据直接写在 HTML 里打开浏览器“查看源代码”能找到完整数据这类叫静态页面。有的网页数据是页面加载后用 JavaScript 动态请求接口拿到的你在源代码里看不到完整数据这类叫动态页面。本文案例针对静态页面适合零基础入门。4.2 爬虫基本流程爬虫基本可以拆成四步构造 HTTP 请求模拟浏览器发出访问请求拿到服务器返回的 HTML 文本用解析库提取目标数据将结果保存到本地文件或数据库。为了减小对目标网站的影响本文用一个公开、稳定的演示 URL 示例同时控制请求间隔。如果你运行的环境无法访问外网可以把请求 URL 替换为任何一个你自己创建的 HTML 文件核心逻辑不变。4.3 第一个简单请求import requests url https://example.com resp requests.get(url) print(resp.status_code) # 200 表示成功 print(resp.text[:200]) # 打印网页前 200 个字符这种方式很可能被某些网站拒绝因为服务器能识别出默认的User-Agent与正常浏览器不同。修改为带请求头的方式import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } url https://example.com resp requests.get(url, headersheaders, timeout10) resp.encoding resp.apparent_encoding print(resp.status_code)代码解释headersHTTP 请求头User-Agent告诉服务器“我是浏览器”。timeout10请求超过 10 秒没有响应就报错防止程序卡死。resp.encoding resp.apparent_encoding按照内容自动识别编码解决中文乱码常见的难题。4.4 使用 BeautifulSoup 解析 HTML接下来用一个简单示例展示 HTML 解析。假设网页返回结构如下html body div classmovie-item span classtitle电影A/span span classrating8.5/span /div div classmovie-item span classtitle电影B/span span classrating7.9/span /div /body /html获取每个.movie-item中的标题和评分from bs4 import BeautifulSoup html html body div classmovie-item span classtitle电影A/span span classrating8.5/span /div div classmovie-item span classtitle电影B/span span classrating7.9/span /div /body /html soup BeautifulSoup(html, html.parser) items soup.select(.movie-item) for item in items: title item.select_one(.title).get_text(stripTrue) rating item.select_one(.rating).get_text(stripTrue) print(title, rating)这段代码的核心知识点soup.select(.movie-item)CSS 选择器方式选取所有包含movie-item类的元素。select_one选取第一个匹配的元素。get_text(stripTrue)获取文本并去掉首尾空白。如果你以前没有接触过 CSS 选择器只需要掌握两种即可写法含义div p选取div内部所有p.class_name选取所有带有该 class 的元素#id_name选取指定 id 的元素4.5 一个更完整的爬虫脚本模板下面这个模板演示了如何请求、解析、保存结果。每一行都很短但组合在一起就是一个真实的爬虫雏形。import csv import time import requests from bs4 import BeautifulSoup headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } # 示例地址请替换为你实际需要访问的、合法的、公开的页面 start_url https://example.com resp requests.get(start_url, headersheaders, timeout10) resp.encoding resp.apparent_encoding soup BeautifulSoup(resp.text, html.parser) # 请根据目标页面实际 HTML 结构调整选择器 items soup.select(.list-item) results [] for item in items: title_tag item.select_one(.title) rating_tag item.select_one(.rating) if title_tag is None: continue title title_tag.get_text(stripTrue) rating rating_tag.get_text(stripTrue) if rating_tag else results.append({title: title, rating: rating}) print(采集到, len(results), 条数据) # 写入 csv 文件 with open(output.csv, w, encodingutf-8-sig, newline) as f: writer csv.DictWriter(f, fieldnames[title, rating]) writer.writeheader() writer.writerows(results) print(保存成功)上面代码里的encodingutf-8-sig使用带 BOM 的 UTF-8 格式方便使用 Excel 打开 CSV 时不乱码这是一个工程细节。newline是为了避免 CSV 写入时出现多余空行。4.6 爬虫代码里的异常处理网络请求非常容易受到超时、反爬、目标网站结构改变影响所以强烈建议在最外层加异常处理。try: resp requests.get(start_url, headersheaders, timeout10) resp.raise_for_status() except requests.exceptions.Timeout: print(请求超时请稍后重试) except requests.exceptions.RequestException as e: print(请求失败:, e)raise_for_status()会判断 HTTP 状态码如果返回 4xx 或 5xx 就主动抛出异常避免拿无效数据继续解析这是爬虫工程化里很重要的一个处理习惯。5. 数据分析用 pandas 读取爬虫结果当我们拿到一个 CSV 文件后就可以进入数据分析环节了。pandas 是 Python 数据分析和数据处理领域最核心的库。对零基础读者来说不需要把 pandas 全部 API 背下来只需要掌握以下步骤读取文件、查看数据、简单清洗、分组统计。5.1 读取 CSV 文件import pandas as pd df pd.read_csv(output.csv) print(df.head()) # 查看前 5 行 print(df.info()) # 查看列名、行数、缺失情况 print(df.describe()) # 查看数值列的统计描述df.head()是初学者调试代码最常用的方法。每次读取文件后先看前几行确认数据是否正常。5.2 数据清洗示例实际爬取到的数据往往存在空值、重复值、格式不一致等问题。# 删除全空行 df df.dropna(howall) # 删除完全重复的行 df df.drop_duplicates() # 如果 rating 列存在空值可以选择填充或删除 df df.dropna(subset[rating]) # 将 rating 从字符串转为浮点数 df[rating] pd.to_numeric(df[rating], errorscoerce) # 再次删除转换后产生的空值 df df.dropna(subset[rating])说明errorscoerce的作用是遇到无法转换的值就变成NaN而不是直接报错。这在处理不规范的文本数据时非常常用。数据清洗没有固定答案取决于你的实际数据质量。建议每一步操作后都用df.head()或df.info()检查。5.3 数据统计# 有多少条数据 print(总条数:, len(df)) # 平均分 print(平均分:, df[rating].mean()) # 最高分 print(最高分:, df[rating].max()) # 按区间分箱观察评分分布 bins [0, 6, 7, 8, 9, 10] labels [0-6, 6-7, 7-8, 8-9, 9-10] df[score_range] pd.cut(df[rating], binsbins, labelslabels) print(df[score_range].value_counts())这里引入的pd.cut()是连续数值离散化的常用方法。把持续变化的评分分成区间观察数据分布是数据分析中很常见的思路。5.4 用 matplotlib 画图在数据分析中一图胜千言。下面画一个评分分布柱状图。import matplotlib.pyplot as plt # 解决中文显示问题 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC] plt.rcParams[axes.unicode_minus] False range_counts df[score_range].value_counts().sort_index() plt.figure(figsize(8, 5)) range_counts.plot(kindbar, color#4C72B0) plt.title(评分分布情况) plt.xlabel(评分区间) plt.ylabel(数量) plt.xticks(rotation0) plt.grid(axisy, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(rating_distribution.png, dpi150) plt.show()关于中文字体Windows 下可以尝试SimHei黑体macOS 下可以尝试PingFang SC或Arial Unicode MS如果画出的图中文变成方块通常说明当前环境没有可用中文字体这是本机字体问题项目代码本身没有错。代码里还加入plt.rcParams设置了unicode_minusFalse否则坐标轴上的负号可能显示为方块这也是很常见的坑。6. 从爬虫到分析完整案例串联上一节用的还是模拟数据这一节我们把前面的知识点全部串联起来完成一个完整的“采集电影评分 → 统计分析 → 可视化”小项目。整体流程如下请求目标网页解析 HTML得到电影标题和评分保存到 CSV用 pandas 读取并清洗统计评分区间保存可视化图片。6.1 创建项目结构在本地新建文件夹作为项目根目录例如python_spider_analysis。python_spider_analysis/ ├── venv/ # 虚拟环境自动生成 ├── spider.py # 爬虫脚本 ├── analysis.py # 数据分析脚本 ├── requirements.txt # 依赖清单 └── output/ └── movies.csv # 爬虫生成的 CSVoutput目录可以先手动创建也可以在代码里用os.makedirs自动创建。6.2 编写爬虫文件 spider.pyimport csv import os import time import requests from bs4 import BeautifulSoup HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0 Safari/537.36 } # 示例地址请替换为你实际需要访问的、合法、公开的页面 URL https://example.com OUTPUT_DIR output OUTPUT_FILE os.path.join(OUTPUT_DIR, movies.csv) def get_html(url): try: resp requests.get(url, headersHEADERS, timeout10) resp.raise_for_status() resp.encoding resp.apparent_encoding return resp.text except requests.exceptions.RequestException as e: print(请求失败:, e) return def parse_html(html): soup BeautifulSoup(html, html.parser) # 注意下面选择器仅为示例需要根据真实网页结构调整 items soup.select(.movie-item) data [] for item in items: title_tag item.select_one(.title) rating_tag item.select_one(.rating) if title_tag is None: continue title title_tag.get_text(stripTrue) rating rating_tag.get_text(stripTrue) if rating_tag else data.append({ title: title, rating: rating, }) return data def save_to_csv(data): os.makedirs(OUTPUT_DIR, exist_okTrue) with open(OUTPUT_FILE, w, encodingutf-8-sig, newline) as f: writer csv.DictWriter(f, fieldnames[title, rating]) writer.writeheader() writer.writerows(data) print(已保存, len(data), 条数据到, OUTPUT_FILE) def main(): html get_html(URL) if not html: print(HTML 内容为空程序结束) return data parse_html(html) if not data: print(没有解析到任何电影数据请检查选择器) return save_to_csv(data) if __name__ __main__: main()说明我把代码拆成了get_html、parse_html、save_to_csv、main几个函数。这样职责清晰后续想修改某个环节不需要改动整体逻辑。if __name__ __main__:是 Python 文件的标准写法表示只有直接运行该脚本时才执行main()。os.makedirs(OUTPUT_DIR, exist_okTrue)能自动创建输出目录避免因目录不存在而报错。运行python spider.py6.3 编写分析文件 analysis.pyimport os import pandas as pd import matplotlib.pyplot as plt # 设置中文字体 plt.rcParams[font.sans-serif] [SimHei, Microsoft YaHei, PingFang SC] plt.rcParams[axes.unicode_minus] False INPUT_FILE os.path.join(output, movies.csv) def load_data(file_path): if not os.path.exists(file_path): raise FileNotFoundError(f找不到文件: {file_path}请先运行 spider.py) df pd.read_csv(file_path) print(原始数据条数:, len(df)) return df def clean_data(df): df df.dropna(howall) df df.drop_duplicates() df df.dropna(subset[rating]) df[rating] pd.to_numeric(df[rating], errorscoerce) df df.dropna(subset[rating]) return df def analyze_data(df): print(清洗后数据条数:, len(df)) print(平均评分:, df[rating].mean()) bins [0, 6, 7, 8, 9, 10] labels [0-6分, 6-7分, 7-8分, 8-9分, 9-10分] df[score_range] pd.cut(df[rating], binsbins, labelslabels, rightFalse) counts df[score_range].value_counts().sort_index() return counts def plot_data(counts): plt.figure(figsize(8, 5)) counts.plot(kindbar, color#4C72B0) plt.title(电影评分分布) plt.xlabel(评分区间) plt.ylabel(数量) plt.xticks(rotation0) plt.grid(axisy, linestyle--, alpha0.6) plt.tight_layout() plt.savefig(rating_distribution.png, dpi150) print(图片已保存为 rating_distribution.png) plt.show() def main(): df load_data(INPUT_FILE) df clean_data(df) counts analyze_data(df) print(counts) plot_data(counts) if __name__ __main__: main()运行python analysis.py如果文件路径没问题你会看到控制台输出统计数据同时弹出柱状图窗口并生成rating_distribution.png图片。6.4 用真实网页试跑时要注意什么如果你准备用某个真实网站做练习请务必注意先打开网页右键点击“检查”找到目标元素的真实 HTML 标签和 class 名称修改代码里的选择器.movie-item、.title、.rating第一次先用print(resp.text[:500])看看返回的 HTML 是否符合预期如果返回 403 或 418说明被服务器反爬了不要强行绕过应该降低频率或换公开 API控制全局抓取速度在循环解析分页时增加随机time.sleep(1 - 3)。这里的本质不是“教你怎么破反爬”而是提醒你当你看到 403、418、429 这些状态码时说明你的请求已经被限流或拒绝正确做法是尊重规则并调整策略而不是硬对抗。7. 常见问题与排查思路新手写 Python 爬虫和数据分析时会遇到大量重复问题。下表汇总了最高频的几类几乎每个同学都会遇到至少一个。问题现象常见原因解决思路运行爬虫后只显示Process finished with exit code 0没有任何输出代码逻辑没有打印内容或parse_html没有解析到任何数据在关键节点加print先打印 HTML 片段再确认选择器是否正确爬虫结果中文乱码网页编码与解析编码不一致设置resp.encoding resp.apparent_encoding或指定页面 charset请求返回 403服务器识别出是爬虫添加符合规范的User-Agent降低频率不要硬破解pandas 读取 CSV 后 rating 列是字符串导出时保存的是文本使用pd.to_numeric(..., errorscoerce)转数值matplotlib 中文显示为方块系统缺少中文字体切换字体配置或安装中文字体pip 安装库失败网络源慢或源不稳定使用国内镜像安装VS Code 运行代码提示 no module named requests选择了解释器但库没装到当前环境确认激活了虚拟环境在虚拟环境中执行 pip install找不到模块requests但 PyCharm 里能运行PyCharm 可能自动帮你装了库也可能用了不同解释器统一终端和 IDE 的解释器路径7.1 重点解释为什么爬虫运行没有结果只显示 exit code 0这个问题的搜索热度非常高是因为“程序没有报错”反而更容易让人困惑。先理解exit code 0的含义它表示 Python 解释器正常退出没有发生异常。它不表示“程序执行了你期望的业务逻辑”更不表示“你得到了数据”。所以当你看到这句话时就要反过来想程序哪里可能没有按预期执行最常见的几种场景代码里只有一个函数的定义没有调用它。代码里虽然有main()但没有写if __name__ __main__: main()。请求到了网页但 HTML 结构解析不到任何元素循环体没执行。你写了break或return提前结束了流程。网络请求被服务器拒绝但异常被你静默吞掉了。请记住一个调试原则不要让任何关键步骤“安静地失败”。在爬虫脚本里请求完先打印状态码解析完先打印条数保存完再打印文件路径。下面这段代码可以作为“打印埋点”的参考print(开始请求:, url) resp requests.get(url, headersheaders, timeout10) print(请求完成状态码:, resp.status_code) print(HTML 长度:, len(resp.text)) items soup.select(.movie-item) print(解析到条目数:, len(items))加了这些输出之后你就能定位到是“请求失败”“解析失败”还是“保存失败”。另外还有一个隐蔽坑如果你在 PyCharm、VSCode 或终端里看到Process finished with exit code 0但程序运行时间极短可能反映出程序根本没执行到业务逻辑。这时候可以尝试使用 IDE 的Debug 按钮在main()第一行添加断点单步执行。这比盲目改代码要高效得多。8. 进阶方向与工程实践建议到这里你已经完成了一个“爬虫 数据分析 可视化”的完整链路。虽然数据量不大、页面不复杂但所有大型爬虫和数据分析项目都建立在这个最小闭环上。8.1 从“能跑”到“工程化”真实项目里代码往往不是一次就写完的还需要考虑更多问题。8.1.1 使用 requirements.txt 管理依赖在虚拟环境中执行pip freeze requirements.txt以后换到新机器只需要pip install -r requirements.txt这样能保证团队成员和你的第三方库版本基本一致减少“在我电脑上能跑”的问题。8.1.2 增加日志而不是大量 print项目规模变大以后大量print会让输出混乱。Python 自带logging模块可以控制日志级别。import logging logging.basicConfig(levellogging.INFO, format%(asctime)s - %(levelname)s - %(message)s) logging.info(开始抓取第 1 页) logging.warning(该页面没有数据) logging.error(请求超时)8.1.3 保存中间结果爬虫抓取的数据如果量大建议先原始保存再清洗入库不要边抓边清洗。因为清洗规则可能随时调整如果只保留最终结果原始数据丢失后再想重新清洗就很难。8.1.4 控制采集频率很多新手写爬虫时会在for循环里连续快速请求几百页这样很容易触发服务器的反爬机制。使用随机等待import random import time for page in range(1, 11): print(抓取第, page, 页) # 请求逻辑 time.sleep(random.uniform(1, 3)) # 随机休息 1 到 3 秒这个做法的本质是“降低对目标服务器的压力”不是“绕过限制”。8.2 从“静态爬虫”到“动态页面与接口”后续进阶会面对大量动态页面。到那时你会用到以下技术和思路在浏览器开发者工具中筛选XHR/Fetch请求找到真正的数据接口分析接口的 URL 参数和返回 JSON 结构直接请求接口获得数据后再用 pandas 分析如果页面复杂可能再单独研究浏览器自动化工具如 Selenium/Playwright但这属于另一个技术主题。这部分内容大多涉及前端知识和接口分析不是零基础第一阶段需要掌握的内容。先把静态爬虫与 pandas 数据分析练熟练再进入动态页面会顺畅很多。8.3 从“单一表格”到“更大数据量”当数据量达到几十万行甚至更多时处理方式也会变化Excel 已经不适合存储与展示需要把数据导入 MySQL、PostgreSQL 或 ClickHouse 等数据库可能要使用分布式爬虫框架和消息队列pandas 单机处理大文件可能会内存不足可以考虑使用分块读取、dtype压缩或 PySpark。这些内容属于“数据工程”的范畴。初学阶段先不要一上来就追求大数据技术栈老老实实把一个 1000 条数据的小项目做完整带来的收获比听 100 个名词更大。8.4 安全与合规提醒无论你是学习爬虫还是数据分析都需要建立几条基本底线不采集个人敏感信息包括手机号、身份证、住址、聊天记录等不采集需要登录才能看到的非公开数据更不要尝试暴力破解不绕过任何反爬技术去攻击网站遇到反爬、验证码正确做法是停止并思考替代方案不将采集到的数据用于商业用途除非你已获得授权。这一点在写本文时我特别想强调爬虫技术的难点从来不只是“代码怎么写”还包括“什么能做、什么不能做”。建立边界意识会让你走得更远。8.5 如果爬虫目标网站结构变了怎么办真实项目里网页改版是常态。昨天能跑的代码今天可能就解析不到数据。解决方法其实很朴素打开浏览器开发者工具查看当前页面结构对比代码里的选择器差异修改 CSS 选择器或者解析函数增加异常提醒比如解析不到数据就发送告警或写入日志。不要试图写一套永远不变的爬虫世界上没有这种程序。9. 下一步该怎么学看完这篇文章你的学习进度其实已经超过了很多人。因为你不仅接触了 Python 基础语法还跑通了一个“从爬虫到数据分析”的完整流程。关于下一步给几点实际可行的建议先把本文案例改造成你自己的数据源。找一份你感兴趣、合法、公开的网站数据去爬取并完成分析哪怕只是统计关键词出现次数、排行榜数据之类的简单内容。补强基础语法。当你带着案例回头去学 Python 基础时你会发现自己理解变量的保存逻辑、列表和字典的存取方式都要快得多。深入 pandas 和 DataFrame 操作。pandas 是数据分析绕不开的核心建议系统学习DataFrame的筛选、分组、合并、透视表。如果要走数据分析方向可以继续学习统计学基础、SQL、数据可视化进阶、常见机器学习库scikit-learn的入门使用。如果要走爬虫方向可以继续学习 HTTP 协议、JSON 解析、动态页面抓取、Scrapy 框架等但一定把这些技术放在“合法合规”的框架下使用。不要盲目追求“把所有库都学会”。技术工具是会过时的但解决问题的思路和排错能力不会。你现在的目标不应该是“收藏更多教程”而是“找到一个自己感兴趣的问题把它解决掉”。希望这篇文章能和那 500 集收藏夹吃灰的视频形成一点区别它给不了你“5 天速成”的幻觉但能让你从零开始一步步写出自己的 Python 程序。关掉这篇教程之后建议你打开编辑器先建一个hello.py写下第一行代码。print(Hello Python)然后去处理一份真实数据。真正的进步从你写出属于自己代码的那一刻才刚开始。