Python脚本把整个网站离线下载到本地【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader你收藏夹里那个每天必开的网站有一天突然变成了 404——这种事轮到谁头上谁都会愣住。WebSite-Downloader一个只用 Python 标准库写成的网站离线下载工具存在的全部意义就一句话在网页消失之前把整站内容搬进你的硬盘。收藏夹不是保险柜它只是张借条网页从来不属于你它只是暂时借住在别人的服务器上。博主换了主机商、域名到期没续费、公司改版了项目结构——任何一个环节出问题你的移动图书馆就会一夜蒸发。浏览器书签救不了你它只存了一个地址截图也救不了你它留不住样式和跳转。更扎心的是那些高频场景高铁隧道里断网、出差路上没信号、公司内网屏蔽外站。这时候你缺的不是孤立的网页而是整个网站的骨架——结构、样式、图片、脚本一个能双击 index.html 就完整复活的本地副本。WebSite-Downloader 要解决的恰恰是这件事。它的原理说白了就是请了家搬家公司想象你雇了一队搬家工人Manager是坐在总部的调度员8 个叫Spider的搬运工轮流从待办清单Queue队列里领任务。领到一张网页搬运工先扫一遍里面的href、src把属于本站的链接挑出来——判断标准是顶级域名外站的链接直接放走——再交给调度员去重、编号、塞回清单。等所有房间都搬完最后一步是给新家的每扇门重新贴门牌把线上绝对链接改写成文件之间的相对路径。所以你在本地双击页面图片、样式、跳转全都正常就像网站自己搬了个家。先改一行网址再跑起来最后验收先 clone 仓库Python 3.6 以上就能跑全项目只有一个文件零第三方依赖git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader再打开WebSite-Downloader.py滚到末尾第 424 到 426 行把示例网址换成你的目标站if __name__ __main__: manager Manager(https://www.whsw.net/) manager.start()这两行就是全部入口Manager(...)接收首页地址自动算出下载目录形如whsw-site/www.whsw.net并提取顶级域名用于过滤外链.start()负责启动 8 个抓取线程并盯着队列——当所有线程60 秒内找不到新链接就收工控制台还会响铃提醒你。最后python WebSite-Downloader.py跑起来等它安静下来进到以域名命名的文件夹双击index.html。下载过程中每一条成功或失败记录都实时落在同目录的log.log里。用之前和用之后差在哪场景用之前用之后高铁隧道、出差断网网页打不开干着急本地双击即看和线上几乎一样网站改版、博主关站收藏夹集体失效硬盘里躺着完整副本视频课程、PDF 资料在线限速、随时下架自动全抓大文件超时自动放宽到 600 秒研究竞品结构不敢反复抓线上整站本地拆解不留访问痕迹三件一般人不会告诉你的进阶玩法第一件提速只改一个数字。把第 88 行的range(8)改成range(16)就是 16 线程并发。但别贪心8 到 16 之间通常最稳抓太猛容易给人家服务器添堵。第二件白名单可以自己扩充。文件类型白名单就藏在Spider类的other_suffixes集合里js、jpg、pdf、zip 等 40 多种后缀默认覆盖想支持webp、apk这类新格式往里加一个后缀即可。而mp4、pdf等大文件代码会自动把超时从默认 20 秒放宽到 600 秒耐心等你下完。第三件范围天然可控。抓取只认同一个顶级域名永远不会失控。想只备份某个栏目把home_url直接指向栏目入口页就行。碰到解码乱码的老中文站也不用慌内置了utf-8 → gb2312 → gbk三级兜底。别等收藏夹变成404再后悔回到开头那个问题链接是租来的硬盘才是自己的。现在你手里有一个零依赖、几百行的工具差的只是动手。选一个你天天打开的静态博客跑一次python WebSite-Downloader.py等那声响铃响起——从那一刻起这个网站才真正属于你。【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Python脚本把整个网站离线下载到本地
Python脚本把整个网站离线下载到本地【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader你收藏夹里那个每天必开的网站有一天突然变成了 404——这种事轮到谁头上谁都会愣住。WebSite-Downloader一个只用 Python 标准库写成的网站离线下载工具存在的全部意义就一句话在网页消失之前把整站内容搬进你的硬盘。收藏夹不是保险柜它只是张借条网页从来不属于你它只是暂时借住在别人的服务器上。博主换了主机商、域名到期没续费、公司改版了项目结构——任何一个环节出问题你的移动图书馆就会一夜蒸发。浏览器书签救不了你它只存了一个地址截图也救不了你它留不住样式和跳转。更扎心的是那些高频场景高铁隧道里断网、出差路上没信号、公司内网屏蔽外站。这时候你缺的不是孤立的网页而是整个网站的骨架——结构、样式、图片、脚本一个能双击 index.html 就完整复活的本地副本。WebSite-Downloader 要解决的恰恰是这件事。它的原理说白了就是请了家搬家公司想象你雇了一队搬家工人Manager是坐在总部的调度员8 个叫Spider的搬运工轮流从待办清单Queue队列里领任务。领到一张网页搬运工先扫一遍里面的href、src把属于本站的链接挑出来——判断标准是顶级域名外站的链接直接放走——再交给调度员去重、编号、塞回清单。等所有房间都搬完最后一步是给新家的每扇门重新贴门牌把线上绝对链接改写成文件之间的相对路径。所以你在本地双击页面图片、样式、跳转全都正常就像网站自己搬了个家。先改一行网址再跑起来最后验收先 clone 仓库Python 3.6 以上就能跑全项目只有一个文件零第三方依赖git clone https://gitcode.com/gh_mirrors/web/WebSite-Downloader cd WebSite-Downloader再打开WebSite-Downloader.py滚到末尾第 424 到 426 行把示例网址换成你的目标站if __name__ __main__: manager Manager(https://www.whsw.net/) manager.start()这两行就是全部入口Manager(...)接收首页地址自动算出下载目录形如whsw-site/www.whsw.net并提取顶级域名用于过滤外链.start()负责启动 8 个抓取线程并盯着队列——当所有线程60 秒内找不到新链接就收工控制台还会响铃提醒你。最后python WebSite-Downloader.py跑起来等它安静下来进到以域名命名的文件夹双击index.html。下载过程中每一条成功或失败记录都实时落在同目录的log.log里。用之前和用之后差在哪场景用之前用之后高铁隧道、出差断网网页打不开干着急本地双击即看和线上几乎一样网站改版、博主关站收藏夹集体失效硬盘里躺着完整副本视频课程、PDF 资料在线限速、随时下架自动全抓大文件超时自动放宽到 600 秒研究竞品结构不敢反复抓线上整站本地拆解不留访问痕迹三件一般人不会告诉你的进阶玩法第一件提速只改一个数字。把第 88 行的range(8)改成range(16)就是 16 线程并发。但别贪心8 到 16 之间通常最稳抓太猛容易给人家服务器添堵。第二件白名单可以自己扩充。文件类型白名单就藏在Spider类的other_suffixes集合里js、jpg、pdf、zip 等 40 多种后缀默认覆盖想支持webp、apk这类新格式往里加一个后缀即可。而mp4、pdf等大文件代码会自动把超时从默认 20 秒放宽到 600 秒耐心等你下完。第三件范围天然可控。抓取只认同一个顶级域名永远不会失控。想只备份某个栏目把home_url直接指向栏目入口页就行。碰到解码乱码的老中文站也不用慌内置了utf-8 → gb2312 → gbk三级兜底。别等收藏夹变成404再后悔回到开头那个问题链接是租来的硬盘才是自己的。现在你手里有一个零依赖、几百行的工具差的只是动手。选一个你天天打开的静态博客跑一次python WebSite-Downloader.py等那声响铃响起——从那一刻起这个网站才真正属于你。【免费下载链接】WebSite-DownloaderA website downloader written with Python项目地址: https://gitcode.com/gh_mirrors/web/WebSite-Downloader创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考