简介这是一份面向Java开发者和爬虫学习者的比价网Spider开源项目源码核心围绕比价网站数据抓取、解析与展示展开适合希望了解电商比价系统完整实现的中高级开发者参考。压缩包共2000个文件约122.75MB主要包含698个JavaScript文件用于前端交互与动态数据处理、303个Java文件承担爬虫与业务逻辑、430个HTML文件构成页面结构另有CSS、JSP、Markdown文档及配置文件辅助说明与环境配置。项目使用Java为主并融合JavaScript、HTML等多种技术具备清晰的Maven工程结构和readme说明便于直接导入调试与二次开发。目前该资源已有81人学习下载对于想快速搭建比价爬虫框架、研究反爬策略和数据存储方案的开发者是一份兼顾理论参考与工程实践的开源样例。1. Java比价网Spider这套开源源码包值得下载的三个理由做比价爬虫最烦的不是不会写HttpClient而是明明能抓到页面却卡在解析、去重和落库的细节上。这份标着“基于Java语言的比价网Spider开源设计源码”的项目我拆完后最大的感受是它不像网上那些只有几个Java类的教程Demo而是一个把前端展示、爬虫抓取、数据存储串起来的完整工程。6073个文件里藏着1640个JavaScript、303个Java源文件、408个JSON数据文件还有readme.txt和pom.xml这意味着你不仅能看爬虫逻辑还能看到整个比价网站的架构怎么搭。对想快速上手Web抓取、又希望代码能直接改来用的Java开发者来说这个包比从零写要省事得多。适合两类人一是拿它做课程设计或毕设二是想从传统CRUD转爬虫方向的一线Java工程师。2. 源码包结构拆解6073个文件里先看哪几个目录2.1 按文件类型定位模块JS/HTML/CSS/Java各自承担的职责这个包里文件类型很杂第一次打开的人容易懵。我建议先按后缀把文件分组再对应到功能模块。1640个JavaScript文件基本都在前端交互层负责页面渲染、异步加载、价格图表展示796个HTML是爬虫要解析的目标页面模板也是比价网站的页面骨架306个CSS加上356个LESS负责样式这些跟爬虫逻辑无关但能帮你理解页面结构方便写选择器。真正核心的是303个Java源文件它们分布在src目录下负责请求调度、页面解析、数据清洗和持久化。408个JSON文件则大概率是抓取结果的样本或者前端渲染用的数据接口调试爬虫时可以直接拿它们当预期输出对照。unzip 比价网Spider开源源码.zip -d spider-project cd spider-project tree -L 2 -d src db | head -50解压后用tree命令看目录层级。src下通常是Maven标准结构db目录可能放SQL脚本或数据库初始化文件。我一般会先看src/main/java下面的包名如果包名里有crawler、parser、model、dao这些词说明作者已经按职责分好了层。db目录里如果有.sql文件直接打开看建表语句能快速知道他要存哪些商品维度——价格、标题、店铺、更新时间这些字段一定会在表里出现。2.2 从pom.xml和src目录反推项目构建方式pom.xml是整个项目的构建入口。打开后重点看dependencies标签这决定了爬虫用什么HTTP库、什么解析库。常见做法是这个包里会引入Jsoup、HttpClient或者OkHttp以及JSON处理用的Jackson或Fastjson。如果看到Selenium或HtmlUnit说明作者考虑了动态页面渲染。看依赖的同时也留意properties里的Java版本号这影响你的本地编译环境。!-- pom.xml 关键依赖片段示例 -- dependencies dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.15.3/version /dependency dependency groupIdcom.fasterxml.jackson.core/groupId artifactIdjackson-databind/artifactId version2.15.2/version /dependency /dependencies这里逻辑很直白Jsoup负责把HTML转成DOM树Jackson负责把Java对象序列化成JSON。如果你要用Maven命令行构建先确认本地JDK版本跟pom里要求的一致然后执行mvn clean package。构建失败时优先看报错里缺哪个依赖再检查是不是本地仓库没有对应版本。2.3 readme.txt和db目录启动前必读的两处这个包里的readme.txt不是摆设。我见过太多人忽略它结果连数据库连接账号都找错。建议先打开readme看它写的启动步骤、需要修改的配置项、以及依赖的外部服务。比如它可能会要求你先创建一个MySQL数据库然后执行db目录下的schema.sql。如果你跳过这一步直接跑爬虫大概率会连不上数据库。db目录里一般会有建表语句和初始数据。打开表结构你会看到商品表、价格历史表、抓取任务表之类的设计。这里透露一个选型细节比价数据是典型的时序数据同一商品在不同时间的价格需要分表存否则后续做价格趋势分析很痛苦。如果源码包里没有历史价格表建议你自己加一张price_history表字段至少包含product_id、price、capture_time。3. 把一个商品页跑通从HTTP请求到JSON落库的完整步骤3.1 用Jsoup发起请求请求头、超时和重试参数怎么设比价网站最看重的是“稳定拿到页面”不是“炫技”。我推荐先用Jsoup处理静态页面因为它内置了HttpConnection代码量少出错容易排查。下面这段代码是从某个抓取任务里抽出来的骨架你拿到源码包后可以对照着改动。// 配置一个可复用的Jsoup连接 public static Document fetchPage(String url, int timeoutMillis, int retryTimes) { Document doc null; for (int i 0; i retryTimes; i) { try { doc Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36) .header(Accept, text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8) .header(Accept-Language, zh-CN,zh;q0.8) .timeout(timeoutMillis) .followRedirects(true) .execute() .parse(); if (doc ! null) break; } catch (IOException e) { // 超时或网络异常做到第i次重试前先sleep一会避免被封 try { Thread.sleep(1000L * i); } catch (InterruptedException ie) { Thread.currentThread().interrupt(); } } } return doc; }这里关键参数有三个userAgent一定要设成真实浏览器值很多比价站只拦默认UAtimeoutMillis建议3000到5000太短容易误判失败太长会拖慢整体抓取retryTimes建议2到3次不要无限重试。如果遇到403或503先不要改代码先看是不是被反爬拦截了再用后面的避坑思路排查。3.2 解析商品价格与规格CSS选择器与正则兜底页面拿到后解析是核心。Jsoup的select方法配合CSS选择器最易用但比价网站经常改class名所以要留一手正则兜底。下面演示从商品详情页抽取标题、价格和原始描述。public static Product parseProduct(Document doc) { Product p new Product(); // 先尝试用结构化选择器 String title doc.select(h1.product-title).first() null ? : doc.select(h1.product-title).first().text(); String priceText doc.select(span.price).first() null ? : doc.select(span.price).first().text(); // 如果选择器没拿到退到正则提取常见于价格被拆成多个节点 if (priceText.isEmpty()) { String html doc.html(); java.util.regex.Pattern pattern java.util.regex.Pattern.compile((?:|¥)\\s*([\\d,](?:\\.\\d{1,2})?)); java.util.regex.Matcher matcher pattern.matcher(html); if (matcher.find()) { priceText matcher.group(1).replaceAll(,, ); } } p.setTitle(title); p.setPrice(priceText); return p; }这段代码体现了“结构化优先、正则兜底”的解析原则。注意价格里的逗号必须去掉否则转BigDecimal时会报错。如果页面价签在多个span里分散显示用CSS选择器反而麻烦正则提取整个HTML文本反而更稳。但这个正则只适合纯数字价格如果你抓的是区间价格或带促销文案需要另外加固。3.3 数据落库与JSON序列化字段映射与增量更新抓到的数据不能直接往数据库里怼先要定义好实体字段。比价场景最少要有商品ID、来源URL、标题、价格、抓取时间。然后把对象序列化成JSON方便后续接口返回或者放入消息队列。这里给出一个简单的DAO更新逻辑。// 插入或更新商品价格数据一致性的关键做法 public void upsertProduct(Product p, JdbcTemplate jdbc) { String sql INSERT INTO product (product_id, title, price, capture_time, source_url) VALUES (?, ?, ?, NOW(), ?) ON DUPLICATE KEY UPDATE price VALUES(price), capture_time NOW(); jdbc.update(sql, p.getProductId(), p.getTitle(), p.getPrice(), p.getSourceUrl()); }这段代码解决的是重复抓取问题同一商品每次抓取都更新价格和抓取时间但不会产出重复行。product_id需要你自己生成规则建议用URL的MD5哈希这样同一个URL永远对应同一ID天然去重。capture_time用数据库时间避免各个服务器时钟不一致。如果你还要存历史价格就改成先查当前记录再插入price_history表。4. 前端渲染与资源抓取Less编译、图片下载和动态页面处理4.1 处理JavaScript渲染的页面等待策略与无头浏览器选择这个开源源码包里JavaScript文件占了四分之一说明很多比价页面可能是前端异步渲染的商品价格可能藏在XHR接口里而不是服务端直接输出。遇到这种页面Jsoup拿到的HTML里没有价格数据。我的处理经验是先看页面接口用浏览器的开发者工具抓XHR很多网站其实有公开的数据接口直接请求JSON比解析HTML更高效。如果接口不好找再用无头浏览器渲染。常见做法是引入Selenium WebDriver或者更轻量的HtmlUnit。Selenium可以控制真实Chrome但吃内存HtmlUnit是纯Java不依赖浏览器但执行复杂JS的能力有限。如果你只是抓价格和标题我建议优先试HtmlUnit因为它在同个项目里不需要额外安装浏览器驱动。下面是一个简单的等待策略示例。// HtmlUnit等待JS执行完成后获取动态渲染后的DOM WebClient webClient new WebClient(BrowserVersion.CHROME); webClient.getOptions().setJavaScriptEnabled(true); webClient.waitForBackgroundJavaScript(5000); HtmlPage page webClient.getPage(https://example.com/product/123); String price page.querySelector(.product-price).getTextContent();注意waitForBackgroundJavaScript(5000)表示等后台JS执行5秒单位是毫秒。如果5秒后节点还没渲染出来可以改成循环轮询每500ms查一次节点是否存在最多等10秒。这样做比固定sleep更快也不会在慢网络下浪费额外时间。4.2 图片与静态资源抓取URL去重和存储目录规划源码包里754个PNG和672个GIF这不全是爬虫要抓的图片有一部分是前端展示用的素材。实战中抓比价网站的图片一般只需要商品主图而不是页面上所有装饰图。所以第一步是过滤URL只保留商品图片的规则比如路径中包含/img/product/或/upload/这类关键词。第二步是URL去重用HashSet或者布隆过滤器都可以商品图不要重复下载。# 这是一个URL去重的临时脚本用来检查你的抓取任务里是否存在重复URL seen set() for url in url_list: if url in seen: print(重复, url) else: seen.add(url)注意我把去重脚本写成Python是因为临时检查方便Java里对应可以用ConcurrentHashMap.newKeySet()。如果你要把图片存到本地目录按商品ID分文件夹比如images/商品ID/1.jpg这样不会出现一两万张图堆在同一个目录里的情况。4.3 多语言混杂源码的维护Ruby/PHP脚本的边界这个包还包含Ruby和PHP文件很多人会疑惑它们是不是爬虫的核心。实际从功能上推断Ruby或PHP脚本大概率是比价网站的前端服务端部分比如旧版接口或数据处理任务。在Java爬虫项目里这些文件不是运行时的必需项。我的建议是先跑通Java主流程Ruby和PHP脚本只当作资料参考不要一上来就去配置Ruby环境或PHP环境免得范围失控。如果要看这类杂脚本的作用直接搜索*.rb或*.php里的数据库连接配置和Java里的配置对比能发现作者是否在多个语言间共享同一套数据库表。这种共享对爬虫来说有风险两个服务同时写一张表会产生锁竞争。你要是接手这个项目最好规定只有Java模块负责写入其他脚本只读。5. 比价爬虫避坑指南403、空解析、乱码的排查记录5.1 现象请求返回403或503403通常不是代码问题是服务器识别的请求头或IP频率异常。我遇到过一次页面在浏览器里能打开用Jsoup一请求就403最后发现是少了Referer头。比价网站有些详情页会校验来源页面必须带上商品列表页的URL。503多半是触发反爬策略或服务器过载解决方式是降低抓取频率加随机延时比如每次请求后Thread.sleep(2000 random.nextInt(3000))。5.2 现象解析结果为空但浏览器能看到数据这几乎都是因为数据是JS异步加载的。Jsoup拿到的HTML是空壳价格在浏览器收到页面后又发XHR请求才填充上去。解决方法是先打开浏览器开发者工具切到Network面板刷新页面后找到返回价格的XHR地址直接请求这个地址。一般这个地址是.json或.do后缀返回的数据更好解析。如果一定要渲染就用上一章的HtmlUnit或Selenium。5.3 现象数据库中价格重复或乱码乱码十有八九是页面编码被当成了UTF-8但实际是GBK。Jsoup的charset解析偶尔会失效你可以在execute().parse()之前强制指定doc.charset(Charset.forName(GBK))。价格重复更常见的原因是在过滤条件里没加“只取最新价格”导致同一个商品ID在历史表里出现多行。检查你的upsert逻辑确保主键唯一且不要每次抓取都插入一条新记录。5.4 现象项目启动卡在Maven依赖无法下载这种情况多半是网络访问不了中央仓库或本地仓库缺包。先检查~/.m2/repository下有没有对应目录没有就换阿里云镜像。在pom.xml里添加镜像仓库或者在settings.xml里配置mirror。还有一种是Java版本不匹配比如项目要求JDK 11但你用JDK 8编译期报错会让人误以为依赖有问题。5.5 现象爬虫运行一段时间后CPU/内存飙高原因基本是解析库把整个HTML加载成对象后没有释放或者请求失败后抛异常但没有关闭连接。Jsoup的Document如果长期被引用GC无法回收。解决方法是每个抓取任务用独立的作用域抓完立刻清掉引用同时给HTTP客户端设置连接池上限和空闲连接超时。如果是HtmlUnit那更要注意每个WebClient用完必须close()否则每个实例都会占用V8引擎的线程。6. 进阶验证把Spider跑出稳定结果后再检查这四件事爬虫能跑通只算入门判断它是否“稳定可维护”需要做四类验证。第一件是数据完整性校验随机抽10%的商品用另一个途径重新抓一遍页面看关键字段是否一致。如果价格差超过1%说明解析逻辑里混入了脏数据比如把“满减价”或“促销价”当成了原价。第二件是抓取成功率监控。我给爬虫加了一个计数文件每10分钟记录一次成功响应数和失败原因。成功率低于95%时不会去猜哪个环节挂了而是直接看最近一条失败日志的HTTP状态码。如果你在源码包里看到类似的日志代码记得改成异步写入防止磁盘IO拖慢爬虫。第三件是价格趋势验证。比价网的核心价值是历史价格曲线所以你至少要保存7天以上的price_history数据。写一个简单的SQL查一下看有没有某个商品在短时间内价格从100跳到10又跳回来这种非常规波动通常是解析错位而不是真实降价。第四件是反爬模拟验证。选一个高频场景比如连续访问同一个商品详情页5次用源码包里的请求模块检测是否会触发验证码。如果会你的代理池和请求间隔设置就是无效的需要调整到更保守的频率。从那以后我每次接手爬虫项目都会强制走一遍这四步验证看起来费时但能省下后面几周和服务器较劲的时间。这份源码包的价值不在于你能直接开跑而在于你能借着它的完整结构把“抓取-解析-存储-验证”这条链路理顺。希望帮到你。本文还有配套的精品资源点击获取 Java比价网Spider开源源码解析：从抓取到落库的实战指南
简介这是一份面向Java开发者和爬虫学习者的比价网Spider开源项目源码核心围绕比价网站数据抓取、解析与展示展开适合希望了解电商比价系统完整实现的中高级开发者参考。压缩包共2000个文件约122.75MB主要包含698个JavaScript文件用于前端交互与动态数据处理、303个Java文件承担爬虫与业务逻辑、430个HTML文件构成页面结构另有CSS、JSP、Markdown文档及配置文件辅助说明与环境配置。项目使用Java为主并融合JavaScript、HTML等多种技术具备清晰的Maven工程结构和readme说明便于直接导入调试与二次开发。目前该资源已有81人学习下载对于想快速搭建比价爬虫框架、研究反爬策略和数据存储方案的开发者是一份兼顾理论参考与工程实践的开源样例。1. Java比价网Spider这套开源源码包值得下载的三个理由做比价爬虫最烦的不是不会写HttpClient而是明明能抓到页面却卡在解析、去重和落库的细节上。这份标着“基于Java语言的比价网Spider开源设计源码”的项目我拆完后最大的感受是它不像网上那些只有几个Java类的教程Demo而是一个把前端展示、爬虫抓取、数据存储串起来的完整工程。6073个文件里藏着1640个JavaScript、303个Java源文件、408个JSON数据文件还有readme.txt和pom.xml这意味着你不仅能看爬虫逻辑还能看到整个比价网站的架构怎么搭。对想快速上手Web抓取、又希望代码能直接改来用的Java开发者来说这个包比从零写要省事得多。适合两类人一是拿它做课程设计或毕设二是想从传统CRUD转爬虫方向的一线Java工程师。2. 源码包结构拆解6073个文件里先看哪几个目录2.1 按文件类型定位模块JS/HTML/CSS/Java各自承担的职责这个包里文件类型很杂第一次打开的人容易懵。我建议先按后缀把文件分组再对应到功能模块。1640个JavaScript文件基本都在前端交互层负责页面渲染、异步加载、价格图表展示796个HTML是爬虫要解析的目标页面模板也是比价网站的页面骨架306个CSS加上356个LESS负责样式这些跟爬虫逻辑无关但能帮你理解页面结构方便写选择器。真正核心的是303个Java源文件它们分布在src目录下负责请求调度、页面解析、数据清洗和持久化。408个JSON文件则大概率是抓取结果的样本或者前端渲染用的数据接口调试爬虫时可以直接拿它们当预期输出对照。unzip 比价网Spider开源源码.zip -d spider-project cd spider-project tree -L 2 -d src db | head -50解压后用tree命令看目录层级。src下通常是Maven标准结构db目录可能放SQL脚本或数据库初始化文件。我一般会先看src/main/java下面的包名如果包名里有crawler、parser、model、dao这些词说明作者已经按职责分好了层。db目录里如果有.sql文件直接打开看建表语句能快速知道他要存哪些商品维度——价格、标题、店铺、更新时间这些字段一定会在表里出现。2.2 从pom.xml和src目录反推项目构建方式pom.xml是整个项目的构建入口。打开后重点看dependencies标签这决定了爬虫用什么HTTP库、什么解析库。常见做法是这个包里会引入Jsoup、HttpClient或者OkHttp以及JSON处理用的Jackson或Fastjson。如果看到Selenium或HtmlUnit说明作者考虑了动态页面渲染。看依赖的同时也留意properties里的Java版本号这影响你的本地编译环境。!-- pom.xml 关键依赖片段示例 -- dependencies dependency groupIdorg.jsoup/groupId artifactIdjsoup/artifactId version1.15.3/version /dependency dependency groupIdcom.fasterxml.jackson.core/groupId artifactIdjackson-databind/artifactId version2.15.2/version /dependency /dependencies这里逻辑很直白Jsoup负责把HTML转成DOM树Jackson负责把Java对象序列化成JSON。如果你要用Maven命令行构建先确认本地JDK版本跟pom里要求的一致然后执行mvn clean package。构建失败时优先看报错里缺哪个依赖再检查是不是本地仓库没有对应版本。2.3 readme.txt和db目录启动前必读的两处这个包里的readme.txt不是摆设。我见过太多人忽略它结果连数据库连接账号都找错。建议先打开readme看它写的启动步骤、需要修改的配置项、以及依赖的外部服务。比如它可能会要求你先创建一个MySQL数据库然后执行db目录下的schema.sql。如果你跳过这一步直接跑爬虫大概率会连不上数据库。db目录里一般会有建表语句和初始数据。打开表结构你会看到商品表、价格历史表、抓取任务表之类的设计。这里透露一个选型细节比价数据是典型的时序数据同一商品在不同时间的价格需要分表存否则后续做价格趋势分析很痛苦。如果源码包里没有历史价格表建议你自己加一张price_history表字段至少包含product_id、price、capture_time。3. 把一个商品页跑通从HTTP请求到JSON落库的完整步骤3.1 用Jsoup发起请求请求头、超时和重试参数怎么设比价网站最看重的是“稳定拿到页面”不是“炫技”。我推荐先用Jsoup处理静态页面因为它内置了HttpConnection代码量少出错容易排查。下面这段代码是从某个抓取任务里抽出来的骨架你拿到源码包后可以对照着改动。// 配置一个可复用的Jsoup连接 public static Document fetchPage(String url, int timeoutMillis, int retryTimes) { Document doc null; for (int i 0; i retryTimes; i) { try { doc Jsoup.connect(url) .userAgent(Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36) .header(Accept, text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8) .header(Accept-Language, zh-CN,zh;q0.8) .timeout(timeoutMillis) .followRedirects(true) .execute() .parse(); if (doc ! null) break; } catch (IOException e) { // 超时或网络异常做到第i次重试前先sleep一会避免被封 try { Thread.sleep(1000L * i); } catch (InterruptedException ie) { Thread.currentThread().interrupt(); } } } return doc; }这里关键参数有三个userAgent一定要设成真实浏览器值很多比价站只拦默认UAtimeoutMillis建议3000到5000太短容易误判失败太长会拖慢整体抓取retryTimes建议2到3次不要无限重试。如果遇到403或503先不要改代码先看是不是被反爬拦截了再用后面的避坑思路排查。3.2 解析商品价格与规格CSS选择器与正则兜底页面拿到后解析是核心。Jsoup的select方法配合CSS选择器最易用但比价网站经常改class名所以要留一手正则兜底。下面演示从商品详情页抽取标题、价格和原始描述。public static Product parseProduct(Document doc) { Product p new Product(); // 先尝试用结构化选择器 String title doc.select(h1.product-title).first() null ? : doc.select(h1.product-title).first().text(); String priceText doc.select(span.price).first() null ? : doc.select(span.price).first().text(); // 如果选择器没拿到退到正则提取常见于价格被拆成多个节点 if (priceText.isEmpty()) { String html doc.html(); java.util.regex.Pattern pattern java.util.regex.Pattern.compile((?:|¥)\\s*([\\d,](?:\\.\\d{1,2})?)); java.util.regex.Matcher matcher pattern.matcher(html); if (matcher.find()) { priceText matcher.group(1).replaceAll(,, ); } } p.setTitle(title); p.setPrice(priceText); return p; }这段代码体现了“结构化优先、正则兜底”的解析原则。注意价格里的逗号必须去掉否则转BigDecimal时会报错。如果页面价签在多个span里分散显示用CSS选择器反而麻烦正则提取整个HTML文本反而更稳。但这个正则只适合纯数字价格如果你抓的是区间价格或带促销文案需要另外加固。3.3 数据落库与JSON序列化字段映射与增量更新抓到的数据不能直接往数据库里怼先要定义好实体字段。比价场景最少要有商品ID、来源URL、标题、价格、抓取时间。然后把对象序列化成JSON方便后续接口返回或者放入消息队列。这里给出一个简单的DAO更新逻辑。// 插入或更新商品价格数据一致性的关键做法 public void upsertProduct(Product p, JdbcTemplate jdbc) { String sql INSERT INTO product (product_id, title, price, capture_time, source_url) VALUES (?, ?, ?, NOW(), ?) ON DUPLICATE KEY UPDATE price VALUES(price), capture_time NOW(); jdbc.update(sql, p.getProductId(), p.getTitle(), p.getPrice(), p.getSourceUrl()); }这段代码解决的是重复抓取问题同一商品每次抓取都更新价格和抓取时间但不会产出重复行。product_id需要你自己生成规则建议用URL的MD5哈希这样同一个URL永远对应同一ID天然去重。capture_time用数据库时间避免各个服务器时钟不一致。如果你还要存历史价格就改成先查当前记录再插入price_history表。4. 前端渲染与资源抓取Less编译、图片下载和动态页面处理4.1 处理JavaScript渲染的页面等待策略与无头浏览器选择这个开源源码包里JavaScript文件占了四分之一说明很多比价页面可能是前端异步渲染的商品价格可能藏在XHR接口里而不是服务端直接输出。遇到这种页面Jsoup拿到的HTML里没有价格数据。我的处理经验是先看页面接口用浏览器的开发者工具抓XHR很多网站其实有公开的数据接口直接请求JSON比解析HTML更高效。如果接口不好找再用无头浏览器渲染。常见做法是引入Selenium WebDriver或者更轻量的HtmlUnit。Selenium可以控制真实Chrome但吃内存HtmlUnit是纯Java不依赖浏览器但执行复杂JS的能力有限。如果你只是抓价格和标题我建议优先试HtmlUnit因为它在同个项目里不需要额外安装浏览器驱动。下面是一个简单的等待策略示例。// HtmlUnit等待JS执行完成后获取动态渲染后的DOM WebClient webClient new WebClient(BrowserVersion.CHROME); webClient.getOptions().setJavaScriptEnabled(true); webClient.waitForBackgroundJavaScript(5000); HtmlPage page webClient.getPage(https://example.com/product/123); String price page.querySelector(.product-price).getTextContent();注意waitForBackgroundJavaScript(5000)表示等后台JS执行5秒单位是毫秒。如果5秒后节点还没渲染出来可以改成循环轮询每500ms查一次节点是否存在最多等10秒。这样做比固定sleep更快也不会在慢网络下浪费额外时间。4.2 图片与静态资源抓取URL去重和存储目录规划源码包里754个PNG和672个GIF这不全是爬虫要抓的图片有一部分是前端展示用的素材。实战中抓比价网站的图片一般只需要商品主图而不是页面上所有装饰图。所以第一步是过滤URL只保留商品图片的规则比如路径中包含/img/product/或/upload/这类关键词。第二步是URL去重用HashSet或者布隆过滤器都可以商品图不要重复下载。# 这是一个URL去重的临时脚本用来检查你的抓取任务里是否存在重复URL seen set() for url in url_list: if url in seen: print(重复, url) else: seen.add(url)注意我把去重脚本写成Python是因为临时检查方便Java里对应可以用ConcurrentHashMap.newKeySet()。如果你要把图片存到本地目录按商品ID分文件夹比如images/商品ID/1.jpg这样不会出现一两万张图堆在同一个目录里的情况。4.3 多语言混杂源码的维护Ruby/PHP脚本的边界这个包还包含Ruby和PHP文件很多人会疑惑它们是不是爬虫的核心。实际从功能上推断Ruby或PHP脚本大概率是比价网站的前端服务端部分比如旧版接口或数据处理任务。在Java爬虫项目里这些文件不是运行时的必需项。我的建议是先跑通Java主流程Ruby和PHP脚本只当作资料参考不要一上来就去配置Ruby环境或PHP环境免得范围失控。如果要看这类杂脚本的作用直接搜索*.rb或*.php里的数据库连接配置和Java里的配置对比能发现作者是否在多个语言间共享同一套数据库表。这种共享对爬虫来说有风险两个服务同时写一张表会产生锁竞争。你要是接手这个项目最好规定只有Java模块负责写入其他脚本只读。5. 比价爬虫避坑指南403、空解析、乱码的排查记录5.1 现象请求返回403或503403通常不是代码问题是服务器识别的请求头或IP频率异常。我遇到过一次页面在浏览器里能打开用Jsoup一请求就403最后发现是少了Referer头。比价网站有些详情页会校验来源页面必须带上商品列表页的URL。503多半是触发反爬策略或服务器过载解决方式是降低抓取频率加随机延时比如每次请求后Thread.sleep(2000 random.nextInt(3000))。5.2 现象解析结果为空但浏览器能看到数据这几乎都是因为数据是JS异步加载的。Jsoup拿到的HTML是空壳价格在浏览器收到页面后又发XHR请求才填充上去。解决方法是先打开浏览器开发者工具切到Network面板刷新页面后找到返回价格的XHR地址直接请求这个地址。一般这个地址是.json或.do后缀返回的数据更好解析。如果一定要渲染就用上一章的HtmlUnit或Selenium。5.3 现象数据库中价格重复或乱码乱码十有八九是页面编码被当成了UTF-8但实际是GBK。Jsoup的charset解析偶尔会失效你可以在execute().parse()之前强制指定doc.charset(Charset.forName(GBK))。价格重复更常见的原因是在过滤条件里没加“只取最新价格”导致同一个商品ID在历史表里出现多行。检查你的upsert逻辑确保主键唯一且不要每次抓取都插入一条新记录。5.4 现象项目启动卡在Maven依赖无法下载这种情况多半是网络访问不了中央仓库或本地仓库缺包。先检查~/.m2/repository下有没有对应目录没有就换阿里云镜像。在pom.xml里添加镜像仓库或者在settings.xml里配置mirror。还有一种是Java版本不匹配比如项目要求JDK 11但你用JDK 8编译期报错会让人误以为依赖有问题。5.5 现象爬虫运行一段时间后CPU/内存飙高原因基本是解析库把整个HTML加载成对象后没有释放或者请求失败后抛异常但没有关闭连接。Jsoup的Document如果长期被引用GC无法回收。解决方法是每个抓取任务用独立的作用域抓完立刻清掉引用同时给HTTP客户端设置连接池上限和空闲连接超时。如果是HtmlUnit那更要注意每个WebClient用完必须close()否则每个实例都会占用V8引擎的线程。6. 进阶验证把Spider跑出稳定结果后再检查这四件事爬虫能跑通只算入门判断它是否“稳定可维护”需要做四类验证。第一件是数据完整性校验随机抽10%的商品用另一个途径重新抓一遍页面看关键字段是否一致。如果价格差超过1%说明解析逻辑里混入了脏数据比如把“满减价”或“促销价”当成了原价。第二件是抓取成功率监控。我给爬虫加了一个计数文件每10分钟记录一次成功响应数和失败原因。成功率低于95%时不会去猜哪个环节挂了而是直接看最近一条失败日志的HTTP状态码。如果你在源码包里看到类似的日志代码记得改成异步写入防止磁盘IO拖慢爬虫。第三件是价格趋势验证。比价网的核心价值是历史价格曲线所以你至少要保存7天以上的price_history数据。写一个简单的SQL查一下看有没有某个商品在短时间内价格从100跳到10又跳回来这种非常规波动通常是解析错位而不是真实降价。第四件是反爬模拟验证。选一个高频场景比如连续访问同一个商品详情页5次用源码包里的请求模块检测是否会触发验证码。如果会你的代理池和请求间隔设置就是无效的需要调整到更保守的频率。从那以后我每次接手爬虫项目都会强制走一遍这四步验证看起来费时但能省下后面几周和服务器较劲的时间。这份源码包的价值不在于你能直接开跑而在于你能借着它的完整结构把“抓取-解析-存储-验证”这条链路理顺。希望帮到你。本文还有配套的精品资源点击获取