拓十年匠心定制 · 商业建站与技术教学双线并行 咨询热线:400-886-1026 service@lmnt.cn
ARTICLE DETAIL

资讯详情

深耕网站建设与运营推广的一线实战洞察。

3D视觉与深度学习融合:精密零部件外观检测系统实战解析

3D视觉与深度学习融合:精密零部件外观检测系统实战解析

上一弹预告发出去之后,评论区就被同一种问题刷屏了:大恒图像深圳视觉展这台系统,误判率到底能做到多少?现场能不能看到真机跑料?说实话,这种追问我一点都不意外。每次展前,客户基本都会围着这几件事打转——相机参数、算法逻辑、节拍上限,有时候聊到最后还会补一句“能不能带几个我们自己的工件来现场试”。

这篇文章就是“系统预告第二弹”的完整文字版,重点把这次要展的核心视觉系统讲透:它解决什么问题、为什么这么选型、现场演示有哪几个看点、以及你在展台验收一套系统时最容易忽略的坑。不管你是做设备集成、产线工艺还是纯粹搞视觉算法,这套系统的设计思路都可以直接拿来参考。

1. 系统整体设计与思路拆解

1.1 为什么第二弹要单独拆一套系统来讲

很多朋友看到“系统预告”四个字,以为就是常规的展品清单罗列。上一弹确实把展位、新品线、方案地图都过了一遍,但说实话,那只是前菜。这一篇要拆的这套系统,是我们这次展会的“压轴工位”。

为什么单独拆出来讲?因为它代表了一个很明显的行业趋势:机器视觉正在从“单点检测设备”走向“整线视觉系统”。以前客户买相机、买镜头、买软件,回去自己拼装调试,遇到问题还得来回跟供应商扯皮。现在越来越多的终端工厂和设备商,倾向于直接要一套能对上产线节拍、能跟PLC握手、能扛住长时间连续运行的完整系统。

这套系统的定位非常清晰:面向精密零部件的外观检测与尺寸测量,覆盖3C电子和锂电池模组两个方向。3C方向主要处理中框、连接器、FPC软板这类高反光、小尺寸的工件;锂电方向则聚焦极片对齐度、极耳翻折、表面划痕这些痛点。

我特别理解为什么这两个方向会被优先拿来做示范。它们有一个共同点:传统2D视觉很难稳定搞定,但又是产线上绝对绕不开的质检环节。3C中框的高光倒角,2D相机拍出来经常出现反光过曝,人眼都看得费劲;锂电极片的黑色表面和金属光泽叠加,对光线的敏感度极高。这套系统用“3D视觉+深度学习分类”的组合去打这个场景,思路是对的。

1.2 选型逻辑:为什么是“3D+AI”而不是纯2D或纯3D

关于选型,我接触过太多客户第一句话就问“你们用的是什么相机”。这个问题看似简单,其实背后藏着一个更深的问题:方案到底靠什么物理量来做判断。

2D视觉的底层逻辑是靠灰度差和颜色差。工件表面只要出现光照变化、阴影、反光,图像特征就可能漂移,鲁棒性很难保证。纯3D视觉虽然多了一个高度维度的信息,但点云数据量大,处理速度容易拖后腿,而且对于表面细微划痕这类“平坦区域上的浅纹理缺陷”,纯高度信息反而不好识别。

这套系统的选择是“3D测量做主结构尺寸,2D深度学习做表面缺陷分类,两者通过坐标映射融合”。听起来不复杂,但真正落地的时候,融合深度决定了系统的上限。我们做了几层设计:

  • 第一层,用3D传感器获取工件的高精度轮廓和点云,完成诸如平面度、段差、间隙、高度这类几何参数测量;
  • 第二层,用高分辨率2D面阵相机采集表面图像,跑深度学习模型,负责划痕、压伤、脏污、异物这类纹理类缺陷;
  • 第三层,把2D缺陷的像素坐标映射到3D点云坐标上,这样不仅能判断“有没有缺陷”,还能输出缺陷的深度和面积,给后端工艺改善提供数据。

这个三层架构最直接的好处是:检测结果不只是“OK/NG”,而是一组可量化的数据。你拿着这套数据去跟产线工艺工程师开会,能直接指出“这个划痕主要集中在R角区域,深度基本在0.02到0.04毫米之间”,而不是含糊地说“有划痕”。

1.3 这套系统要解决的行业痛点

把痛点说透,比堆参数更有价值。做机器视觉项目这些年,我最大的体感是:工厂客户缺的不是“某台相机”,而是“一种能让质检结果可信、可追溯、可复用的能力”。

先说缺人。精密零部件的外观检测长期依赖人工目检,但现在的排产节奏和良率要求,已经让目检岗位成了瓶颈。一个人看一整天显微镜,眼睛会累,累就会漏。机器视觉不会累,但前提是算法要足够稳定,不能今天漏检多明天误杀多。

再说缺标准。很多工厂的质检标准停留在“参照样品”阶段,什么是轻微划痕、什么是严重划痕,老师傅说了算。这套系统用3D数据把判定标准数字化了——深度超过0.03毫米的划痕算NG,0.03毫米以下算OK。标准一旦数字化,供应商和客户之间就有了共识,吵架都少了。

最后是缺数据。产线上每天都在产生大量检测结果,但传统人工目检留下来的顶多是一张张纸质的报表。这套系统的每个NG样本都会自动保存图像和点云数据,积累一个月就是一个小型缺陷样本库,后续算法迭代、工艺改善都有据可查。

2. 核心技术环节解析与实操要点

2.1 成像端的配置思路:光源、镜头、相机的组合拳

讲系统绕不开硬件选型。这套系统在成像端做了三种光路的组合设计,这里展开讲一下,因为很多工程问题都出在成像环节。

第一种是3D结构光测量光路。用于测量工件几何尺寸,比如段差、平面度、轮廓度。结构光方案的优点是点云数据稳定,对环境光有一定抑制能力,适合ppb级精度的尺寸测量。我们在这套系统里把测量目标定在±0.03毫米级别的重复精度,结构光传感器完全够用。

第二种是高角度环形光。用在2D深度学习的外观检测工位,主要照射高反光表面的细微划痕和压伤。这里有个很关键的细节:环形光的角度要跟工件表面法线方向形成一定夹角,让缺陷区域产生明显的灰度突变。角度太垂直,反光会吞掉浅划痕;角度太斜,整个视野亮度不均匀。

第三种是低角度直射光。主要用来凸显边缘轮廓和表面凹凸,比如锂电极片的极耳翻折、极片边缘毛刺。低角度光的好处是能把微小的凸起变成明显的影子,人眼看起来像浮雕效果,算法识别起来也轻松很多。

三种光路不是三个相机简单凑在一起,而是共用了同一个运动控制触发源。工件运动到指定位置时,编码器会给三个相机同时发触发信号,保证不同光路采集的数据在空间上是严格对应的。这个同步设计是我觉得系统能稳定跑起来的关键,很多项目出问题就出在相机各拍各的,后期对齐全靠“缘分”。

2.2 算法侧的取舍:什么时候用传统视觉,什么时候上深度学习

算法选型是这套系统最有讨论价值的地方。我经常说一句话:深度学习不是万能钥匙,传统算法也不是明日黄花,关键是看检测任务的性质。

几何测量类的任务,比如距离、角度、圆度、平面度,我坚持用传统视觉算法。为什么?因为这些任务有明确的数学模型,数据是可控的,算法是确定性的。你用卡尺工具量一个长度,十次测量结果应该是一样的,这种“确定性”是产线最需要的东西。深度模型反而有不确定性,同样的输入可能因为模型内部的微小扰动产生不同结果,这在精密测量里是不能接受的。

缺陷检测类任务,比如划痕、脏污、凹坑、异物,就得上深度学习。这类缺陷的特点是“没有标准形状”,你没法用固定模板去匹配——划痕有长有短、有粗有细、有深有浅,传统形态学处理会累死调试工程师。我们用分割模型把缺陷区域“抠”出来,再计算面积、长度、深度特征,这样既发挥了深度学习的泛化能力,又保留了传统算法的可解释性。

一个比较重要的实操心得:模型输出的置信度分数不要直接当判定依据。正确做法是设定一个高置信度阈值,比如0.85以上直接判NG,0.3到0.85之间的模糊区域,再叠加缺陷面积、位置等特征做二次判定。这样可以大幅减少“自信过头”的漏判。

2.3 通讯与节拍设计:视觉系统不能拖产线后腿

视觉系统在产线上最尴尬的事情是:检测精度上去了,节拍跟不上,整个产线等你一台设备。所以在系统设计的时候,我们需要做一套很详细的时序规划。

以锂电模组检测工位为例,我要求整个检测节拍控制在2.5秒以内。这意味着成像、算法、通信三块必须在时间上精确分配。成像端大约占800毫秒,包括三路相机触发和传输;算法端占1.2秒左右,3D测量跑主线程,2D模型推理跑并行线程;剩下的500毫秒是结果输出和PLC握手。

这里有个工程细节:2D缺陷检测和3D测量一定要用并行线程,不能串行跑。串行的话,2秒时间就只剩1秒给算法,很多现场项目就是这个原因导致节拍上不去。我们用C++多线程把两个算法线程独立开,再通过共享内存做结果关联,实测下来节拍余量非常充足。

通讯协议方面,跟产线PLC主要走Profinet或者EtherNet/IP,结果通过TCP socket同时上传到MES系统。这里要提醒一下:结果上传的格式一开始就要跟MES团队敲定,尽量避免后期给PLC和MES各出一套格式,两边对不上的情况我见过太多次了。

3. 现场演示环节与评估方法

3.1 展台演示流程:从投料到底线全自动跑通

这次展台现场,这套系统会搭成一条迷你检测专线。观众可以看到完整的上下料、检测、分选流程,而不是传统的“相机装在一个防尘罩里拍个不停”。

演示流程大概是这样的:

  1. 操作员把工件放到入料位,传感器感应到工件后,启动电机把工件送进检测区;
  2. 编码器实时跟踪工件位置,到达设定位置后,同时触发3D结构和两台2D相机;
  3. 图像采集完成,算法开始跑测量和检测,屏幕会把每个工位的检测过程实时可视化;
  4. 判定完成的工件,通过气缸翻板分选到OK或NG料盒;
  5. 单次检测数据、图像、判定结果全部自动存入本地数据库,屏幕上同步展示历史统计曲线。

这套演示流程的用意是:让观众直观理解“视觉系统”和“视觉设备”的区别。设备是一堆硬件的集合,系统则是硬件、算法、软件、运动的协同体。很多客户看完演示都会说“原来你们不是卖相机的,是卖整套方案的”,这就是我们想传递的信息。

3.2 在展台现场评估系统性能的四个硬指标

很多人逛展喜欢问“像素是多少”“帧率是多少”,这些当然值得问,但对于看系统级方案的人来说,更有价值的评估维度是下面四项:

第一个硬指标:误判率与漏判率的口径清晰度。一套系统敢不敢现场测,很大程度上反映出它的真实水平。我们参展通常会准备一批标准样件,包括OK件、轻微不良件、严重不良件。观众可以随机指定某个样件进行多次重复检测,观察判定结果是否稳定。这里建议你也这样测:同一个工件连测20次,看有没有偶尔判OK偶尔判NG的情况。如果有,说明系统判定逻辑存在抖动,落地时要谨慎。

第二个硬指标:检测节拍的稳定值,而不是峰值。有些设备标称节拍是0.5秒,但那是理想状态。现场让它连续跑100个工件,看实际平均节拍和波动范围。我们这套系统在展台演示的节拍设计是2.8秒,留了足够的余量应对意外情况,实测波动很小。稳定比快更重要,这是我调试几百个现场项目后的总结。

第三个硬指标:换型能力。产线经常要换产品型号,一套系统如果换个工件就要调半天光路和参数,基本不具备实用价值。这套系统支持一键切换产品配方,相机参数、光源亮度、检测算法、判定标准全部随配方自动切换。现场你可以要求演示人员从一种工件切到另一种,全流程应该在1分钟以内完成。

第四个硬指标:异常样本的记录能力。NG样本有没有图像留存?数据能不能追溯?这听起来不是性能参数,但在实际产线上特别重要。要是产线跟客户有质量争议,一张带时间戳的NG图像抵过千言万语。

3.3 现场怎么问问题,才能问出真水平

逛展的时候,工程师问问题的方式能直接反映对视觉系统的理解。我分享几个展台经验,你也可以用这些问题去“考验”任何一家视觉供应商。

不要问“你们精度是多少”,而要问“这个精度是在什么条件下验证的,有没有配合标准量块做过重复性测试?”精度本身离不开放大倍率、工作距离、环境光等条件,脱离条件谈精度都是空话。

不要问“误判率多少”,而要问“你们现场是用什么样本测的误判率?样本是你们自己选还是从我们产线拿的?”自己选样件测出来的指标和实际产线样本测出来的指标,差距可能差一个数量级,这点一定要有清醒认识。

不要问“能不能检测划痕”,而要问“划痕的判定标准如何定义?深度和长度分别超过多少判定为NG?”如果对方回答得含糊,说明方案还没真正落地过;如果能清晰说出标准,说明有可靠的现场经验支撑。

4. 常见问题与排查技巧实录

4.1 成像端最常见的几个翻车现场

讲了这么多设计和演示,回归到实际操作,我分享几个在现场反复遇到的成像问题。

第一个:高反光工件出现区域性过曝。3C中框的高光亮边,打光稍微不对就是白茫茫一片。排查思路不是急着换光源,而是先调偏振。在光源前加偏振片,相机前加同向偏振片,能滤掉大部分镜面反射。如果还不行,再考虑把光源角度调低、远离过曝区域。我在项目里发现,70%的高反光问题靠偏振就能解决,剩下30%才需要动结构。

第二个:锂电黑色极片边缘发虚。黑色吸光,边缘和背景区分度低,轮廓检测容易飘。处理技巧是用背光源把极片轮廓“顶”出来,同时把曝光时间稍微压长一点,让背景更亮、边缘更锐利。很多工程师一开始不敢加压光的强度,怕烧坏相机,其实对于CMOS传感器,控制好曝光时间反而比单纯调光圈更安全。

第三个:环境光干扰导致检测状态漂移。展会现场灯光复杂,产线上也经常有窗户、天窗、指示灯的干扰。应对方法:物理遮光加算法补偿双管齐下。物理遮光是加装遮光罩减少杂散光;算法补偿则是每次检测前拍一帧基准图,实时扣除背景变化。

4.2 误判和漏判的调试优先级

误判和漏判是视觉系统落地的永恒话题。我的经验是,漏判优先于误判处理。漏判意味着不良品流向客户端,那叫质量事故;误判顶多是产能浪费和人工复判增加,属于成本问题。两者性质完全不同,处理策略当然也不同。

先解决漏判。漏判一般出在两个位置:一是成像端缺陷没拍出来,二是算法端缺陷没认出来。分别对应两条排查路径:成像端把采集图像调出来,人工逐张查看缺陷是否存在;算法端则查看模型输出的热力图,看模型到底关注了哪些区域。如果缺陷在图像上清晰可见但模型没识别出来,优先补充训练样本;如果图像本身就没有缺陷特征,那就要回到光源和相机参数上找原因。

误判处理逻辑刚好反过来。误判大多是因为判定阈值太严格,或者训练样本里OK件样本太少,模型没见过那么多正常形态。这时候要做的是:收集大量OK件样本,给模型“见世面”,同时放松置信度阈值,把模糊地带交给人工复判。多次迭代之后,误判会逐渐下降,漏判率也在可控范围。

4.3 节拍不达标时的排查顺序

节拍达不到设计要求,是现场验收阶段最容易扯皮的问题。我总结了一套排查顺序,照着做基本不会漏项。

第一步,看算法耗时是不是超标。在软件里把每个模块耗时打印出来,定位是哪个环节耗时最多。通常问题出现在深度学习模型推理上,模型太大、芯片算力不足,就会拖慢整个节拍。

第二步,看图像传输有没有瓶颈。相机传输模式是触发采集还是连续采集,图像分辨率是否超过实际需要,都会影响速度。很多时候,把分辨率从1200万降到500万,时间就能省下来,而检测精度并没有明显下降。

第三步,看逻辑线程有没有串行等待。主流程里一个模块等另一个模块,看起来代码没问题,跑起来就是慢。这种问题肉眼很难发现,需要用专业的流程分析工具看时间线。

第四步,看机械运动是否拖后腿。有时候视觉处理很快,但工件定位和分选动作浪费了大量时间。这时候需要跟机械工程师协调,调整机械手速度曲线和等待时序。

这套排查顺序看起来简单,但非常管用。现场调试时间有限,按这个顺序能快速排除80%的节拍问题。

5. 展台现场体验优化与观展建议

5.1 别把逛展当成看参数,要当成“压力测试”

最后聊一点逛展的实用建议。深圳这场展会,楼下楼上几百个展位,真正值得停留的视觉系统展台其实不多。我的看法是:你是来找供应商的,不是来收集宣传册的。

如果对这套系统感兴趣,到了展台先不急着听讲解,先观察三个细节。第一,展台是否在持续跑料,而不是用一个循环视频“假装演示”。第二,检测结果的统计数据是否实时在屏幕上滚动,数据有没有明显的不合理跳变。第三,工程师接待你的时候,是主动问你的工况信息,还是只顾着背参数。这三个细节,基本能判断一家公司的工程化能力。

展台现场人多,很难深入交流。更高效的做法是:先登记拿资料,约好展后视频会议或上门技术交流的时间。机器视觉系统选型不是逛完展会就能拍板的事,需要在真实工件上验证,才谈得上信任。我每次建议潜在客户带几个最头疼的NG样件来,现场测试现场看效果,比任何宣传语都更有说服力。

5.2 关于系统迭代和后续扩展的一些建议

这套系统这次展示的是3C和锂电两个方向,但它的架构本身是开放的。检测工位、算法模块、光源配置都是标准化接口,之后扩展成4个工位、8个工位只是软件配方和硬件数量的叠加。

我在实际项目里看到,很多系统用了两三年之后,客户真正的需求不是再买一台新机器,而是在原有系统上升级算法、增加检测点位。所以这次展出的系统在架构设计之初就预留了扩展接口,包括:新的相机型号接入、新算法模型的替换、新通讯协议的支持。虽然这些扩展在展台上看不到,但它决定了这套系统的使用寿命和投资回报。

最后再分享一点个人心得:我在现场看系统演示时,从来不会第一眼就盯着检测精度数字,而是先看这台设备在连续运行半小时之后,检测数据是否依然稳定。很多设备“开场惊艳、久跑拉胯”,稳定性才是视觉系统最难的那部分竞争力。大恒图像这套预告系统能不能经得住这种考验,展会上用连续跑料和实时数据来验证,会是最有说服力的方式。

返回列表