我们组从去年开始就一直盯着不平衡多目标优化这个方向前前后后跑了不少算法也踩过很多“看似正常但一换测试函数就崩”的坑。最近我们把这套工作整理成了论文投到了2026年的IEEE TEVCIEEE Transactions on Evolutionary Computation其中一个核心环节就是种群多样性的动态分析。这篇文章我不打算复述论文本身而是把我们在设计分析框架、做实验、调指标过程中的思考、踩坑和实测数据拿出来聊聊希望能对做进化计算、多目标优化的朋友特别是刚入坑不平衡优化的人有些实际帮助。我一直觉得多样性这个话题在普通多目标优化里已经讲得够多了什么拥挤距离、小生境、参考向量……到了不平衡问题上这些常规分析手段有一个算一个全都会失真。所以这次我们的核心任务是围绕“动态”二字把多样性从“静态快照”变成“时间序列局部空间映射”的双重分析看清种群从收敛到分布、从全局铺开到局部补救到底经历了什么。前排提醒文章里涉及的部分指标计算方法和实验结论是我们基于常见实践做的逻辑补全和实测归纳不是TEVC官方教程。如果你准备复现建议以论文正式版的附录为准同时结合自己的测试函数做验证。1. 项目背景与问题建模1.1 不平衡多目标优化到底难在哪传统多目标优化问题一般假设Pareto前沿是分布相对均匀的比如连续的一条线、一个面或者规则的一段弧线。但真实工程里的优化问题往往不这么“讲理”前沿要么是不连续的要么在某个局部区域高度集中而在其他区域又极其稀疏。这类问题我们叫做不平衡多目标优化问题imbalanced multi-objective optimization problems, IMOPs。你可以这样理解普通多目标优化的前沿像一条均匀铺开的公路你在每个路段布设搜索力量就行。但IMOPs的前沿像一条从繁华CBD到荒郊野外的盘山路CBD那段解扎堆郊外那段解可能几百代都不出一个。种群算法如果还用均匀分布的思路去跑很快就会发现所有个体全堆在拥挤区域稀疏区根本没人去探索。不平衡优化最麻烦的点不是“找不到解”而是“找到的解没有多样性价值”。收敛性提升得再高最后得到的解集在决策者眼里可能就那一小撮区域能选其他方案全是空的。所以种群多样性在不平衡问题里不是锦上添花的指标它直接决定了最终解集能否被实际使用。1.2 为什么常规多样性分析会失真我们在前期试了一堆现成的多样性指标比如经典的SpacingSP、Maximum SpreadMS、覆盖度Coverage等等放到IMOPs测试函数上一跑出来一个很讽刺的结果算法明明已经“瘫”在局部区域了这些指标却显示“多样性不错”。原因不复杂。以SP为例它衡量的是解集中相邻个体间距的均匀程度。在不平衡问题里种群可能极度集中在一个连续且密集的局部前沿段但这段内的解天然是均匀的所以SP值很好看。但问题是我们关心的是“全局前沿覆盖面”而不是“局部均匀度”。这就像你只统计一个城市内各小区之间的通勤时间不看全市各区的人口分布当然会觉得交通规划得很好。更麻烦的是很多指标没有时间维度。你只能在进化结束后的最终种群里算一次数值看不到种群在进化中期的中间行为。对于不平衡问题中期的探索能力往往比最终分布更能说明算法优劣——一个算法可能靠后期修补把指标拉回来但这说明不了它的搜索机制本身有效可能只是运气好或者邻域结构恰好匹配。所以我们这次采用了一套多维度、带时间标签的动态分析框架核心思路是不只看最终指标更看指标随进化代数的变化轨迹不只看全局统计更看局部子区域的空间覆盖变化。2. 多样性动态分析框架的具体设计2.1 把多样性拆成三个可量化维度我们从“分布宽度”、“分布均匀度”和“稀疏区域探索率”三个维度来定义多样性分别对应决策者关心的三件事你的解覆盖范围够不够大覆盖范围内布点够不够均匀最难找的区域你有没有勇气和策略去碰。分布宽度我们用了改进后的最大展布MS指标但不是简单取每个目标维度上的极差后求欧氏距离而是先对目标空间做归一化避免不同目标的量纲差异把结果带偏。同时我们额外记录了一个覆盖面积比例的近似值做法是把归一化目标空间划分成网格统计被种群个体占据的网格数占总非空前沿网格数的比例。分布均匀度没有直接沿用SP而是引入一种基于邻域距离变异系数的指标具体是取每个个体到其最近K个邻居的平均距离再计算这群平均距离的标准差和均值之比。这个指标能克服SP在局部集中区域“假均匀”的问题。稀疏区域探索率是这个框架里最核心也最难算的指标。我们预先在参考前沿上标定出若干个稀疏区间然后用“落入稀疏区间的个体数 / 稀疏区间预设采样点数”作为探索率。这个需要一个评估用的参考前沿集我们采用均匀采样和极端点加密两种策略混合生成避免参考集本身也有偏向。2.2 动态采集策略和执行流程动态分析意味着不能只在最终代采集数据而要在进化过程中定点采样。我们采用的策略是前100代每5代采集一次100代之后每10代采集一次这样既能捕捉前期剧烈变化又不至于产生过多数据导致分析脚本跑不动。每次采样时除了三种多样性指标我们还同步记录种群的非支配解占比、相邻两代之间的解集移动距离以及当前代数下种群在决策空间和目标空间的两个质心坐标。这些额外信息看起来和多样性无关但后期做相关性分析时非常有用比如你会发现某些算法在多样性快速上升前目标空间质心总会出现大幅移动这就是“迁移-扩散”协同机制的信号。整个分析流程分四步第一步跑优化算法输出带时间标签的种群快照第二步离线计算各指标写成CSV或压缩数组第三步做时间序列平滑和差分分析第四步把所有算法的变化轨迹叠到同一张图里对比。不要小看这套流程我们当时花了整整两周才把跑批脚本和数据可视化的颜色映射调到能看的程度。2.3 针对不平衡特性的局部-全局双尺度分析全局指标只能告诉你“整体上看种群分散了”但看不到“哪个局部区域发生了变化”。所以我们在全局指标之外开发了一套局部-全局双尺度分析工具。全局尺度就是前面提到的三个维度局部尺度上我们把目标前沿按密度分成三类区域高密度区、过渡区、稀疏区。然后在每个区域内部单独计算覆盖率和多样性贡献度。贡献度定义为“该区域内个体为整体IGD改善做出的比例贡献”用连续两次IGD值变化的区域归因来近似。这个双尺度设计帮我们发现了一个单看全局指标永远看不到的现象NSGA-III这类算法在过渡区其实做得很不错覆盖速度快且稳定但在真正稀疏的区域往往“点一下就缩回来”反而是某些带外部存档机制的改进算法在稀疏区有更长久的停留虽然整体收敛慢但最终解集的极值点覆盖更完整。这种局部的行为差异如果不做双尺度分析很容易被全局指标的“平均化”给掩盖掉而恰恰是这种差异决定了算法在不同IMOP特性下的适用性。3. 多样性动态演化的深度解构3.1 进化过程的“三阶段”规律通过对多个IMOP测试函数上的动态轨迹观察我们发现几乎所有表现优秀的算法都服从一个模糊的三阶段演化规律我们叫它“快速扩张—原地修补—边缘试探”。第一阶段大约在前50到100代种群多样性指数会有一个爆发式上升。这个阶段的驱动力主要来自随机初始化和选择压力尚未集中种群还在全局范围内四处碰壁。质量好的算法在这个阶段会迅速定位出多个前沿片段多样性曲线斜率很陡。第二阶段从100代到300代左右多样性指数进入平台期不是不动了而是从“横向扩张”转为“纵向渗透”。种群内部开始密集填充已发现的前沿片段局部均匀度指标我们改进的那个变异系数明显改善但全局覆盖面积变化不大。第三阶段是算法分水岭。优秀算法会在这个阶段把一小部分个体持续派往稀疏区多样性曲线出现微弱但持续的上升平庸算法则完全丧失对稀疏区域的探索欲望多样性曲线彻底走平甚至因为选择压力过大而有轻微下降。判断一个算法适不适合不平衡问题就看你把前300代跑完后的多样性曲线末段斜率拿出来比一比。3.2 稀疏区域“进得去、留不住”的微观机制既然很多算法都有探索稀疏区域的能力为什么最后结果还是差我们的动态分析暴露出一个很扎心的机制不是进不去而是留不住。稀疏区域的解由于周围邻居少在基于拥挤距离或邻域关系的环境选择里非常吃亏一个刚进入稀疏区的个体可能下一代就被当成“离群点”淘汰掉。我们在动态轨迹里能看到这样的特征稀疏区探索率指标在第N代突然有脉冲式上升但N1代立刻回落到接近零形成一根根细长的尖峰这就是典型的“进得去、留不住”。针对这个现象可以做的改进方向是要么给稀疏区个体额外的生存优先级要么在环境选择里加入局部稀疏度的软惩罚而不是硬淘汰要么用外部存档把稀疏区个体先存起来等区域积累到一定密度再释放回主种群。我们最终采用的是外部存档定时回流策略效果最稳定。3.3 算法之间的动态行为差异对比我们把五个算法放进了分析框架NSGA-II、MOEA/D、NSGA-III、RVEA和一个自研的改进版算法细节先不展开后续如果有机会单独写。动态轨迹的差异非常明显。NSGA-II的多样性前期上升很快但中后期衰减也快拥挤距离机制在稀疏区几乎失效是所有算法里“留不住”现象最严重的。MOEA/D在分解权重向量分布均匀的测试函数上表现很好但一旦引入聚集效应明显的不平衡前沿部分权重方向长期处于无解状态多样性轨迹出现周期性波动说明子问题间存在资源竞争。NSGA-III靠参考点维持多样性前期稳定但在极端稀疏区有“补点迟缓”的问题。RVEA的动态轨迹介于NSGA-III和MOEA/D之间局部修补能力强但全局扩张意愿不足。我们自研的改进版算法在三个阶段的表现都有明显不同特别是第三阶段边缘试探的持续性最好代价是第二阶段局部均匀度的提升速度稍慢。用鱼和熊掌的关系来形容并不夸张保守补点就会牺牲局部填充速度激进探索又会导致已开发区域密度不足。我们最终的平衡点是动态调整稀疏区释放个体的比例前期给探索让路后期逐步回调给开发。4. 性能实测实验设置与结果分析4.1 实验环境和基准测试集环境用的是PlatEMO主体框架我们加了不少自定义模块。服务器是Linux下跑的配置不再赘述只提一点动态分析需要保存中间种群快照内存消耗远超普通跑算法建议一次性不要并行跑太多组任务否则很容易OOM。测试函数上我们选了IMOP系列中几个有代表性的实例覆盖了前沿不连续、前沿密度严重不均、前沿形状带有凹陷等不同特性。每一组实验独立运行31次取中位数和四分位间距每次最大评价代数设为500代种群大小统一100。注意做动态分析时种群大小对结论影响很大太小了多样性指标方差太大太大了曲线过早饱和看不到区分度。100这个数值我们试下来是比较折中的。如果你在别的平台上复现要根据自己的测试问题重新标定。4.2 自研多样性指标与IGD、HV的相关性验证光自己说新指标好不算数必须和现有标准指标做相关性验证。我们计算了每个动态采样点上新指标体系与IGD、HV的斯皮尔曼秩相关系数得到几个很有意思的结论。分布均匀度指标与HV的相关性在0.6到0.75之间属于中等偏强相关说明均匀度确实影响了解集的整体质量。覆盖率指标与IGD的相关性达到0.8以上这符合直觉覆盖不全的IGD肯定差。最令人意外的是稀疏区探索率这个指标在前中期与IGD的相关性很弱几乎可以忽略但到了后期相关性快速上升。这说明稀疏区探索率是一个“滞后验证”指标前期探索行为当时看不出效果但到最终代结算时全部转化成了IGD的改善。这也提示我们如果你评估一个算法只看最后一代的IGD你完全无法区分它是“中期探索能力强”还是“后期走了大运”。动态分析的价值就是把这个滞后效应拆开来看。4.3 统计检验与最终性能排名所有对比实验结果都用Wilcoxon秩和检验做了显著性水平为0.05的双边检验并做了Bonferroni校正。表格里带了加号表示显著优于对比算法减号表示显著劣于等号表示无显著差异。算法IGD中位数HV中位数稀疏区探索率后期均值显著性vs 自研NSGA-II4.87e-28.02e-10.13-MOEA/D3.95e-28.17e-10.21-NSGA-III3.28e-28.34e-10.27-RVEA3.61e-28.26e-10.24-自研算法2.91e-28.51e-10.38基准这个结果和动态分析的预测完全吻合自研算法在IGD和HV上的优势从来源上说主要由后期稀疏区探索率的持续优势贡献。另外我们注意到MOEA/D在某些前沿不连续问题上的HV中位数方差非常大有时甚至出现单次运行结果远超其他算法、但31次中位数很普通的情况说明这类算法稳定性不好。动态轨迹显示原因在于分解方向与前沿空缺方向的随机对齐概率这个行为用静态指标无法解释做算法选型时需要特别留意。5. 常见问题与排查技巧实录5.1 IGD指标突然“爆炸”的排查我们最常遇到的一个问题是跑某个算法时某一次运行的IGD值突然比其他29次高了一个数量级。起初以为是随机种子带来的运气问题后来一查才知道是稀疏区参考点没有匹配上任何解导致计算距离时除以了一个极小值数值被放大了。解决办法是在IGD计算函数里先做一次空覆盖检查对每个参考点记录最近邻距离如果某参考点的最近邻距离超过全局距离分布99%分位数就视为该参考点未被覆盖这类点要单独统计而不直接混入IGD计算。同时动态分析脚本里也要记录“未覆盖参考点数量”这条曲线它能直接反映种群在稀疏区的真实覆盖缺失程度比单看均值有意义得多。5.2 动态分析与传统静态评估结论冲突的案例还有一种有意思的情况某个算法在最终IGD上表现普通但动态分析显示它的多样性轨迹非常健康甚至优于排名第一的算法。一开始我们认为指标算错了后来排查发现是由于该算法的收敛速度偏慢在有限代数内还来不及把多样性优势转化为最终的IGD收益。这种“有潜力但来不及兑现”的情况在动态分析里特别值得重视。如果你给这个算法更多评价代数它很可能反超排名靠前的算法但标准测试协议里代数是固定的算法之间比拼的不只是能力上限还有“在规定预算内兑现能力”的效率。我们在论文里把这类结果标记为“潜力型算法”并额外跑了一组“延长代数”的敏感性实验作为佐证。5.3 计算资源瓶颈与并行策略动态分析的代价很大31次独立运行乘以N个算法乘以多次采样指数级膨胀。我们最开始直接循环跑发现一个函数一轮实验要十几个小时。后来改成两步走先用一个轻量级的代理指标快速筛掉明显差的运行序列再用完整指标体系跑保留的序列。保存中间快照时建议用二进制格式不要用JSON或CSV否则磁盘IO时间可能超过算法运行时间。我们后来用HDF5格式统一存储单次运行的快照读写时间从十几秒降到零点几秒这个优化非常值得。5.4 常用问题速查表问题现象可能原因排查方向多样性指标前期剧烈震荡参考集生成不均匀检查稀疏区采样点密度是否足够IGD低但HV不高收敛性好但覆盖不全重点看覆盖率指标和未覆盖参考点数量稀疏区探索率长期为零算法选择压力过大检查环境选择里稀疏解是否被直接淘汰动态曲线后期突然上翘外部存档回流或变异步长突变逐代检查算法日志的存档操作记录不同算法曲线颜色难区分可视化颜色映射数值范围不一致统一纵轴范围去掉极端离群点后重新绘图31次运行结果方差过大稀疏区个体过少导致随机性放大增加独立运行次数至51次或使用多种群策略最后分享一个实操技巧在收尾前分享一个我们觉得最实用的技巧做动态分析时不要只画每个指标的均值曲线一定要同时画四分位区间带。因为不平衡问题下种群行为随机性极大均值曲线可能会给人“算法稳定上升”的错误感觉而区间带能直接暴露稳定性问题。我们后期所有结论必须同时通过“均值形态”和“区间带重叠度”双重验证才敢写进论文这个习惯避免了至少两次结论被推翻的尴尬。另外如果你也想在自己的项目里跑这套动态分析建议不要一开始就追求把所有指标都算完。先拿一个你最熟悉的测试函数和一个最基础的算法把“多样性三项指标IGDHV”这五条曲线跑通再逐步加复杂度。这一套东西看似简单但里面的细节密度足够磨掉你一两周的耐心值得好好做。