01 论文信息论文题目MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection论文作者Zhenhong Sun Ming Lin Xiuyu Sun Zhiyu Tan Hao Li Rong Jin发表单位阿里巴巴达摩院发表会议/期刊ICLM 2022代码链接https://github.com/alibaba/lightweight-neuralarchitecture-search02 论文重要贡献1重新审视了最大熵原理在零样本目标检测神经架构搜索中的应用。所提出的 MAE-DET 在概念上简洁明了且在无需任何附加模块的前提下取得了优越的性能表现。2MAE-DET 在不到一个 GPU 日及 2GB 内存的搜索开销下在 COCO 数据集上取得了与先前 NAS 方法相媲美的性能同时搜索速度至少提升了一个数量级快 50 倍以上。3MAE-DET 是首个面向目标检测的零样本神经架构搜索方法在多个基准数据集及多种检测框架下均取得了当前最优SOTA的性能表现。03 论文创新点1首次将最大熵原理引入零样本目标检测NAS建立“熵 → 信息容量 → 检测性能”的关联最大熵原理是信息论的第一性原理MAE-DET首次将其用于检测NAS。通过定理1将难以计算的“真实熵”转化为只需算方差的“高斯上界熵”使零样本代理指标的设计有了理论根基而非纯经验设计。2提出多尺度熵先验MSEP将目标检测的领域知识编码进搜索目标分类只看最后一层特征而检测需要多尺度。MSEP对C3、C4、C5分别算熵并以 α(1,1,6) 加权求和将“高层语义最重要”的先验知识注入搜索目标。3从“梯度范数”范式切换到“熵”范式实现单次前向推理的极致效率此前零样本NAS的代表方法Zen-NAS使用梯度范数作为代理指标需两次前向传播前向反向。MAE-DET改用熵仅需一次前向推理算方差即可完成评估将搜索成本压至 0.6 GPU天比训练式NASDetNAS等快 50~100倍。04 方法4.1 单尺度微分熵计算4.2 多尺度熵计算4.3 由粗到细的进化算法05 实验分析5.1 与ResNet系列对比MAE-DET在精度和速度上全面优于ResNet系列三个检测框架上表现一致。5.2 与SOTA NAS方法对比MAE-DET是唯一零样本方法搜索成本仅为SOTA NAS方法的 1/50~1/100精度与最复杂的SpineNet持平且SpineNet还额外搜索了FPN结构搜索空间更大。5.3 公平训练条件下的对比MAE-DET参数量最少、推理最快、精度最高全面优于同等FLOPs下的DetNAS和SpineNet。5.4 消融实验——验证多尺度熵的必要性单尺度熵在检测上提升有限38.0→38.8。多尺度熵在检测上大幅提升38.0→40.0且参数量更少29.4M vs 60.1M说明精度提升来自更合理的结构分配而非单纯增加参数量。多尺度熵与mAP呈强正相关单尺度熵相关性很弱。06 个人声明本文为作者对原论文的学习笔记与个人心得受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立完成不代表公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。 【ICLM 2022】MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Dete
01 论文信息论文题目MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection论文作者Zhenhong Sun Ming Lin Xiuyu Sun Zhiyu Tan Hao Li Rong Jin发表单位阿里巴巴达摩院发表会议/期刊ICLM 2022代码链接https://github.com/alibaba/lightweight-neuralarchitecture-search02 论文重要贡献1重新审视了最大熵原理在零样本目标检测神经架构搜索中的应用。所提出的 MAE-DET 在概念上简洁明了且在无需任何附加模块的前提下取得了优越的性能表现。2MAE-DET 在不到一个 GPU 日及 2GB 内存的搜索开销下在 COCO 数据集上取得了与先前 NAS 方法相媲美的性能同时搜索速度至少提升了一个数量级快 50 倍以上。3MAE-DET 是首个面向目标检测的零样本神经架构搜索方法在多个基准数据集及多种检测框架下均取得了当前最优SOTA的性能表现。03 论文创新点1首次将最大熵原理引入零样本目标检测NAS建立“熵 → 信息容量 → 检测性能”的关联最大熵原理是信息论的第一性原理MAE-DET首次将其用于检测NAS。通过定理1将难以计算的“真实熵”转化为只需算方差的“高斯上界熵”使零样本代理指标的设计有了理论根基而非纯经验设计。2提出多尺度熵先验MSEP将目标检测的领域知识编码进搜索目标分类只看最后一层特征而检测需要多尺度。MSEP对C3、C4、C5分别算熵并以 α(1,1,6) 加权求和将“高层语义最重要”的先验知识注入搜索目标。3从“梯度范数”范式切换到“熵”范式实现单次前向推理的极致效率此前零样本NAS的代表方法Zen-NAS使用梯度范数作为代理指标需两次前向传播前向反向。MAE-DET改用熵仅需一次前向推理算方差即可完成评估将搜索成本压至 0.6 GPU天比训练式NASDetNAS等快 50~100倍。04 方法4.1 单尺度微分熵计算4.2 多尺度熵计算4.3 由粗到细的进化算法05 实验分析5.1 与ResNet系列对比MAE-DET在精度和速度上全面优于ResNet系列三个检测框架上表现一致。5.2 与SOTA NAS方法对比MAE-DET是唯一零样本方法搜索成本仅为SOTA NAS方法的 1/50~1/100精度与最复杂的SpineNet持平且SpineNet还额外搜索了FPN结构搜索空间更大。5.3 公平训练条件下的对比MAE-DET参数量最少、推理最快、精度最高全面优于同等FLOPs下的DetNAS和SpineNet。5.4 消融实验——验证多尺度熵的必要性单尺度熵在检测上提升有限38.0→38.8。多尺度熵在检测上大幅提升38.0→40.0且参数量更少29.4M vs 60.1M说明精度提升来自更合理的结构分配而非单纯增加参数量。多尺度熵与mAP呈强正相关单尺度熵相关性很弱。06 个人声明本文为作者对原论文的学习笔记与个人心得受个人学识与理解所限文中对论文内容的解读或有不够周全之处一切以原论文正式表述为准。本文仅用于学术交流与传播内容均由作者独立完成不代表公众号立场。如文中所涉文字、图片等内容存在版权争议请及时与作者联系作者将在第一时间核实并妥善处理。