低光增强这个方向看起来已经快被做烂了。手机夜景、安防监控、自动驾驶、老电影修复几乎每个和图像打交道的方向都会碰见“暗光看不清”的问题。但“看不清”往往只是表象真正难的是暗光区域里同时混着噪声、偏色和动态范围丢失。如果只是把亮度调高噪声也会一起被放大画质反而更差。这是低光增强和普通调色最大的区别。NTIRE 2026 Low-light Enhancement: Twilight Cowboy Challenge从命名看比一般的低光增强数据集更强调具体场景黄昏、户外、逆光、人物与场景之间的大光比。如果我们只从标题做判断“Twilight”决定光照条件“Cowboy”决定画面内容。这类画面里主体往往处于暗部而天空背景可能仍然很亮。传统全局增强方法很容易把背景过曝同时暗部还带着彩色噪声。因此这个挑战很可能不只是考察谁能把图调亮而是考察谁能在复杂光照下保持真实、自然、鲁棒。这篇文章会围绕低光增强任务从问题拆解、数据构建、模型选型、训练验证到工程化迭代给出一个完整的备赛与落地思路。即使不参赛这套方法论也可以直接迁移到夜景视频增强、监控图像增强等实际项目里。文章会给出可运行的 PyTorch 示例代码包括数据加载、模型训练和 PSNR/SSIM/LPIPS 指标计算。建议先收藏再对着跑一遍。1. 为什么关注 NTIRE 2026 低光增强挑战NTIRE 全称 New Trends in Image Restoration and Enhancement是图像复原与增强方向的重要国际评测工作坊长期和 CVPR 保持关联。过去几年NTIRE 的赛道覆盖超分辨率、去噪、去模糊、去雨、低光增强等。这类比赛的价值不只是排名更重要的是它会形成一套公开数据、统一评测协议和可复现 baseline这对研究对比和工业落地都很有帮助。从标题看2026 年的低光增强赛道使用了“Twilight Cowboy Challenge”这个副标题。Twilight 一般指日出前或日落后的暮光时段Cowboy 则让人联想到开阔的户外场景、人物和远景。这两点组合在一起很可能意味着数据集里会包含大量黄昏或黎明时分的户外低光照片。这类照片和普通室内弱光图还是有很大区别的光照分布极不均匀可能出现强逆光主体轮廓和背景亮度差非常大同时暗部区域的信噪比非常低。换句话说它不是“整张图都暗”而是“暗的地方特别影响人眼理解”。所以如果目标是参加这个挑战第一个要建立的认识是不能再用一个简单的 gamma 校正直接提亮。你需要设计一套能处理大动态范围、能感知场景内容的增强流程。这篇文章后面会给出一个可落地的 baseline 路线并解释每个环节容易踩的坑。即使最终官方赛制与推测略有出入底层技术路线也是通用的。2. 低光增强的核心难点与常见误区2.1 难点一噪声与信号纠缠低光图像中进入传感器的光子数量少传感器读出噪声和暗电流噪声占比明显上升。把图像整体提亮时噪声会从暗部浮现出来形成彩色斑点。最典型的失败模式是图像确实变亮了但暗部出现大量红绿蓝噪点视觉上非常脏。面对这个问题单纯依靠空间滤波或形态学去噪并不够。低光增强网络需要同时完成两项任务一是恢复暗部的真实亮度二是在亮度恢复过程中抑制噪声。这两者在数学上是耦合的。实际操作中我们往往先把图像转换到亮度相关空间处理或者让网络隐式学习分离亮度与噪声。2.2 难点二动态范围和局部过曝黄昏场景经常存在一个中心光源或者比较亮的天空区域。全局曲线拉伸虽然能提高暗部细节但会把亮区推成高光溢出。这就是为什么 CLAHE 这类局部对比度方法在低光增强中比全局直方图均衡效果好但也会带来局部光晕和对比度过强的问题。对于“Twilight Cowboy”这类场景动态范围会比常规室内低光图像更极端。增强网络如果只在固定曝光下做回归很容易把原本正常的亮区继续提亮。比较稳妥的思路是在训练阶段引入亮度扰动和局部遮蔽增强让网络学会“不需要提亮的地方不要动”。2.3 难点三颜色恒常与白平衡低光环境下相机自动白平衡经常失效图像会偏蓝或偏黄。人们在观看增强结果时对肤色和天空颜色的变化非常敏感。很多低光增强模型虽然提升了 PSNR但输出的颜色已经偏离了真实场景这就失去实用价值。这里真正容易踩坑的地方是在 sRGB 颜色空间直接做像素回归。由于 sRGB 做了非线性编码亮度恢复和色彩偏移会耦合在一起。比较稳妥的做法是在训练损失中加入感知损失或颜色一致性约束让模型不只追求像素接近还追求特征空间和颜色分布接近。2.4 几个常见的低光增强误区误区可能后果正确思路低光增强等于提亮噪声放大、颜色失真将亮度、噪声、颜色分开考虑只用合成数据训练真实场景效果下降引入真实低光数据和噪声模拟只看 PSNR/SSIM视觉感知退化结合 LPIPS、NIQE 等指标把 RGB 三通道独立处理色偏严重增加颜色一致性约束用全局曲线直接映射暗部提升有限或亮部过曝使用局部自适应增强或网络学习这些误区在比赛准备阶段非常普遍。提早避免可以省下大量调参时间。3. 评测指标与验证策略图像增强类比赛通常会采用多个指标衡量结果。官方最终指标要以赛制说明为准但常见的有以下四类。PSNR峰值信噪比衡量像素级重建误差值越高越好。问题在于 PSNR 对局部结构不敏感图像被轻微模糊时 PSNR 可能不降反升。SSIM结构相似性从亮度、对比度、结构三个维度衡量局部相似度比 PSNR 更接近人类视觉对结构失真的感知但仍然依赖固定窗口。LPIPSLearned Perceptual Image Patch Similarity使用预训练网络提取特征后计算距离值越低表示感知越接近更适合判断“看起来像不像”。NIQE 是无参考指标不依赖真实标签适合验证真实低光场景没有 GT 时的自然度。下面是一段可直接使用的 PyTorch 指标计算代码覆盖 PSNR、SSIM 和 LPIPS。# 文件路径src/evaluate_metrics.py import torch import numpy as np from skimage.metrics import peak_signal_noise_ratio, structural_similarity def calculate_psnr_ssim(pred_tensor, gt_tensor): 输入为 PyTorch Tensor形状均为 (C, H, W)取值范围 [0, 1]。 pred pred_tensor.detach().cpu().numpy().transpose(1, 2, 0) gt gt_tensor.detach().cpu().numpy().transpose(1, 2, 0) pred np.clip(pred, 0, 1) gt np.clip(gt, 0, 1) psnr peak_signal_noise_ratio(gt, pred, data_range1.0) try: # 较新版本 skimage 使用 channel_axis ssim structural_similarity(gt, pred, channel_axis-1, data_range1.0) except TypeError: # 旧版本 skimage 使用 multichannel ssim structural_similarity(gt, pred, multichannelTrue, data_range1.0) return psnr, ssim def calculate_lpips(pred_tensor, gt_tensor, lpips_modelNone): LPIPS 依赖于预训练权重首次运行会自动下载。 如果没有安装 lpips 库可以只依赖 PSNR 和 SSIM。 if lpips_model is None: return 0.0 pred pred_tensor.detach().cpu().float().unsqueeze(0) gt gt_tensor.detach().cpu().float().unsqueeze(0) # 输入要求范围 [-1, 1] pred pred * 2.0 - 1.0 gt gt * 2.0 - 1.0 with torch.no_grad(): lpips_value lpips_model(pred, gt).item() return lpips_value在比赛验证阶段建议建立一套固定的验证脚本每次训练完一个 checkpoint 后在验证集上计算 PSNR、SSIM、LPIPS同时保存几组视觉对比图。不要只看跑分一定要看暗部细节、天空区域颜色、人物边缘是否自然。4. 一条可参考的技术路线从数据处理到模型训练4.1 完整流程概览低光增强比赛的技术路线通常可以拆成五个部分数据构建收集低光/正常光配对数据或模拟低光退化。预处理与增强随机裁剪、翻转、色彩扰动、噪声注入。模型选型从轻量全卷积网络到 Transformer、扩散模型。损失函数组合 L1、感知损失、SSIM 损失等。训练与验证EMA、混合精度、多尺度推理、集成预测。对于“Twilight Cowboy”这类强调真实场景的挑战数据分布在整条链路中优先级最高。如果训练集里全是室内弱光图模型在黄昏户外场景上大概率会崩。因此数据准备阶段就要尽可能贴近“黄昏、户外、背光、人物与场景大光比”这几个关键词。4.2 数据构建与合成策略现实项目中获取严格的低光/正常光配对数据非常困难因为二次拍摄时光照已经改变。常见的替代方案有三个使用公开低光增强数据集如 LOL、MIT-Adobe FiveK、DarkFace 等。这些数据集的风格各有差异需要按目标场景筛选。对正常亮度图像做合成退化模拟曝光降低、噪声增加、白平衡偏移、JPEG 压缩等。合成数据控制性强但真实感有限。收集真实低光图像使用无参考指标做验证或者用较新的方法生成伪 GT。合成退化时一个常用的简化模型是low clip(high * exposure_gain noise color_shift)其中 exposure_gain 小于 1用于模拟欠曝光noise 可以是高斯噪声或泊松噪声color_shift 模拟白平衡偏移。这种合成方式虽然简单但能快速生成大量训练样本。4.3 模型选型从近年低光增强的发展看有三类模型值得关注第一类是基于 Retinex 理论的模型。它把图像分解为光照分量和反射分量先估计光照再恢复反射图。优点是可解释性强缺点是分解不准确时容易产生伪影。第二类是端到端 CNN 或 Transformer。直接用网络学习低光图到正常图的映射训练简单效果上限高但需要足够数据。第三类是扩散模型。生成质量高但推理速度慢调参复杂比赛初期不推荐作为主力方案。对大多数队伍来说最合理的路线是先用一个轻量全卷积网络跑通流程拿到 baseline 后再逐步引入 Retinex 先验、注意力机制或 Transformer 分支。不要一上来就上大模型否则排错会非常痛苦。4.4 损失函数设计简单使用 L2 损失会让输出变模糊L1 损失会保留更多锐利边缘但颜色仍可能偏差。比赛中比较常用的组合是loss L1_loss(pred, gt) lambda_perc * perceptual_loss(pred, gt) lambda_ssim * (1 - ssim_loss(pred, gt))感知损失可以使用 VGG 特征匹配SSIM 损失可以使用 pytorch_msssim 库。在“Twilight Cowboy”这类大光比场景中建议再加入一个边缘保留损失避免人物轮廓和背景交界处出现光晕。5. 完整示例数据加载、训练与评估下面从零搭建一个低光增强 baseline。这里的模型并不追求 SOTA只是为了跑通流程、验证数据管线。文件结构如下ll_challenge/ ├── data/ │ ├── low/ │ │ ├── train/ │ │ └── val/ │ └── high/ │ ├── train/ │ └── val/ ├── src/ │ ├── dataset.py │ ├── model.py │ ├── train.py │ ├── evaluate.py │ └── evaluate_metrics.py5.1 数据加载自定义 Dataset 需要处理低光图和正常光图的一一配对关系。训练时随机裁剪同区域这样网络能学到局部映射验证时直接缩放或保持原尺寸即可。# 文件路径src/dataset.py import os import random import glob from PIL import Image from torch.utils.data import Dataset import torchvision.transforms.functional as F class LowLightDataset(Dataset): def __init__(self, low_dir, high_dir, patch_size256, is_trainTrue): self.low_paths sorted( glob.glob(os.path.join(low_dir, *.png)) glob.glob(os.path.join(low_dir, *.jpg)) ) self.high_paths sorted( glob.glob(os.path.join(high_dir, *.png)) glob.glob(os.path.join(high_dir, *.jpg)) ) assert len(self.low_paths) len(self.high_paths), ( flow/high 文件数量不一致: {len(self.low_paths)} vs {len(self.high_paths)} ) self.patch_size patch_size self.is_train is_train def __len__(self): return len(self.low_paths) def __getitem__(self, idx): low Image.open(self.low_paths[idx]).convert(RGB) high Image.open(self.high_paths[idx]).convert(RGB) if self.is_train: # 如果图像尺寸小于 patch_size直接跳过或 resize if low.width self.patch_size or low.height self.patch_size: low F.resize(low, (self.patch_size, self.patch_size)) high F.resize(high, (self.patch_size, self.patch_size)) i random.randint(0, low.height - self.patch_size) j random.randint(0, low.width - self.patch_size) low F.crop(low, i, j, self.patch_size, self.patch_size) high F.crop(high, i, j, self.patch_size, self.patch_size) if random.random() 0.5: low F.hflip(low) high F.hflip(high) if random.random() 0.5: low F.vflip(low) high F.vflip(high) low_tensor F.to_tensor(low) high_tensor F.to_tensor(high) return low_tensor, high_tensor这里使用torchvision.transforms.functional进行同步裁剪和翻转可以避免两张图像增强不一致的问题。5.2 数据增强低光增强任务中随机 gamma 扰动和噪声注入能提升模型鲁棒性。下面是一个简单的数据增强函数可以在训练循环中调用。# 文件路径src/augment.py import torch import random def random_lowlight_augment(low_tensor, high_tensor): 对低光图像做随机亮度扰动并注入少量高斯噪声。 注意只扰动 low不扰动 high。 if random.random() 0.5: gamma random.uniform(0.7, 1.4) low_tensor torch.clamp(low_tensor, 0.0, 1.0) ** gamma if random.random() 0.5: sigma random.uniform(0.0, 0.02) noise torch.randn_like(low_tensor) * sigma low_tensor torch.clamp(low_tensor noise, 0.0, 1.0) return low_tensor, high_tensor这个增强策略会让模型见过更多不同的曝光和噪声水平减少对训练集具体亮度分布的过拟合。5.3 定义一个轻量低光增强网络模型主体采用编码器-解码器结构加入一条残差连接让网络学习“需要增强的信息”而不是重新生成整张图。这个设计可以降低训练难度。# 文件路径src/model.py import torch import torch.nn as nn class SimpleLowLightNet(nn.Module): 轻量低光增强网络。 输入形状B, 3, H, W 输出形状B, 3, H, W数值范围 [0, 1] 这不是比赛级方案只是用于跑通数据管线和训练流程的 baseline。 def __init__(self, in_ch3, base_ch32): super().__init__() self.encoder nn.Sequential( nn.Conv2d(in_ch, base_ch, 3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(base_ch, base_ch, 3, padding1), nn.ReLU(inplaceTrue), ) self.body nn.Sequential( nn.Conv2d(base_ch, base_ch, 3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(base_ch, base_ch, 3, padding1), nn.ReLU(inplaceTrue), ) self.decoder nn.Sequential( nn.Conv2d(base_ch, base_ch, 3, padding1), nn.ReLU(inplaceTrue), nn.Conv2d(base_ch, in_ch, 3, padding1), ) self.skip nn.Conv2d(in_ch, base_ch, 1) def forward(self, x): feats self.encoder(x) feats feats self.skip(x) feats self.body(feats) out self.decoder(feats) # 残差连接输出 原图 学习到的增量 # 用 sigmoid 把结果约束到 [0, 1] return torch.sigmoid(x out)这里的关键点是torch.sigmoid(x out)。如果直接把out接 sigmoid网络会输出一张完整图像学习压力更大。使用残差连接后网络只需要学习暗部的补光信息。5.4 训练脚本训练脚本只需要最小闭环读取数据、前向传播、计算 L1 损失、反向传播、保存 checkpoint。实际比赛中可以进一步加入感知损失和 SSIM 损失。# 文件路径src/train.py import os import torch import torch.nn as nn from torch.utils.data import DataLoader from dataset import LowLightDataset from model import SimpleLowLightNet from augment import random_lowlight_augment def train_one_epoch(model, dataloader, optimizer, device): model.train() total_loss 0.0 criterion nn.L1Loss() for low, high in dataloader: low low.to(device) high high.to(device) low, high random_lowlight_augment(low, high) pred model(low) loss criterion(pred, high) optimizer.zero_grad() loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader) def main(): device torch.device(cuda if torch.cuda.is_available() else cpu) batch_size 8 epochs 30 train_dataset LowLightDataset( low_dir../data/low/train, high_dir../data/high/train, patch_size256, is_trainTrue, ) train_loader DataLoader(train_dataset, batch_sizebatch_size, shuffleTrue, num_workers4) model SimpleLowLightNet().to(device) optimizer torch.optim.Adam(model.parameters(), lr1e-4) for epoch in range(epochs): loss train_one_epoch(model, train_loader, optimizer, device) print(fEpoch [{epoch 1}/{epochs}] Loss: {loss:.4f}) os.makedirs(../checkpoints, exist_okTrue) torch.save(model.state_dict(), f../checkpoints/baseline_epoch_{epoch 1}.pth) if __name__ __main__: main()上面的代码省略了学习率调度、验证集评估和可视化逻辑。实际比赛时应该在每个 epoch 后保存验证集上指标最好的 checkpoint而不是只保存最后一个。5.5 评估脚本评估脚本负责加载训练好的模型对验证集逐张预测并计算 PSNR、SSIM、LPIPS。# 文件路径src/evaluate.py import os import torch from torch.utils.data import DataLoader from dataset import LowLightDataset from model import SimpleLowLightNet from evaluate_metrics import calculate_psnr_ssim, calculate_lpips def evaluate(): device torch.device(cuda if torch.cuda.is_available() else cpu) val_dataset LowLightDataset( low_dir../data/low/val, high_dir../data/high/val, patch_size512, is_trainFalse, ) val_loader DataLoader(val_dataset, batch_size1, shuffleFalse, num_workers2) model SimpleLowLightNet().to(device) checkpoint torch.load(../checkpoints/baseline_epoch_30.pth, map_locationdevice) model.load_state_dict(checkpoint) model.eval() total_psnr 0.0 total_ssim 0.0 total_lpips 0.0 # 如果安装了 lpips 库可以在这里初始化否则设为 None lpips_model None try: import lpips lpips_model lpips.LPIPS(netalex) lpips_model.to(device) except Exception: print(lpips 未安装跳过 LPIPS 计算) with torch.no_grad(): for low, high in val_loader: low low.to(device) high high.to(device) pred model(low).squeeze(0).cpu() psnr, ssim calculate_psnr_ssim(pred, high.squeeze(0).cpu()) lpips_value calculate_lpips(pred, high.squeeze(0).cpu(), lpips_model) total_psnr psnr total_ssim ssim total_lpips lpips_value n len(val_loader) print(fValidation PSNR: {total_psnr / n:.3f}) print(fValidation SSIM: {total_ssim / n:.4f}) print(fValidation LPIPS: {total_lpips / n:.4f}) if __name__ __main__: evaluate()这段代码已经形成一个最小闭环数据集处理、模型定义、训练、评估。在此基础上再针对“Twilight Cowboy”的场景特点去扩充数据和模型结构会更加高效。6. 运行与效果验证6.1 运行命令假设当前目录是src/分别执行训练和评估python train.py python evaluate.py没有 GPU 时也可以把device改为 CPU 测试但训练速度会非常慢。建议先在少量数据上跑通流程再扩展到全量数据。6.2 预期输出与判断标准训练时Loss 应该整体下降但会有波动。正常现象是前几个 epoch 下降较快后面进入平缓期。如果 Loss 一开始就很大或直接变成 NaN需要优先检查数据路径、图像范围、学习率。验证输出类似Validation PSNR: 18.532 Validation SSIM: 0.8123 Validation LPIPS: 0.3124不同数据集 PSANR 差异很大。判断模型是否成功不能只看数字还需要保存预测图片重点检查三块区域暗部是否出现明显色块噪声。天空或高光区域是否过曝。人物和场景边缘是否出现光晕。6.3 如果运行失败第一步看报错信息。最常见的是文件路径不存在、图像尺寸小于裁剪尺寸、显存不足。路径问题最容易解决检查low_dir和high_dir是否填对即可。显存不足则可以把patch_size调小或batch_size改为 4。7. 常见问题与排查方法问题现象可能原因排查方式解决方案训练 Loss 为 NaN学习率过大或数据包含异常值查看日志中第一个 NaN 出现的 epoch降低学习率检查图像是否损坏PSNR 很高但图像模糊过度使用 L2 损失对比预测图和 GT 的纹理区域加入感知损失或 SSIM 损失暗部噪声被放大模型只做亮度回归没有去噪约束查看暗部局部放大图增加噪声模拟数据加入去噪分支高光区域过曝全局增强过度查看直方图分布使用局部注意力或亮度自适应损失验证集效果好测试集差过拟合训练集分布检查训练/验证数据来源增加数据增强扩充真实低光数据训练速度过慢模型过大或 patch 过大检查 GPU 利用率和 batch_size使用 AMP 混合精度训练颜色偏绿或偏蓝白平衡扰动不足查看失败样本的色偏统计加入颜色增强和灰世界假设约束这些问题是低光增强比赛中最常见的几类。提前在训练代码中加入异常检测能节省大量排错时间。8. 工程建议与参赛策略8.1 数据层面比赛初期不要急着换复杂模型先在数据上下功夫。按照“Twilight Cowboy”的场景关键词筛选出黄昏、户外、逆光、人物与自然景观同时存在的低光图像。如果公开数据集里这类图像不够可以用正常光图像做合成退化把曝光系数压低同时加入强光源模拟。另外要注意低光图像的 EXIF 信息。如果训练数据包含不同 ISO、快门速度、白平衡设置可以按相机参数分组训练多个模型最后做集成。同一个网络很难同时适应所有曝光条件分场景训练往往更稳。8.2 模型层面推荐从轻量模型开始先确认数据管线和损失函数没有问题再逐步升级。每换一次模型结构都应该在固定的验证集上重新计算指标而不是凭感觉判断好坏。建议采用以下策略使用 AMP 混合精度训练可以大幅提升训练速度。使用 EMA 指数移动平均让模型权重更平滑通常能提升最终指标。使用余弦退火学习率避免后期训练震荡。保存每个 epoch 的 checkpoint至少保留验证集最好的模型和最后一个模型。8.3 测试时增强在推理阶段可以对输入图像做多尺度缩放、旋转和翻转得到多个预测结果后再取平均。这种测试时增强策略对低光增强任务通常有效因为它能平滑模型对局部光照的敏感度。但如果时间紧迫先不要做复杂集成。先把一个模型跑到充分收敛再做多模型融合收益更高。8.4 安全与合规低光增强数据往往来自真实拍摄场景。如果使用公开数据集需要遵守数据集授权协议。如果自己拍摄真实照片要注意人物隐私和场景敏感信息。任何图像生成和增强模型都不能用于绕过安全限制、窃取隐私或伪造证据。比赛中的模型验证也应限制在合法授权的测试集范围内。9. 总结与后续学习方向低光增强不是一项“把图变亮”的任务而是亮度恢复、噪声抑制、颜色保真、结构保持四件事的平衡。面对 NTIRE 2026 Low-light Enhancement: Twilight Cowboy Challenge 这样的主题化比赛真正的门槛在数据分布和场景理解上。只有训练集和验证集都贴近“黄昏、户外、大光比”这些关键词模型才能在测试时保持稳定。下一步的实践路径很清晰先用本文的 baseline 跑通数据管线和训练流程再把公开低光数据集中偏室外、偏黄昏的图像挑出来然后加入合成噪声和亮度扰动训练一个具备基本泛化能力的模型最后再根据验证集结果决定要不要换更强的网络结构或加入感知损失。如果继续深入研究可以关注 Retinex 理论中的光照分解思想、Raw 域图像增强的优势、扩散模型在图像恢复中的应用以及颜色恒常性与低光增强的联合建模。这些方向都比单纯堆叠网络层数更有长期价值。建议先把本文的代码跑通保存几组可视化结果再沿着这些方向逐点深入。比赛到最后拼的不是单点指标而是对真实场景的理解能力。