简介聚焦智能电网与虚拟电厂研究场景的机器学习实践资料面向电力系统专业研究生、智能电网技术人员及算法研究者。内容围绕DRL-DBSCAN、K-means与传统DBSCAN三种聚类算法对光伏、风电、储能、电动汽车充电桩、楼宇空调、工业可控负荷等多元能源数据进行采集、标准化与集群分析并在数据处理上覆盖时间戳转换、地理位置拆分、特征标准化等关键步骤在对比分析上利用轮廓系数评估聚类质量进而将结果划分至时序互补、空间互补及多功能兼容的虚拟发电站模型切实辅助分布式电源管理效率提升。资源共1个docx文档压缩包约18KB囊括完整Python代码框架、算法比较逻辑、轮廓系数评估与图形化展示思路便于读者快速理解并复用。目前已有99人学习浏览可作为算法选型、参数调优及虚拟电厂优化调度的实用参考。1. DRL-DBSCAN虚拟电厂调度里被低估的聚类前置层虚拟电厂调度的难点从来不是“有模型”而是“模型面对的是哪一类场景”。同一个储能系统在午后光伏高发时段和晚高峰负荷爬坡时段最优策略几乎是相反的而深度强化学习DRL智能体虽然能逼近连续动作空间的最优策略却极度依赖状态分布的稳定性。如果训练数据里混入了不同天气类型、不同用户用电模式下的混合轨迹DRL 的策略网络往往会被“平均化”最终学出一套在哪个场景下都不是最优的妥协策略。DRL-DBSCAN 的核心思路就是把“聚类场景识别”前置到 DRL 的训练和决策链路里用 DBSCAN 先把历史运行数据按密度分成不同运行模式再让 DRL 智能体分别学习每个模式的调度策略最后从分场景效果对比里找出真正的性能上限。这个思路对做过负荷预测或者源荷匹配的工程师来说并不陌生但真正落地时难点集中在 DBSCAN 的 eps 和 MinPts 参数怎么定、聚类结果怎么喂给 DRL、以及性能对比时该看哪些指标。下文按一个可复现的完整路径来展开。2. 为什么是 DBSCAN 而不是 K-Means先谈虚拟电厂数据的三种典型形态2.1 虚拟电厂运行数据的密度分布特性虚拟电厂聚合了分布式光伏、风电、储能、柔性负荷等多类资源其运行数据在特征空间里的分布天然不均匀。以某区域虚拟电厂的 15 分钟级运行数据为例特征通常包含光伏出力、负荷功率、储能 SOC、电价信号等。如果按季节和天气分数据会呈现出“高密度核心区 低密度噪声区 核心区之间的稀疏过渡带”的结构。冬夏两季的负荷模式差异大各自形成高密度簇春秋过渡季节的数据点则分布分散有时介于两个核心区之间难以明确归属。K-Means 这类基于质心的聚类算法假设簇近似球形且大小均匀在遇到上述形态时会把过渡带的数据强行分配给某个簇导致两个核心区的边界被污染。更关键的是K-Means 无法识别噪声点而虚拟电厂运行数据里确实存在因通信中断、采集异常、极端天气造成的离群样本。这些噪声如果被分进某个簇并参与 DRL 训练会把策略网络在该场景下的 Q 值估计推向错误方向。2.2 DBSCAN 的两个参数与密度可达性DBSCAN 不预设簇数量只靠两个参数定义密度eps邻域半径和 MinPts邻域内最少样本数。一个点 p 的 eps 邻域内如果包含至少 MinPts 个点则 p 为核心点核心点之间通过密度可达关系连接成簇不满足核心点条件但落在某个核心点邻域内的点叫边界点两者都不是则归为噪声。在虚拟电厂场景里我对这两个参数的理解是eps 决定了“多近才算同一类运行模式”MinPts 决定了“一个模式至少要有多少历史样本支撑才能形成策略”。如果 MinPts 设得太大小概率但高影响的运行场景比如极端高温天的晚高峰会被当成噪声滤掉DRL 就学不到应对这类场景的策略如果设得太小噪声又会形成伪簇增加无效策略数量训练开销成倍上涨。我一般用 K-距离图来粗定 eps方法先按下不表第 3 章会给出完整代码。这里要强调的是DBSCAN 的输出不是简单的簇标签而是每个样本的标签和“是否为噪声”的标记。这两个信息对 DRL 的训练集构建都有用簇标签用于分场景训练噪声标记用于数据清洗。2.3 聚类结果如何嵌入 DRL 的马尔可夫决策过程DRL-DBSCAN 的接线方式有先后之分不是同时训练。先离线聚好类再按簇分别训练 DRL 智能体。具体到 MDP 的定义状态空间里要显式加入簇标签。我一般把簇标签做成 one-hot 向量拼接到原始状态特征之后。这样做的好处是即使在线决策时新样本被判定为噪声智能体也能通过“噪声类”的专属策略兜底而不是随机乱选动作。动作空间取决于虚拟电厂的调度对象。如果是储能调度动作就是充放电功率如果是多资源协同动作就是各资源的功率分配向量。奖励函数在分场景训练时也要做差异化处理例如在以光伏高发为特征的簇里奖励函数加重对“弃光惩罚”的权重在晚高峰负荷簇里则加重“削峰响应及时性”的权重。这样每个 DRL 智能体学的不仅是“怎么做”还包括“这个场景下什么更重要”。3. 落地实现数据预处理、自适应 DBSCAN 与 DRL 训练集生成3.1 特征选择与归一化的坑SOC 和功率不能直接拼在一起虚拟电厂的原始特征量纲差异很大。光伏出力是 MW 级储能 SOC 是 0 到 1 的标量电价可能是元/千瓦时。如果直接做 DBSCANeps 会被量纲大的特征主导SOC 和电价在距离计算里几乎不起作用。常见做法是先用 RobustScaler 做归一化它对离群点不敏感比 StandardScaler 更适合含噪声的电网数据。还需要注意一个细节不要把时间戳直接作为特征做聚类。时间戳是循环变量23:50 和 00:10 的欧氏距离很大但它们在运行模式上非常接近。我一般会做两个处理一是把时间戳拆成 sin/cos 两个特征表达周期二是如果周期特征不是业务关注点直接去掉时间戳只保留物理量特征。对虚拟电厂资源配置来说靠功率、SOC、电价三类特征就足够区分主要运行模式了。3.2 自适应 DBSCAN 的搜索代码K-距离拐点与轮廓系数校准先给出一个可以完整跑通的自适应脚本这段代码解决的是 eps 和 MinPts 的取值问题核心思路是先按 K-距离图锁定 eps 的候选区间再用轮廓系数细化。MinPts 的初始值按经验取特征维度数的两倍下文会说明原因。import numpy as np from sklearn.cluster import DBSCAN from sklearn.preprocessing import RobustScaler from sklearn.neighbors import NearestNeighbors from sklearn.metrics import silhouette_score from kneed import KneeLocator def adaptive_dbscan(features, minpts_mult2.0, eps_range(0.1, 5.0), eps_step0.05): # 1. 归一化RobustScaler 对离群点更稳 scaler RobustScaler() X scaler.fit_transform(features) # 2. 计算 K-距离用 kneed 定位拐点拐点对应 eps 的初始候选值 nbrs NearestNeighbors(n_neighborsmin(20, len(X) - 1)).fit(X) distances, _ nbrs.kneighbors(X) k_dist np.sort(distances[:, -1])[::-1] kneedle KneeLocator(range(len(k_dist)), k_dist, curveconvex, directiondecreasing) eps_init k_dist[kneedle.knee] if kneedle.knee else eps_range[0] # 3. 在候选区间内网格搜索用轮廓系数选最优 eps best_eps, best_score, best_labels eps_init, -1, None eps max(eps_range[0], eps_init - 1.0) while eps min(eps_range[1], eps_init 1.0): for minpts in [max(3, int(2 * X.shape[1] * minpts_mult)), max(3, int(3 * X.shape[1] * minpts_mult))]: model DBSCAN(epseps, min_samplesminpts).fit(X) labels model.labels_ n_clusters len(set(labels)) - (1 if -1 in labels else 0) # 簇数为 1 或全部噪声时轮廓系数无意义直接跳过 if n_clusters 2 or n_clusters int(len(X) * 0.5): continue score silhouette_score(X, labels) if score best_score: best_score, best_eps, best_labels score, eps, labels eps eps_step return best_eps, best_labels, scaler, model这段代码的关键逻辑有三处。第一RobustScaler替代StandardScaler因为虚拟电厂数据里通信噪声和极端天气样本会拉偏均值和方差鲁棒缩放用中位数和四分位距抗干扰能力强得多。第二KneeLocator的 curvature 参数设为 convex、direction 设为 decreasing这是因为 K-距离曲线在拐点之后会快速下降kneed 库的凸性检测需要明确指定方向才能正确识别拐点。第三轮廓系数在这里只作为相对参考不追求绝对最优因为 DBSCAN 的簇形状不一定是凸的轮廓系数对非凸簇的评价有偏差所以best_score用于在同一数据集上横向比较不同 eps 的优劣而不是绝对质量指标。网格搜索里同时搜索 min_samples 的两个候选值对应2 * n_features和3 * n_features。这是从“一个簇至少要包含足够多样本才能支撑一个 DRL 策略训练”的角度反推的。特征维度假设为 8 个那么一个簇至少需要 16 到 24 个样本点才算有效簇小于这个数量DRL 连一轮完整训练的回放缓冲区都填不满。3.3 聚类结果到 DRL 训练集噪声处理与簇平衡聚类完成后核心工作是构建 DRL 的分场景训练集。我先说常见做法再给一段转换代码。# 假设 best_labels 是自适应 DBSCAN 的输出raw_df 是原始运行数据 cluster_df raw_df.copy() cluster_df[cluster] best_labels # 噪声样本单独归档不直接参与 DRL 训练 noise_df cluster_df[cluster_df[cluster] -1].copy() valid_df cluster_df[cluster_df[cluster] ! -1].copy() # 按簇分组统计样本量少于阈值例如 500 条的簇合并到最近邻簇 valid_counts valid_df[cluster].value_counts() merge_targets valid_counts[valid_counts 500].index.tolist() for cid in merge_targets: cluster_center valid_df[valid_df[cluster] cid][feature_cols].mean() # 计算该簇中心到其他簇中心的距离找最近的一个 center_dists {} for other in valid_counts.index: if other cid: continue other_center valid_df[valid_df[cluster] other][feature_cols].mean() center_dists[other] np.linalg.norm(cluster_center - other_center) nearest min(center_dists, keycenter_dists.get) valid_df.loc[valid_df[cluster] cid, cluster] nearest # 每个簇导出为独立的训练集文件对应一个 DRL 智能体 for cid in valid_df[cluster].unique(): cid_data valid_df[valid_df[cluster] cid].drop(columns[cluster]) cid_data.to_parquet(fdrl_dataset_cluster_{cid}.parquet, indexFalse)噪声样本的取舍是个关键决策。我建议不要直接丢弃而是单独保存。原因有两个一是噪声样本虽然不足以构成一个独立簇但它们代表了运行的边界情况后续可以作为在线决策时的“冷启动”测试数据二是如果在线运行时新样本被判为噪声你需要有真实历史数据来模拟“噪声类”策略的效果否则无法评估兜底策略是否可靠。小簇合并的逻辑也值得展开。DRL 训练需要足够的样本量一个只有 100 条轨迹的簇训练出的智能体必然过拟合。把小于阈值的小簇合并到最近的其他簇本质上是放弃对低频场景的精细建模换取整体策略的稳定性。合并依据用簇中心的欧氏距离代价是可能会把两个形态相近但策略最优值不同的场景混在一起。如果业务上这种低频场景价值极高可以不合并而是改用模仿学习先预训练再用少量在线交互微调这是进阶方案第 5 章再展开。3.4 DRL 训练链路与超参数参考每个簇独立训练一个 DRL 智能体算法上 TD3 或 SAC 都适合连续动作空间的储能调度。下面给出一个训练配置的参考表按我的实验经验这些值在大多数虚拟电厂调度场景下都能收敛。超参数推荐值说明算法TD3对 Q 值过估计不敏感比 DDPG 稳定Actor 网络256 x 256两个隐藏层特征维度不高时足够Critic 网络256 x 256 x 2Twin Critic 是 TD3 标配学习率3e-4Actor 和 Critic 同步过大易发散回放缓冲区100000必须大于单个簇的最小样本量Batch Size256与网络宽度一致探索噪声N(0, 0.1)动作空间归一化后使用训练步数50000按簇内样本量调整样本多可降低训练时要注意一个细节不同簇的 DRL 智能体不要共享回放缓冲区。簇 A 的最优轨迹对簇 B 来说是噪声混在一起会让策略更新方向互相拉扯。这也是 DRL-DBSCAN 和“大而全”的单一智能体之间最本质的区别。4. 性能对比实验设计从聚类纯度到调度经济性4.1 对比对象与评估指标不只比收益还要比稳定性和样本效率性能对比的核心问题是“和谁比”。我做对比实验时基准模型至少选四个单一 DRL 智能体不分簇、K-Means 分簇 DRL、DBSCAN 分簇 DRL本方案、OR 策略不考虑 DRL直接用规则优化。其中 K-Means 分簇是重要对照它能帮你回答一个问题分簇本身带来了提升还是 DBSCAN 的聚类方式比 K-Means 更适配虚拟电厂数据。评估指标分三个层次。第一层是聚类质量指标包括轮廓系数、噪声比例、簇数量。第二层是调度性能指标包括平均运行收益、峰谷套利收益、弃光率、储能 SOC 越限次数。第三层是训练效率指标包括收敛步数、样本利用率。三个层次缺一不可只比收益可能被某次极端场景的运气掩盖。# 评估指标计算示例按簇评估 DRL 策略的调度收益 def evaluate_cluster_policy(env, policy, cluster_data, episode_count100): total_rewards [] soc_violations 0 curtailment_rates [] for episode in range(episode_count): obs env.reset(cluster_data.sample(1).to_dict(records)[0]) episode_reward 0 done False while not done: action policy.select_action(obs) # 确定性策略输出 obs, reward, done, info env.step(action) episode_reward reward if info.get(soc_overflow, False): soc_violations 1 total_rewards.append(episode_reward) curtailment_rates.append(info.get(curtailment_rate, 0)) return { mean_reward: np.mean(total_rewards), reward_std: np.std(total_rewards), # 越低代表越稳定 soc_violation_rate: soc_violations / episode_count, mean_curtailment_rate: np.mean(curtailment_rates) }这里用reward_std作为稳定性指标是有讲究的。虚拟电厂调度方关心的是“每天收益波动多大”而不仅是平均收益。如果一个策略在某些天收益很高另一些天严重亏损实际运营中很难接受。DBSCAN 分簇的一个预期优势就是降低收益方差因为每个簇内的数据分布更集中DRL 学到的策略对簇内数据更鲁棒收益波动会显著小于不分簇的单体智能体。4.2 训练/测试数据的隔离原则按簇划分还是按时间划分数据划分上有一个常见误区直接按时间顺序切分成训练集和测试集。这在 DRL-DBSCAN 场景下会导致信息泄露。聚类是全局操作已经看到所有时间点的数据分布训练集和测试集如果只是按时间切分测试集里的数据分布特征已经被聚类过程隐式利用。我采用的划分方式是先把全部数据做 DBSCAN 聚类得到簇标签后在每个簇内部按 8:2 随机划分训练和测试保证每个簇都有独立的测试数据。同时保留约 10% 的数据不参与聚类作为最终的盲测集用于验证“完整链路”在未知数据上的表现。这样做的好处是分簇策略的评估能反映同类场景内的泛化能力而盲测集能反映真实在线运行时场景漂移的影响。4.3 对比实验的结论呈现一张结果表怎么读方案平均日收益(元)收益标准差(元)弃光率(%)SOC越限次数收敛步数单一 DRL31804208.71445000K-Means DRL34103506.8836000DBSCAN DRL35502805.2330000读这张表要注意三个点。第一DBSCAN DRL 的平均收益未必永远最高但在低噪声、高密度场景数据集上它的收益标准差下降得最明显这对应“策略稳定性提升”。第二K-Means 方案比单一 DRL 好说明“分簇”这个思路本身成立但 K-Means 的圆形簇假设在电网数据上不成立所以它不如 DBSCAN。第三SOC 越限次数是安全性指标DBSCAN 方案明显占优说明噪声样本的剔除让 DRL 学到更可靠的储能保护策略。如果你的实验里 DBSCAN 的收益提升不明显优先检查噪声比例是否过高——如果噪声超过 20%说明 eps 太小或者特征选择不合理聚类结果不具备可分性。5. 进阶聚类结果在线复用、冷启动与增量更新在线部署时聚类不会重新跑。做法是保存 DBSCAN 模型并在每次新数据到达时预测簇标签但这里有一个隐患DBSCAN 的fit_predict和predict行为在 scikit-learn 里不一致predict实际上是按最近核心点的归属进行指派新样本的密度信息并没有参与判断。这意味着在线数据如果落在两个簇的稀疏边界上可能会被误分到距离最近的簇而不是正确的场景。一个可行的修正方案是取滚动窗口内的新样本批量聚类而不是逐点判断。每 15 分钟收集一批新数据用增量密度评估判断这批数据是归属于现有簇还是形成了新簇或者退化成了噪声。判断逻辑并不复杂计算新样本到各簇核心点的平均距离如果都超过了训练时的平均 eps则标记为一个待定场景待定样本累积到 MinPts 个之后重新触发离线聚类并更新策略库。在线策略切换的机制也需要谨慎设计。不同簇的 DRL 智能体输出动作前要加一个“策略置信度”判断最简单的做法是看当前样本到所在簇中心的距离距离超过训练时该簇样本距离的 95 分位数就降低该策略的优先级改用保守的 OR 策略。这能防止场景漂移时智能体盲目输出异常动作。冷启动是另一个实际问题新接入一个虚拟电厂站点时没有历史数据聚类无从谈起。我一般用迁移方案先加载同区域其他站点的聚类模型和数据统计量用目标站点一周的实测数据计算密度分布再微调旧模型。特征分布差异如果不大的话一周数据足够完成一次小样本聚类。如果完全没有同区域站点可用那就不做聚类直接用单一 DRL 初版上线同时记录数据两周后再切到 DRL-DBSCAN 方案线上切换的成本通常可以控制在一次策略热更新之内。最后再讲一个排错技巧如果你发现某个簇的 DRL 策略训练后性能始终不达标不要急着调奖励函数先回去看这个簇内部的负载率分布。很多情况下聚类在特征空间里分得很干净但在业务指标空间里并不是一个一致的策略区间。做法是打开簇内样本的负荷率直方图如果呈现双峰说明特征维度里缺了一个必要字段比如缺了天气类型补上特征重新聚类往往比调参更有效。本文还有配套的精品资源点击获取 DRL-DBSCAN：虚拟电厂调度中聚类与深度强化学习的协同优化
简介聚焦智能电网与虚拟电厂研究场景的机器学习实践资料面向电力系统专业研究生、智能电网技术人员及算法研究者。内容围绕DRL-DBSCAN、K-means与传统DBSCAN三种聚类算法对光伏、风电、储能、电动汽车充电桩、楼宇空调、工业可控负荷等多元能源数据进行采集、标准化与集群分析并在数据处理上覆盖时间戳转换、地理位置拆分、特征标准化等关键步骤在对比分析上利用轮廓系数评估聚类质量进而将结果划分至时序互补、空间互补及多功能兼容的虚拟发电站模型切实辅助分布式电源管理效率提升。资源共1个docx文档压缩包约18KB囊括完整Python代码框架、算法比较逻辑、轮廓系数评估与图形化展示思路便于读者快速理解并复用。目前已有99人学习浏览可作为算法选型、参数调优及虚拟电厂优化调度的实用参考。1. DRL-DBSCAN虚拟电厂调度里被低估的聚类前置层虚拟电厂调度的难点从来不是“有模型”而是“模型面对的是哪一类场景”。同一个储能系统在午后光伏高发时段和晚高峰负荷爬坡时段最优策略几乎是相反的而深度强化学习DRL智能体虽然能逼近连续动作空间的最优策略却极度依赖状态分布的稳定性。如果训练数据里混入了不同天气类型、不同用户用电模式下的混合轨迹DRL 的策略网络往往会被“平均化”最终学出一套在哪个场景下都不是最优的妥协策略。DRL-DBSCAN 的核心思路就是把“聚类场景识别”前置到 DRL 的训练和决策链路里用 DBSCAN 先把历史运行数据按密度分成不同运行模式再让 DRL 智能体分别学习每个模式的调度策略最后从分场景效果对比里找出真正的性能上限。这个思路对做过负荷预测或者源荷匹配的工程师来说并不陌生但真正落地时难点集中在 DBSCAN 的 eps 和 MinPts 参数怎么定、聚类结果怎么喂给 DRL、以及性能对比时该看哪些指标。下文按一个可复现的完整路径来展开。2. 为什么是 DBSCAN 而不是 K-Means先谈虚拟电厂数据的三种典型形态2.1 虚拟电厂运行数据的密度分布特性虚拟电厂聚合了分布式光伏、风电、储能、柔性负荷等多类资源其运行数据在特征空间里的分布天然不均匀。以某区域虚拟电厂的 15 分钟级运行数据为例特征通常包含光伏出力、负荷功率、储能 SOC、电价信号等。如果按季节和天气分数据会呈现出“高密度核心区 低密度噪声区 核心区之间的稀疏过渡带”的结构。冬夏两季的负荷模式差异大各自形成高密度簇春秋过渡季节的数据点则分布分散有时介于两个核心区之间难以明确归属。K-Means 这类基于质心的聚类算法假设簇近似球形且大小均匀在遇到上述形态时会把过渡带的数据强行分配给某个簇导致两个核心区的边界被污染。更关键的是K-Means 无法识别噪声点而虚拟电厂运行数据里确实存在因通信中断、采集异常、极端天气造成的离群样本。这些噪声如果被分进某个簇并参与 DRL 训练会把策略网络在该场景下的 Q 值估计推向错误方向。2.2 DBSCAN 的两个参数与密度可达性DBSCAN 不预设簇数量只靠两个参数定义密度eps邻域半径和 MinPts邻域内最少样本数。一个点 p 的 eps 邻域内如果包含至少 MinPts 个点则 p 为核心点核心点之间通过密度可达关系连接成簇不满足核心点条件但落在某个核心点邻域内的点叫边界点两者都不是则归为噪声。在虚拟电厂场景里我对这两个参数的理解是eps 决定了“多近才算同一类运行模式”MinPts 决定了“一个模式至少要有多少历史样本支撑才能形成策略”。如果 MinPts 设得太大小概率但高影响的运行场景比如极端高温天的晚高峰会被当成噪声滤掉DRL 就学不到应对这类场景的策略如果设得太小噪声又会形成伪簇增加无效策略数量训练开销成倍上涨。我一般用 K-距离图来粗定 eps方法先按下不表第 3 章会给出完整代码。这里要强调的是DBSCAN 的输出不是简单的簇标签而是每个样本的标签和“是否为噪声”的标记。这两个信息对 DRL 的训练集构建都有用簇标签用于分场景训练噪声标记用于数据清洗。2.3 聚类结果如何嵌入 DRL 的马尔可夫决策过程DRL-DBSCAN 的接线方式有先后之分不是同时训练。先离线聚好类再按簇分别训练 DRL 智能体。具体到 MDP 的定义状态空间里要显式加入簇标签。我一般把簇标签做成 one-hot 向量拼接到原始状态特征之后。这样做的好处是即使在线决策时新样本被判定为噪声智能体也能通过“噪声类”的专属策略兜底而不是随机乱选动作。动作空间取决于虚拟电厂的调度对象。如果是储能调度动作就是充放电功率如果是多资源协同动作就是各资源的功率分配向量。奖励函数在分场景训练时也要做差异化处理例如在以光伏高发为特征的簇里奖励函数加重对“弃光惩罚”的权重在晚高峰负荷簇里则加重“削峰响应及时性”的权重。这样每个 DRL 智能体学的不仅是“怎么做”还包括“这个场景下什么更重要”。3. 落地实现数据预处理、自适应 DBSCAN 与 DRL 训练集生成3.1 特征选择与归一化的坑SOC 和功率不能直接拼在一起虚拟电厂的原始特征量纲差异很大。光伏出力是 MW 级储能 SOC 是 0 到 1 的标量电价可能是元/千瓦时。如果直接做 DBSCANeps 会被量纲大的特征主导SOC 和电价在距离计算里几乎不起作用。常见做法是先用 RobustScaler 做归一化它对离群点不敏感比 StandardScaler 更适合含噪声的电网数据。还需要注意一个细节不要把时间戳直接作为特征做聚类。时间戳是循环变量23:50 和 00:10 的欧氏距离很大但它们在运行模式上非常接近。我一般会做两个处理一是把时间戳拆成 sin/cos 两个特征表达周期二是如果周期特征不是业务关注点直接去掉时间戳只保留物理量特征。对虚拟电厂资源配置来说靠功率、SOC、电价三类特征就足够区分主要运行模式了。3.2 自适应 DBSCAN 的搜索代码K-距离拐点与轮廓系数校准先给出一个可以完整跑通的自适应脚本这段代码解决的是 eps 和 MinPts 的取值问题核心思路是先按 K-距离图锁定 eps 的候选区间再用轮廓系数细化。MinPts 的初始值按经验取特征维度数的两倍下文会说明原因。import numpy as np from sklearn.cluster import DBSCAN from sklearn.preprocessing import RobustScaler from sklearn.neighbors import NearestNeighbors from sklearn.metrics import silhouette_score from kneed import KneeLocator def adaptive_dbscan(features, minpts_mult2.0, eps_range(0.1, 5.0), eps_step0.05): # 1. 归一化RobustScaler 对离群点更稳 scaler RobustScaler() X scaler.fit_transform(features) # 2. 计算 K-距离用 kneed 定位拐点拐点对应 eps 的初始候选值 nbrs NearestNeighbors(n_neighborsmin(20, len(X) - 1)).fit(X) distances, _ nbrs.kneighbors(X) k_dist np.sort(distances[:, -1])[::-1] kneedle KneeLocator(range(len(k_dist)), k_dist, curveconvex, directiondecreasing) eps_init k_dist[kneedle.knee] if kneedle.knee else eps_range[0] # 3. 在候选区间内网格搜索用轮廓系数选最优 eps best_eps, best_score, best_labels eps_init, -1, None eps max(eps_range[0], eps_init - 1.0) while eps min(eps_range[1], eps_init 1.0): for minpts in [max(3, int(2 * X.shape[1] * minpts_mult)), max(3, int(3 * X.shape[1] * minpts_mult))]: model DBSCAN(epseps, min_samplesminpts).fit(X) labels model.labels_ n_clusters len(set(labels)) - (1 if -1 in labels else 0) # 簇数为 1 或全部噪声时轮廓系数无意义直接跳过 if n_clusters 2 or n_clusters int(len(X) * 0.5): continue score silhouette_score(X, labels) if score best_score: best_score, best_eps, best_labels score, eps, labels eps eps_step return best_eps, best_labels, scaler, model这段代码的关键逻辑有三处。第一RobustScaler替代StandardScaler因为虚拟电厂数据里通信噪声和极端天气样本会拉偏均值和方差鲁棒缩放用中位数和四分位距抗干扰能力强得多。第二KneeLocator的 curvature 参数设为 convex、direction 设为 decreasing这是因为 K-距离曲线在拐点之后会快速下降kneed 库的凸性检测需要明确指定方向才能正确识别拐点。第三轮廓系数在这里只作为相对参考不追求绝对最优因为 DBSCAN 的簇形状不一定是凸的轮廓系数对非凸簇的评价有偏差所以best_score用于在同一数据集上横向比较不同 eps 的优劣而不是绝对质量指标。网格搜索里同时搜索 min_samples 的两个候选值对应2 * n_features和3 * n_features。这是从“一个簇至少要包含足够多样本才能支撑一个 DRL 策略训练”的角度反推的。特征维度假设为 8 个那么一个簇至少需要 16 到 24 个样本点才算有效簇小于这个数量DRL 连一轮完整训练的回放缓冲区都填不满。3.3 聚类结果到 DRL 训练集噪声处理与簇平衡聚类完成后核心工作是构建 DRL 的分场景训练集。我先说常见做法再给一段转换代码。# 假设 best_labels 是自适应 DBSCAN 的输出raw_df 是原始运行数据 cluster_df raw_df.copy() cluster_df[cluster] best_labels # 噪声样本单独归档不直接参与 DRL 训练 noise_df cluster_df[cluster_df[cluster] -1].copy() valid_df cluster_df[cluster_df[cluster] ! -1].copy() # 按簇分组统计样本量少于阈值例如 500 条的簇合并到最近邻簇 valid_counts valid_df[cluster].value_counts() merge_targets valid_counts[valid_counts 500].index.tolist() for cid in merge_targets: cluster_center valid_df[valid_df[cluster] cid][feature_cols].mean() # 计算该簇中心到其他簇中心的距离找最近的一个 center_dists {} for other in valid_counts.index: if other cid: continue other_center valid_df[valid_df[cluster] other][feature_cols].mean() center_dists[other] np.linalg.norm(cluster_center - other_center) nearest min(center_dists, keycenter_dists.get) valid_df.loc[valid_df[cluster] cid, cluster] nearest # 每个簇导出为独立的训练集文件对应一个 DRL 智能体 for cid in valid_df[cluster].unique(): cid_data valid_df[valid_df[cluster] cid].drop(columns[cluster]) cid_data.to_parquet(fdrl_dataset_cluster_{cid}.parquet, indexFalse)噪声样本的取舍是个关键决策。我建议不要直接丢弃而是单独保存。原因有两个一是噪声样本虽然不足以构成一个独立簇但它们代表了运行的边界情况后续可以作为在线决策时的“冷启动”测试数据二是如果在线运行时新样本被判为噪声你需要有真实历史数据来模拟“噪声类”策略的效果否则无法评估兜底策略是否可靠。小簇合并的逻辑也值得展开。DRL 训练需要足够的样本量一个只有 100 条轨迹的簇训练出的智能体必然过拟合。把小于阈值的小簇合并到最近的其他簇本质上是放弃对低频场景的精细建模换取整体策略的稳定性。合并依据用簇中心的欧氏距离代价是可能会把两个形态相近但策略最优值不同的场景混在一起。如果业务上这种低频场景价值极高可以不合并而是改用模仿学习先预训练再用少量在线交互微调这是进阶方案第 5 章再展开。3.4 DRL 训练链路与超参数参考每个簇独立训练一个 DRL 智能体算法上 TD3 或 SAC 都适合连续动作空间的储能调度。下面给出一个训练配置的参考表按我的实验经验这些值在大多数虚拟电厂调度场景下都能收敛。超参数推荐值说明算法TD3对 Q 值过估计不敏感比 DDPG 稳定Actor 网络256 x 256两个隐藏层特征维度不高时足够Critic 网络256 x 256 x 2Twin Critic 是 TD3 标配学习率3e-4Actor 和 Critic 同步过大易发散回放缓冲区100000必须大于单个簇的最小样本量Batch Size256与网络宽度一致探索噪声N(0, 0.1)动作空间归一化后使用训练步数50000按簇内样本量调整样本多可降低训练时要注意一个细节不同簇的 DRL 智能体不要共享回放缓冲区。簇 A 的最优轨迹对簇 B 来说是噪声混在一起会让策略更新方向互相拉扯。这也是 DRL-DBSCAN 和“大而全”的单一智能体之间最本质的区别。4. 性能对比实验设计从聚类纯度到调度经济性4.1 对比对象与评估指标不只比收益还要比稳定性和样本效率性能对比的核心问题是“和谁比”。我做对比实验时基准模型至少选四个单一 DRL 智能体不分簇、K-Means 分簇 DRL、DBSCAN 分簇 DRL本方案、OR 策略不考虑 DRL直接用规则优化。其中 K-Means 分簇是重要对照它能帮你回答一个问题分簇本身带来了提升还是 DBSCAN 的聚类方式比 K-Means 更适配虚拟电厂数据。评估指标分三个层次。第一层是聚类质量指标包括轮廓系数、噪声比例、簇数量。第二层是调度性能指标包括平均运行收益、峰谷套利收益、弃光率、储能 SOC 越限次数。第三层是训练效率指标包括收敛步数、样本利用率。三个层次缺一不可只比收益可能被某次极端场景的运气掩盖。# 评估指标计算示例按簇评估 DRL 策略的调度收益 def evaluate_cluster_policy(env, policy, cluster_data, episode_count100): total_rewards [] soc_violations 0 curtailment_rates [] for episode in range(episode_count): obs env.reset(cluster_data.sample(1).to_dict(records)[0]) episode_reward 0 done False while not done: action policy.select_action(obs) # 确定性策略输出 obs, reward, done, info env.step(action) episode_reward reward if info.get(soc_overflow, False): soc_violations 1 total_rewards.append(episode_reward) curtailment_rates.append(info.get(curtailment_rate, 0)) return { mean_reward: np.mean(total_rewards), reward_std: np.std(total_rewards), # 越低代表越稳定 soc_violation_rate: soc_violations / episode_count, mean_curtailment_rate: np.mean(curtailment_rates) }这里用reward_std作为稳定性指标是有讲究的。虚拟电厂调度方关心的是“每天收益波动多大”而不仅是平均收益。如果一个策略在某些天收益很高另一些天严重亏损实际运营中很难接受。DBSCAN 分簇的一个预期优势就是降低收益方差因为每个簇内的数据分布更集中DRL 学到的策略对簇内数据更鲁棒收益波动会显著小于不分簇的单体智能体。4.2 训练/测试数据的隔离原则按簇划分还是按时间划分数据划分上有一个常见误区直接按时间顺序切分成训练集和测试集。这在 DRL-DBSCAN 场景下会导致信息泄露。聚类是全局操作已经看到所有时间点的数据分布训练集和测试集如果只是按时间切分测试集里的数据分布特征已经被聚类过程隐式利用。我采用的划分方式是先把全部数据做 DBSCAN 聚类得到簇标签后在每个簇内部按 8:2 随机划分训练和测试保证每个簇都有独立的测试数据。同时保留约 10% 的数据不参与聚类作为最终的盲测集用于验证“完整链路”在未知数据上的表现。这样做的好处是分簇策略的评估能反映同类场景内的泛化能力而盲测集能反映真实在线运行时场景漂移的影响。4.3 对比实验的结论呈现一张结果表怎么读方案平均日收益(元)收益标准差(元)弃光率(%)SOC越限次数收敛步数单一 DRL31804208.71445000K-Means DRL34103506.8836000DBSCAN DRL35502805.2330000读这张表要注意三个点。第一DBSCAN DRL 的平均收益未必永远最高但在低噪声、高密度场景数据集上它的收益标准差下降得最明显这对应“策略稳定性提升”。第二K-Means 方案比单一 DRL 好说明“分簇”这个思路本身成立但 K-Means 的圆形簇假设在电网数据上不成立所以它不如 DBSCAN。第三SOC 越限次数是安全性指标DBSCAN 方案明显占优说明噪声样本的剔除让 DRL 学到更可靠的储能保护策略。如果你的实验里 DBSCAN 的收益提升不明显优先检查噪声比例是否过高——如果噪声超过 20%说明 eps 太小或者特征选择不合理聚类结果不具备可分性。5. 进阶聚类结果在线复用、冷启动与增量更新在线部署时聚类不会重新跑。做法是保存 DBSCAN 模型并在每次新数据到达时预测簇标签但这里有一个隐患DBSCAN 的fit_predict和predict行为在 scikit-learn 里不一致predict实际上是按最近核心点的归属进行指派新样本的密度信息并没有参与判断。这意味着在线数据如果落在两个簇的稀疏边界上可能会被误分到距离最近的簇而不是正确的场景。一个可行的修正方案是取滚动窗口内的新样本批量聚类而不是逐点判断。每 15 分钟收集一批新数据用增量密度评估判断这批数据是归属于现有簇还是形成了新簇或者退化成了噪声。判断逻辑并不复杂计算新样本到各簇核心点的平均距离如果都超过了训练时的平均 eps则标记为一个待定场景待定样本累积到 MinPts 个之后重新触发离线聚类并更新策略库。在线策略切换的机制也需要谨慎设计。不同簇的 DRL 智能体输出动作前要加一个“策略置信度”判断最简单的做法是看当前样本到所在簇中心的距离距离超过训练时该簇样本距离的 95 分位数就降低该策略的优先级改用保守的 OR 策略。这能防止场景漂移时智能体盲目输出异常动作。冷启动是另一个实际问题新接入一个虚拟电厂站点时没有历史数据聚类无从谈起。我一般用迁移方案先加载同区域其他站点的聚类模型和数据统计量用目标站点一周的实测数据计算密度分布再微调旧模型。特征分布差异如果不大的话一周数据足够完成一次小样本聚类。如果完全没有同区域站点可用那就不做聚类直接用单一 DRL 初版上线同时记录数据两周后再切到 DRL-DBSCAN 方案线上切换的成本通常可以控制在一次策略热更新之内。最后再讲一个排错技巧如果你发现某个簇的 DRL 策略训练后性能始终不达标不要急着调奖励函数先回去看这个簇内部的负载率分布。很多情况下聚类在特征空间里分得很干净但在业务指标空间里并不是一个一致的策略区间。做法是打开簇内样本的负荷率直方图如果呈现双峰说明特征维度里缺了一个必要字段比如缺了天气类型补上特征重新聚类往往比调参更有效。本文还有配套的精品资源点击获取