简介：一份聚焦DDPG（深度确定性策略梯度）算法在售电公司竞价策略中应用的PDF资料，面向电力市场研究人员、强化学习初学者及相关课题开发者。内容系统梳理了Actor-Critic网络、Q值更新与TD目标等核心机制，重点解决传统博弈论方法难以应对信息不完全、动态变化市场环境的问题，并以多个售电公司竞标报价为场景，展示如何通过连续动作空间建模逼近纳什均衡，同时支持调整耐心参数模拟不同默契合谋程度，为市场策略分析提供定量工具。压缩包共1个文件，文件类型为PDF，整体大小约170KB，已有481人学习/下载。内容不只讲解算法原理，还提供了可复现的Python实现思路、实验配置与扩展方向，读者可在此基础上加入更多市场因素或改进环境模型，快速形成自己的成果。

1. 用DDPG给售电公司定报价：这套python代码解决什么问题

「python代码：基于DDPG（深度确定性梯度策略）算法的售电公司竞价策略研究（csdn）————程序.pdf」这个标题看着绕，拆开就一句话：用DDPG算法训练一个智能体，在每个电力交易时段替售电公司决定「申报价格」和「申报电量」。售电公司的利润来自批发侧购电与零售侧卖电的价差，批发电价日内波动大，报价报高了拿不到电量、只能转头去买高价电，报低了又白白让利润，问题天然是一个连续动作的序列决策，传统线性规划往往只给单一时段的静态解，而DDPG能把历史电价、负荷预测和合约状态都吃进去，逐步学会更稳的报价习惯。适合正在做电力市场出清研究的研究生、售电公司的策略分析岗，以及想从离散DQN转向连续动作空间的算法工程师；前提是你愿意手动搭一轮市场环境，这部分才是整个方案里真正耗时间的地方。

2. 售电公司竞价为什么用DDPG：两个连续动作背后的算法选型

2.1 竞价决策是连续动作问题，不是选项选择题

集中式电力市场里，售电公司每个时段要向交易中心报一段申报信息，最小粒度可以简化成「申报价格 + 申报电量」两个数。价格是连续值，电量也是连续值；如果按电网的报价档位把它们离散化，档位一多，DQN的输出维度会直接爆炸，而且离散档位会把策略「卡」在边界上——报0.382元/kWh还是0.385元/kWh，对出清结果的影响是非线性的，离散化之后很多细微调整都无法表达。

DDPG把策略建模成状态到动作的确定性映射，输出层用tanh压缩到[-1,1]，再通过一层映射函数变成实际报价，天然适合这类双连续动作问题。网上能翻到不少dqn算法matlab示例代码，它们把「买、卖、持有」这类有限动作做得干净漂亮，但搬到售电竞价里就会碰到动作空间离散化粒度的问题；PPO这类随机策略算法也能处理连续动作，却需要大量采样去估计动作分布，而市场模拟环境每个episode只有几十个时段，样本效率不如DDPG直接。说白了，只要你的决策变量是连续数而不是选项，DDPG在这类场景里的工程成本最低。

2.2 四个核心组件：谁负责报价、谁负责打分

DDPG的本质是Actor-Critic框架加两个工程化改动：经验回放和目标网络。落地到售电竞价，四个组件的分工非常清晰。

Actor网络输入状态，输出动作（价格偏移量和电量比例），它才是真正上场的「竞价员」；Critic网络输入状态加动作，输出一个Q值，相当于一个模拟交易员，根据实际结算收益给Actor的报价打分。目标网络是给Critic和Actor各保留一份缓慢更新的副本，用副本计算TD目标，避免每一步都用实时网络自举，导致打分标准来回晃。经验回放缓冲区则把一条条「状态-动作-收益」样本存下来、随机采样，打散相邻时段电价的强相关性——如果连着几天电价都在涨，按时间顺序更新梯度，网络会误以为「一直涨」是常态。

这四个组件缺一个，方案都会在几十个episode内翻车。最常见的失败模式是：去掉目标网络，或者把软更新系数设得太大，Critic追赶实时参数太急，Q值越估越高，最后reward曲线抖成一团。

2.3 最小实现骨架：动作映射与软更新

先动手写两个地基函数：动作映射决定智能体「说什么语言」，软更新决定「怎么慢慢进步」。

import numpy as np def map_action_to_bid(a_raw, price_base, load_base): # 智能体输出 a_raw = [x, y]，每个分量都在 [-1, 1] 之间 x, y = a_raw # 申报价 = 基准预测价 * (1 + 偏移)，偏移范围 ±10% bid_price = price_base * (1.0 + 0.10 * x) # 申报电量 = 基准预测负荷 * (0.5 + 0.5 * y)，范围 50% ~ 100% bid_volume = load_base * (0.5 + 0.5 * y) return bid_price, bid_volume def soft_update(target_net, online_net, tau): # 目标网络参数的缓慢追踪：target = tau * online + (1 - tau) * target for target_param, online_param in zip(target_net.parameters(), online_net.parameters()): target_param.data.copy_(tau * online_param.data + (1.0 - tau) * target_param.data)

这个动作映射有一个容易被忽视的细节：tanh输出天然是对称的，但竞价动作不是。「价格偏移」用乘法而不是加法，是为了让偏移量随基准电价缩放，电价高的时候同样偏移比例带来的价差绝对值更大；「电量比例」限制在0.5到1.0，这是模拟售电公司至少保底履约一半、最多超发一倍的物理约束。软更新里的tau通常取0.001到0.01，取大了目标网络追实时网络追得太快，TD目标依然不稳定。

标题里「程序.pdf」这类附件，一般是一份说明文档加一份Python源码。PDF会画网络结构图和公式，但真正能跑起来的其实就是上面几个函数，附录代码格式通常放在最后几页。拿到程序包先找三个关键词：map_action、soft_update、replay_sample，找到就先通了六成。对照示例代码讲解时最容易忽略的就是动作映射的物理边界，很多人直接拿网络的裸输出当报价，训练根本跑不稳。

2.4 有了环境才能谈算法：DDPG不是万能黑匣子

另一个常见误区是把DDPG当成「扔数据进去就收敛」的黑匣子。它只解决「环境已知时怎么学策略」，不解决「环境怎么建模」。售电竞价要建模的对象是市场出清机制、对手报价分布、负荷波动，这三者的误差会被策略放大——环境里电价规律和真实市场不一致，学到的报价习惯换一段数据就失效。

所以看任何CSDN上的DDPG竞价代码，先别急着跑训练，先审环境类：出清价是直接读历史序列，还是用供需曲线算出来的？成交电量是满额成交还是按比例分配？这两个假设直接决定策略形态。市场假设写得越细，能复现出结果的概率越低；但假设写得越粗，离真实业务的偏差越大。我一般会在程序包给的简化环境上，先跑通训练流程，再花两倍时间把环境替换成自己业务侧的出清规则。

2.5 什么时候该放弃DDPG

也不是所有竞价问题都适合上DDPG。如果报价档位本来就固定、决策变量只有几个离散选项，用规则策略或线性规划更稳；如果决策频率是按月度而不是按小时，训练样本量太少，DDPG很难发挥优势。判断标准很简单：动作是否连续、状态是否有马尔可夫性、样本是否充足。三个都满足，才值得投入。

3. 把竞价问题写成强化学习环境：状态、动作、奖励的三步建模

3.1 状态空间怎么设：历史电价、负荷和「时间感」

售电公司做决策时能看到的信息包括：过去几天的现货价格、当日负荷预测、本公司已签零售合同下的剩余合约电量、以及当前时段。状态空间设计的核心原则是「信息能归一化、没有未来函数」。所谓未来函数，就是不小心把当天的真实出清价放进状态——离线回放历史数据时你确实能拿到这个数，但上线实盘时拿不到，模型等于作弊得分。

常见做法是取过去7天同时段的电价均值、前一天均价、当日负荷预测、剩余合约电量比、当前时段编号，合成一个5维状态。归一化比堆维度更重要，电价在不同季节能差好几倍，直接喂网络会让大数值特征主导梯度。这里给一个常用的特征构造写法：

def build_state(price_history, load_forecast, remain_contract, hour_idx): # price_history: 长度至少7的日均价序列 # 返回一个归一化后的5维状态向量 s = np.zeros(5) s[0] = np.mean(price_history[-7:]) / 200.0 # 近7日均价，基准电价200元/MWh s[1] = price_history[-1] / 200.0 # 昨日均价 s[2] = load_forecast / 1000.0 # 负荷预测，基准容量1000MW s[3] = remain_contract / 5000.0 # 剩余合约电量，基准5000MWh s[4] = hour_idx / 24.0 # 时段编号归一化到[0,1] return s

除数的选择跟着数据量级走，不固定。注意不要把「当前预测出清价」直接放进去，预测本身有误差，等训练稳定后可以把它作为额外特征再实验一次；如果reward涨了，要警惕这是网络把预测误差记忆下来的结果，换一段历史数据大概率会露馅。

3.2 动作空间与市场出清：申报完之后发生了什么

售电公司的申报动作进入市场后，出清价格由所有买方的申报曲线和卖方曲线交叉决定。学术研究里最常见的简化是「价格接受者假设」：单个售电公司体量够小，它的申报量改变不了市场出清价。这个假设下环境状态转移主要由外部电价波动驱动，动作只影响自己的成交电量和结算收益。另一种更贴近实操的做法，是把历史出清价当成外部随机变量，用自回归或简单马尔可夫过程生成下一时段价格，同时用真实负荷序列驱动电量结算。

我会偏向用真实历史电价时序驱动环境，因为环境稳定、可复现，方便做滚动回测。关键是成交电量怎么定：申报价格高于出清价就满额成交，低于出清价就不成交或按比例成交。这个规则是环境里最核心的生意逻辑，必须跟你拿到的程序PDF里的模型假设保持一致。常见的成交规则有三种：统一出清价（所有中标者按市场价结算）、按报价支付（中标者按自己的报价结算）、阶梯成交（按出清顺序分配电量）。换一种规则，最优策略完全不同——统一出清价下，报价只要贴着出清价就能成交，但按报价支付时，多报一分钱都直接吃掉毛利。

3.3 奖励函数：收益与偏差考核之间的权衡

售电公司真正的痛点不是赚不到价差，而是偏差考核。实际用电量和申报电量偏差超过一定比例，要对偏差部分缴纳罚款，这笔钱经常吃掉一个月的利润。奖励函数必须同时包含卖电收益和偏差惩罚两项。我一般把reward拆成「可解释的两部分」，比直接写一个黑箱综合公式好调试得多：

def compute_reward(bid_price, bid_volume, clear_price, actual_volume, penalty_coef): # 基本收益：按统一出清价结算的中标电量 trade_volume = bid_volume if bid_price >= clear_price else 0.0 revenue = (clear_price - bid_price) * trade_volume # 偏差考核：实际用电量与申报电量差超过5%的部分，按惩罚价计罚 deviation = abs(actual_volume - bid_volume) / max(bid_volume, 1e-6) if deviation > 0.05: penalty = penalty_coef * (deviation - 0.05) * bid_volume * clear_price else: penalty = 0.0 return revenue - penalty

penalty_coef要给一个足够敏感的量级，让智能体在早期就能感知到「多报一点会挨罚」。如果这个系数太小，reward会被卖电收益主导，训练出来的策略必然倾向于高报电量，偏差罚单会在回测阶段集中爆发。我踩过的坑是把惩罚系数设成0.01，训练曲线堪称完美，月底一结算利润亏在偏差考核上——这是奖励函数设计不到位的典型翻车现场。

3.4 环境骨架：reset与step的完整实现

把三节的内容拼成一个可交互的环境类，尽量控制在60行以内，方便对照论文公式逐行看：

class BiddingEnv: def __init__(self, price_series, load_series, penalty_coef=0.5): # price_series和load_series是等长的历史时序 self.price_series = price_series self.load_series = load_series self.penalty_coef = penalty_coef self.reset() def reset(self): self.idx = np.random.randint(7, len(self.price_series) - 1) return self._get_state() def step(self, action): idx = self.idx price_base = self.price_series[idx + 1] # 下一时段基准价 load_base = self.load_series[idx + 1] bid_price, bid_volume = map_action_to_bid(action, price_base, load_base) clear_price = self.price_series[idx + 1] # 历史真实出清价 actual_volume = self.load_series[idx + 1] # 历史真实负荷 reward = compute_reward(bid_price, bid_volume, clear_price, actual_volume, self.penalty_coef) self.idx += 1 done = self.idx >= len(self.price_series) - 1 return self._get_state(), reward, done def _get_state(self): price_history = self.price_series[max(0, self.idx - 7): self.idx + 1] load_forecast = self.load_series[self.idx + 1] remain_contract = self.load_series[self.idx:].sum() return build_state(price_history, load_forecast, remain_contract, self.idx % 24)

reset用随机起点而不是固定起点，是为了让训练样本覆盖不同季节和不同时段，避免智能体只会处理「从1月1日开始」的单一场景。step里用下一时段的历史真实电价当出清价，是「价格接受者」假设的落地写法；如果你的PDF模型里写的是「集中竞价出清模型」，要把clear_price替换成根据供需曲线计算的函数。reward里的惩罚系数和DDPG的学习率一样，属于需要优先调的第一梯队参数。

4. 跑通训练主循环：DDPG核心代码、超参数与收敛判据

4.1 经验回放与批量更新

DDPG的样本效率全靠经验回放撑着。竞价环境里状态转移的随机源主要是电价，相邻时段的样本高度相关，如果在线更新，梯度方向会被附近几个时段的涨跌带着跑。回放缓冲区容量一般从20万条起步：容量太小，最近样本占比高，训练方差大；容量太大，老样本分布和当前策略不匹配，学习变慢。采样优先用随机均匀采样，优先级采样（PER）在低维环境下收益不明显，反而引入额外超参数。

import random from collections import deque class ReplayBuffer: def __init__(self, capacity=200000): self.buffer = deque(maxlen=capacity) def push(self, s, a, r, s_next, done): self.buffer.append((s, a, r, s_next, done)) def sample(self, batch_size=128): batch = random.sample(self.buffer, batch_size) s = np.array([x[0] for x in batch], dtype=np.float32) a = np.array([x[1] for x in batch], dtype=np.float32) r = np.array([x[2] for x in batch], dtype=np.float32) s_next = np.array([x[3] for x in batch], dtype=np.float32) done = np.array([x[4] for x in batch], dtype=np.float32) return s, a, r, s_next, done

dtype统一成float32，是为了少踩一个隐形坑——PyTorch默认参数就是float32，样本如果从pandas里带出float64，训练时类型不匹配会报错还好说，最怕两种精度混着跑，loss曲线忽高忽低很难排查。回放缓冲区是逐步填充的，主循环里要在每次step之后立刻push，不要等到episode结束再统一回填，那样会让样本的时间顺序错位，回放缓冲区「打散相关样本」的意义就丢了。

4.2 训练主循环：一个episode里发生什么

主循环的逻辑顺序是：重置环境，循环step，每步存样本，每步或每隔几步更新网络，episode结束输出本轮奖励。更新频率不必每一步都做，常见做法是每步都更新也可以，但把采样和更新解耦能明显减少耗时。下面是一个主循环骨架：

def train_ddpg(env, actor, critic, a_target, c_target, buffer, args): # 探索噪声：前100个episode保持sigma=0.15，之后退火到0.02 noise_std = args['noise_init'] for episode in range(args['episodes']): state = env.reset() ep_reward = 0.0 while True: # 动作加噪声并clip到[-1,1]，确保不超出tanh输出范围 action_raw = actor.get_action(state) action_noisy = action_raw + np.random.normal(0, noise_std, size=action_raw.shape) action_noisy = np.clip(action_noisy, -1.0, 1.0) next_state, reward, done = env.step(action_noisy) buffer.push(state, action_noisy, reward, next_state, done) if len(buffer.buffer) > args['batch_size']: s, a, r, s_next, d = buffer.sample(args['batch_size']) # y = r + gamma * (1 - d) * critic_target(s_next, actor_target(s_next)) update_one_step(actor, critic, a_target, c_target, s, a, r, s_next, d, args) state = next_state ep_reward += reward if done: break if episode % 20 == 0: print(f"episode={episode}, reward={ep_reward:.2f}")

update_one_step内部就三步：先用目标网络算TD目标y，再更新Critic让Q(s,a)逼近y，最后用确定性策略梯度更新Actor。这里把网络更新拆出去，让主循环只保留「采样-交互-学习」的节奏，方便后续把更新频率改成每两步一次。

探索噪声的退火比噪声初值更重要。前100个episode保持σ=0.15，之后逐步降到0.02，否则策略已经收敛还在大幅试探，报价会在最优解附近来回抖。训练时盯reward曲线：正常形态是前期震荡、中期爬升、后期小抖动；如果出现「起来又掉下去」的尖峰，多半是噪声没退火或学习率偏大。

4.3 必调超参数：一张表讲清楚改哪里

超参数本身的坑不在数值，而在「先动哪个」。我一般按这个顺序调：先固定gamma和tau，把学习率调稳；再调噪声退火速度；最后才动奖励函数里的惩罚系数。

critic学习率比actor大，是因为Critic的回归任务比Actor的策略梯度任务更好学，先让打分变准，Actor再去跟。有个调参玄学：把critic loss和actor loss分开打印，如果critic loss一直降但reward不动，说明问题在环境给的信息不足，去查状态特征和奖励公式，别跟网络较劲；如果critic loss不降反涨，说明TD目标本身在发散，先调小tau或学习率。网上很多示例代码讲解会把超参数直接写死，但换一份电价数据几乎都得重调，固定参数能跑通只代表那组数据下运气好。

4.4 模型保存与多轮种子训练

训练脚本里必须带模型保存逻辑。竞价策略的评估波动很大，第300个episode的模型和第500个episode的模型可能差别明显，常见做法是每个指定episode存一份actor权重，回测时把表现最好的checkpoint挑出来。多轮种子训练也很重要：固定Python、NumPy、PyTorch三个随机种子，跑5个种子各100个episode，取reward中位数作为策略真实水平。单次训练曲线再漂亮，也可能只是随机种子给的运气。模型保存相当于给自己留一份后悔药，后面调坏任何一个超参数都能退回来对比。

5. DDPG竞价训练的五个常见坑：现象、原因与排查记录

5.1 现象：reward前50个episode一路跌到负，再没起来

原因多半是奖励量级没对齐。compute_reward里revenue是「元」量级，数值可以到百万级，而Critic网络回归的目标是这么大的数，梯度一上来就爆，损失函数直接发散。解决方法是先对reward做缩放：除以一个基准收益（比如episode首日电价乘以申报电量的估算值），把期望奖励压到个位数。同时给Critic加梯度裁剪，clip在1.0左右。做完这两步，大多数「不收敛」问题会直接消失。先检查reward量级，再去动网络结构，这是排查的第一顺序。

5.2 现象：Actor输出永远贴在-1或1边界，申报电量和价格恒为极值

原因有三个叠加：动作边界设置太满、探索噪声不足、奖励函数对动作不敏感。初始阶段Actor随便输出一个极端动作也可能拿到正收益，策略会迅速坍缩到边界，边界附近的梯度又接近零，网络从此学不出来。解决方法是把map_action_to_bid的区间收紧——价格偏移从±10%缩到±5%，电量比例从0.5到1.0缩到0.7到1.0；探索噪声σ初值给到0.2，确保智能体在边界附近也被推离。最根本的还要检查reward对动作的敏感性：把申报电量从0.5改成1.0，如果reward几乎没变化，说明环境里交易量规则写错了，动作改不改都一样，网络自然无所谓。

5.3 现象：同一份代码、同一个种子，两次训练结果差异很大

原因在于replay buffer的随机采样叠加环境的随机起点，波动被放大了。这不全是坏事——竞价环境本身随机性强，策略评估必须看分布而不是单次结果。解决方法是固定三个随机种子（Python、NumPy、PyTorch各一个），跑5个种子各100个episode，取reward中位数；回测时对每个episode滚动5次取平均。多种子验证是DDPG路线的基本功，单次训练曲线再漂亮也只能作为参考，不能作为论文或汇报的唯一依据。

5.4 现象：回测期收益不错，换一段真实历史数据就翻车

原因大概率是环境用了历史真实电价驱动，训练集和测试集存在分布偏移；更隐蔽的原因是状态里用了未来信息，比如build_state不小心把t+1时刻的实际值当成特征。解决方法是按时间切分数据做严格回测：训练集用前70%时段，测试集用后30%，确保策略没见过后段的电价形态。特征工程里禁止使用t+1及之后的数据构造状态。另外可以在环境中给clear_price乘一个0.95到1.05的随机扰动，让策略对价格波动天生有鲁棒性，换数据段时不会被分布偏移直接击穿。

5.5 现象：Critic的Q值越估越高，reward却一路走平

这是过估计偏差的典型症状。Critic用自身估计更新自身，TD目标的系统误差会累积；DDPG没有双Q网络结构，这是它的固有毛病。解决方法是先把软更新tau调小到0.001～0.002，让目标网络更慢，截断误差累积；如果想彻底一点，可以借鉴TD3的思路，在Critic更新时用两个Q值中的较小值来惩罚过估计，工程上只需要多加一个Critic网络，主循环改动很小。Q值曲线和reward曲线背离是黑匣子开始骗人的信号，一旦发现，优先检查target网络的更新频率，而不是继续加训练轮数。

6. 回测验证与进阶：让策略不只活在训练曲线上

6.1 三种验证方法按成本递增排

最便宜的是滚动窗口回测：按月划分数据，前一段训练、后一段回测，再前移；其次是对照组实验，用固定策略（按昨日出清价加固定偏移）每小时决策，直接对比平均收益和收益波动；最贵的是蒙特卡洛定价，跑50条价格轨迹算期望收益和最大回撤，适合拿去写论文或汇报。回测里有个反直觉的经验：DDPG策略的平均收益可能只比固定偏移策略高5%到10%，但它的收益波动率通常更低，因为智能体学会了在电价高波动时收缩申报量。所以评估时别只看均值，要算标准差和最大回撤。

6.2 从单时段决策到多时段联合报价

单时段模型每个时刻独立决策，忽略了「今天多买了电，明天的剩余合约就少一点」的时序影响。进阶做法是把剩余合约电量加进状态，reward里再加一项期末合约完成率的软约束。改造很小，策略却会从「贪心」变成「有远见」，月底的偏差考核也更容易达标。最后说一个自己的教训：第一版只优化单时段价差，训练曲线漂亮，等到按月度结算模拟时，偏差考核罚掉大半利润。后来把惩罚项和剩余电量都写进环境，策略才真正敢拿去汇报。这类程序包给你的不是可以直接上线的报价策略，而是一套能跑通的研究框架，环境模型里的每一条假设都得自己重审一遍。希望帮到你。

本文还有配套的精品资源，点击获取