Diffusers Experimental基于价值引导采样Value-Guided Sampling的强化学习管线实战解析【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers本文聚焦 Hugging Face Diffusers 仓库中src/diffusers/experimental实验模块的核心成果——基于 Diffuser 论文的强化学习RL管线ValueGuidedRLPipeline。文章将带你理解该实验模块的定位、价值引导采样的实现原理并结合仓库内示例脚本run_diffuser_locomotion.py完整复现 Hopper 环境的轨迹规划与策略执行流程掌握从依赖安装、参数调优到源码级原理分析的全链路实战能力。一、Experimental 模块是什么官方实验代码的孵化器src/diffusers/experimental/README.md是官方对实验模块的定位说明该目录用于承载支持 Diffusers 库新型应用与用法的实验性代码experimental code它们通常基于前沿论文、尚未完全成熟但足以支撑可运行的原型验证。目前该目录正式支持一项实验强化学习通过 Diffuser 模型实现基于扩散模型的轨迹规划与策略学习。从仓库结构看该模块由三部分构成src/diffusers/experimental/ ├── README.md ├── __init__.py # 导出入口 └── rl/ ├── __init__.py └── value_guided_sampling.py # 核心实现ValueGuidedRLPipeline其中 experimental/init.py 与 rl/init.py 逐层导出ValueGuidedRLPipeline使用者只需一行导入即可使用from diffusers.experimental import ValueGuidedRLPipeline需要说明的是实验性意味着该模块以快速验证论文想法为首要目标接口与行为可能随版本演进与pipelines目录下成熟的官方管线如 Stable Diffusion 系列相比其面向的是决策/控制领域而非生成式图像、视频、音频。二、核心管线 ValueGuidedRLPipeline架构与数据流管线的完整实现位于 src/diffusers/experimental/rl/value_guided_sampling.py它继承自DiffusionPipeline定义于 src/diffusers/pipelines/pipeline_utils.py因此自动获得该基类提供的通用能力模型下载from_pretrained、保存save_pretrained、设备迁移to等。2.1 构造参数ValueGuidedRLPipeline.__init__接收四个组件并注册到管线中参数类型作用value_functionUNet1DModel专门用于根据奖励微调轨迹的价值网络UNet 变体unetUNet1DModel用于对编码后的轨迹去噪的主扩散模型schedulerDDPMScheduler等 Scheduler与unet配合完成去噪本应用默认 DDPMSchedulerenvOpenAI Gym 环境遵循 Gym API 的动作环境官方预训练模型目前仅提供 Hopper构造时管线还会读取环境的离线数据集env.get_dataset()并据此计算每个字段的均值means与标准差stds用于后续的归一化/反归一化同时从env.observation_space与env.action_space中解析出状态维度state_dim与动作维度action_dim这两个维度直接决定轨迹张量的形状。2.2 归一化与条件注入normalize(x_in, key)/de_normalize(x_in, key)基于数据集统计量对观测与动作做标准化与还原保证输入到网络的数据分布稳定to_torch(x_in)递归地把 dict 或数组转换为位于unet.device上的torch.Tensorreset_x0(x_in, cond, act_dim)将已知条件当前观测写回轨迹张量的指定位置——x_in[:, key, act_dim:]语义为在轨迹第key个时间步、动作维度之后的状态部分填入观测值从而保证生成轨迹始终以当前真实状态为起点这是条件扩散在轨迹规划中的具体实现。2.3 价值引导的扩散采样run_diffusion 核心循环run_diffusion(x, conditions, n_guide_steps, scale)是整条管线的引擎其流程为对调度器的每个时间步i先执行n_guide_steps次价值引导梯度步再做一次标准的去噪更新在torch.enable_grad()下对轨迹x求导将轨迹转置为(batch, channel, horizon)传入value_function得到价值输出y通过torch.autograd.grad([y.sum()], [x])[0]计算价值对轨迹的梯度grad用后验方差缩放梯度model_std exp(0.5 * posterior_variance)再令grad model_std * grad即论文中的按标准差缩放梯度对应示例配置scale_grad_by_std: True对接近终止的时间步截断梯度grad[timesteps 2] 0对应配置t_grad_cutoff: 2避免在轨迹末端做无意义引导沿价值上升方向更新轨迹x x scale * grad并用reset_x0重新施加条件由unet预测去噪结果经scheduler.step(prev_x, i, x)[prev_sample]得到下一步样本再次施加条件。循环结束后返回去噪完成的轨迹x与最终价值y。三、端到端实践Hopper 环境上的轨迹规划与策略执行仓库在 examples/reinforcement_learning/ 提供了可直接运行的示例脚本 run_diffuser_locomotion.py其配套说明见 examples/reinforcement_learning/README.md。该脚本演示了 Diffuser 的经典场景让 Hopper 机器人单腿跳跃智能体在hopper-medium-v2数据集上执行基于扩散模型的轨迹规划。3.1 安装 RL 专用依赖运行示例前需安装额外的强化学习依赖来自examples/reinforcement_learning/README.mdpip install -f https://download.pytorch.org/whl/torch_stable.html \ free-mujoco-py \ einops \ gym0.24.1 \ protobuf3.20.1 \ githttps://github.com/rail-berkeley/d4rl.git \ mediapy \ Pillow9.0.0说明d4rl用于加载离线强化学习数据集hopper-medium-v2即 D4RL 基准任务gym提供环境 APImujoco负责物理仿真版本号如gym0.24.1、protobuf3.20.1与示例脚本所依赖的 API 行为保持一致建议严格遵循否则可能触发环境接口不兼容问题。3.2 加载预训练管线示例通过from_pretrained从 Hub 加载官方预训练模型并注入 Gym 环境env_name hopper-medium-v2 env gym.make(env_name) pipeline ValueGuidedRLPipeline.from_pretrained( bglick13/hopper-medium-v2-value-function-hor32, envenv, )从源码看from_pretrained会按DiffusionPipeline的通用机制下载unet、value_function、scheduler三组权重env无法序列化因此必须以关键字参数在加载时注入。预训练仓库名中的hor32表明其规划视界为 32 步与示例配置中的horizon: 32一致。3.3 主循环观测 → 规划 → 执行env.seed(0) obs env.reset() total_reward 0 T 1000 for t in tqdm.tqdm(range(T)): # 调用策略基于当前观测规划轨迹并输出动作 denorm_actions pipeline(obs, planning_horizon32) # 在环境中执行动作 next_observation, reward, terminal, _ env.step(denorm_actions) score env.get_normalized_score(total_reward) total_reward reward obs next_observation print(fTotal reward: {total_reward})每个控制周期内管线__call__完成的工作对应 value_guided_sampling.py 的__call__方法归一化当前观测并复制成batch_size个副本默认 64构造形状为(batch_size, planning_horizon, state_dim action_dim)的初始高斯噪声轨迹并注入条件使轨迹从当前状态出发执行run_diffusion价值引导采样见 2.3 节按价值y降序排序所有候选轨迹取出价值最高轨迹的动作序列反归一化后返回第一个动作denorm_actions[selected_index, 0]交给env.step执行。这种批量生成多条候选轨迹 → 按预测价值择优 → 只执行首步动作 → 下一时刻重新规划的模式正是 Diffuser 论文中 Model Predictive ControlMPC式闭环控制的核心思想。四、关键配置参数详解示例脚本顶部的config字典集中定义了全部采样参数config { n_samples: 64, # 候选轨迹条数batch_size horizon: 32, # 规划视界时间步数 num_inference_steps: 20,# 去噪迭代步数 n_guide_steps: 2, # 每步去噪前的价值引导梯度步数 scale_grad_by_std: True,# 是否按后验方差缩放梯度 scale: 0.1, # 价值梯度步长 eta: 0.0, # DDPM 采样随机性系数 t_grad_cutoff: 2, # 引导梯度截断时间步 device: cpu, # 运行设备 }对照源码逐一说明其作用参数对应源码位置作用与调优提示n_samples__call__中batch_size每次规划生成的候选轨迹数越大探索越充分但计算量线性增长horizon__call__中planning_horizon单条轨迹覆盖的时间步数须与预训练模型的hor32匹配num_inference_stepsself.scheduler.timesteps调度器去噪步数直接影响生成质量与耗时n_guide_stepsrun_diffusion内层循环每步去噪前对价值网络执行的梯度步数设为 0 则完全跳过价值引导见下文scalex x scale * grad价值梯度的更新步长过大易导致轨迹失真scale_grad_by_stdmodel_std * grad梯度按后验方差缩放控制引导强度随噪声水平自适应变化t_grad_cutoffgrad[timesteps 2] 0在靠近终点timestep 2时禁用价值梯度避免末端震荡eta调度器step的随机性0 表示确定性采样复现性更强devicerandn_tensor(..., device...)计算设备示例默认 CPUn_guide_steps 的两种运行模式examples/reinforcement_learning/README.md特别强调n_guide_steps是本实验最关键的可调参数。n_guide_steps0快速模式仅从扩散模型采样轨迹不进行价值微调相当于纯行为克隆behavior cloning速度更快但收益偏低n_guide_steps2默认对齐原论文每步去噪执行 2 次价值引导轨迹在采样过程中被持续拉向高价值区域最终按价值排序择优执行。由于n_guide_steps0时不会计算价值输出y源码在__call__末尾做了兜底当y is None时改为随机选择一条候选轨迹的动作selected_index np.random.randint(0, batch_size)保证管线在无引导模式下依然可运行。五、源码级原理深挖为什么 1D UNet 能规划轨迹整个实验建立在两个关键设计上均可在仓库源码中找到证据。5.1 轨迹被当作图像去噪UNet1DModelvalue_function与unet都使用 UNet1DModel类定义见 unet_1d.py。它将一条长度为planning_horizon、每个时刻含state_dim action_dim维特征的轨迹视为一个 1D 的图像通道维 状态动作维度空间维 时间步从而复用 UNet 强大的去噪表征能力。这也解释了源码中反复出现的转置操作x.permute(0, 2, 1)——把(batch, horizon, feature)转换为 UNet 期望的(batch, feature, horizon)布局。5.2 价值函数是可微的引导梯度让采样朝奖励走价值引导的本质是在每一步去噪前后插入可微的价值评估value_function(x)输出轨迹的价值标量ytorch.autograd.grad求得价值对轨迹的梯度配合model_std由scheduler._get_variance(i)推导的后验标准差缩放与截断机制把最大化奖励这一目标转化为对去噪轨迹的定向修正。整个过程无需重新训练 UNet仅依赖预训练的价值函数在采样期做推理时引导这正是 Diffuser 论文利用扩散模型做轨迹优化的核心创新也是该实验模块与常规生成管线最大的不同。5.3 与 Diffusion Policy 的区分仓库 examples/reinforcement_learning/README.md 还介绍了另一条路线diffusion_policy.pyDiffusion Policy源自 diffusion-policy.cs.columbia.edu它训练扩散模型直接预测机器人动作序列用于将 T 形块推入目标区域的控制任务。与 Diffuser采样期价值引导、需要价值网络不同Diffusion Policy 属于训练期即嵌入策略的方法。二者共同展示了扩散模型在决策智能领域的两种代表性用法读者可对照学习。六、常见问题与运行提示设备选择示例默认device: cpu如需 GPU 加速可修改config[device]管线内部所有张量均统一在unet.device上创建见to_torch与randn_tensor迁移后无需改动其他代码。环境依赖版本敏感D4RL 数据集与 Gym 的 API 耦合较紧务必按 3.1 节版本安装env.get_dataset()、env.get_normalized_score()等接口均依赖 d4rl 提供的包装。预训练模型可用范围文档与源码均注明目前只有 Hopper 环境提供预训练模型bglick13/hopper-medium-v2-value-function-hor32在其他 Gym 环境上运行需要自行训练unet与value_function。实验性 API 演进源码中scheduler.step(...)[prev_sample]处留有TODO: verify deprecation of this kwarg注释提示调度器接口可能存在兼容性调整升级 Diffusers 版本后若遇异常优先检查scheduler.step的返回字段是否变化。七、延伸阅读路径想进一步深入该实验模块与 RL 支持可继续阅读仓库中的以下资源实验模块总览与定位src/diffusers/experimental/README.md管线核心实现全部源码逻辑src/diffusers/experimental/rl/value_guided_sampling.py1D 轨迹去噪网络src/diffusers/models/unets/unet_1d.py默认调度器实现src/diffusers/schedulers/scheduling_ddpm.py可运行示例脚本examples/reinforcement_learning/run_diffuser_locomotion.py示例说明与依赖清单examples/reinforcement_learning/README.mdDiffusion Policy 对照实现examples/reinforcement_learning/diffusion_policy.pyDiffusers 的 Experimental 模块以最精简的方式展示了扩散模型超越生成边界、进入决策领域的可能性价值引导采样让预训练的轨迹扩散模型在采样阶段即可被奖励信号定向修正。无论是研究强化学习与生成模型的交叉方向还是复现 Diffuser 论文的基线效果本文介绍的管线与示例脚本都是一个直接可用的起点。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 Diffusers Experimental：基于价值引导采样（Value-Guided Sampling）的强化学习管线实战解析
Diffusers Experimental基于价值引导采样Value-Guided Sampling的强化学习管线实战解析【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers本文聚焦 Hugging Face Diffusers 仓库中src/diffusers/experimental实验模块的核心成果——基于 Diffuser 论文的强化学习RL管线ValueGuidedRLPipeline。文章将带你理解该实验模块的定位、价值引导采样的实现原理并结合仓库内示例脚本run_diffuser_locomotion.py完整复现 Hopper 环境的轨迹规划与策略执行流程掌握从依赖安装、参数调优到源码级原理分析的全链路实战能力。一、Experimental 模块是什么官方实验代码的孵化器src/diffusers/experimental/README.md是官方对实验模块的定位说明该目录用于承载支持 Diffusers 库新型应用与用法的实验性代码experimental code它们通常基于前沿论文、尚未完全成熟但足以支撑可运行的原型验证。目前该目录正式支持一项实验强化学习通过 Diffuser 模型实现基于扩散模型的轨迹规划与策略学习。从仓库结构看该模块由三部分构成src/diffusers/experimental/ ├── README.md ├── __init__.py # 导出入口 └── rl/ ├── __init__.py └── value_guided_sampling.py # 核心实现ValueGuidedRLPipeline其中 experimental/init.py 与 rl/init.py 逐层导出ValueGuidedRLPipeline使用者只需一行导入即可使用from diffusers.experimental import ValueGuidedRLPipeline需要说明的是实验性意味着该模块以快速验证论文想法为首要目标接口与行为可能随版本演进与pipelines目录下成熟的官方管线如 Stable Diffusion 系列相比其面向的是决策/控制领域而非生成式图像、视频、音频。二、核心管线 ValueGuidedRLPipeline架构与数据流管线的完整实现位于 src/diffusers/experimental/rl/value_guided_sampling.py它继承自DiffusionPipeline定义于 src/diffusers/pipelines/pipeline_utils.py因此自动获得该基类提供的通用能力模型下载from_pretrained、保存save_pretrained、设备迁移to等。2.1 构造参数ValueGuidedRLPipeline.__init__接收四个组件并注册到管线中参数类型作用value_functionUNet1DModel专门用于根据奖励微调轨迹的价值网络UNet 变体unetUNet1DModel用于对编码后的轨迹去噪的主扩散模型schedulerDDPMScheduler等 Scheduler与unet配合完成去噪本应用默认 DDPMSchedulerenvOpenAI Gym 环境遵循 Gym API 的动作环境官方预训练模型目前仅提供 Hopper构造时管线还会读取环境的离线数据集env.get_dataset()并据此计算每个字段的均值means与标准差stds用于后续的归一化/反归一化同时从env.observation_space与env.action_space中解析出状态维度state_dim与动作维度action_dim这两个维度直接决定轨迹张量的形状。2.2 归一化与条件注入normalize(x_in, key)/de_normalize(x_in, key)基于数据集统计量对观测与动作做标准化与还原保证输入到网络的数据分布稳定to_torch(x_in)递归地把 dict 或数组转换为位于unet.device上的torch.Tensorreset_x0(x_in, cond, act_dim)将已知条件当前观测写回轨迹张量的指定位置——x_in[:, key, act_dim:]语义为在轨迹第key个时间步、动作维度之后的状态部分填入观测值从而保证生成轨迹始终以当前真实状态为起点这是条件扩散在轨迹规划中的具体实现。2.3 价值引导的扩散采样run_diffusion 核心循环run_diffusion(x, conditions, n_guide_steps, scale)是整条管线的引擎其流程为对调度器的每个时间步i先执行n_guide_steps次价值引导梯度步再做一次标准的去噪更新在torch.enable_grad()下对轨迹x求导将轨迹转置为(batch, channel, horizon)传入value_function得到价值输出y通过torch.autograd.grad([y.sum()], [x])[0]计算价值对轨迹的梯度grad用后验方差缩放梯度model_std exp(0.5 * posterior_variance)再令grad model_std * grad即论文中的按标准差缩放梯度对应示例配置scale_grad_by_std: True对接近终止的时间步截断梯度grad[timesteps 2] 0对应配置t_grad_cutoff: 2避免在轨迹末端做无意义引导沿价值上升方向更新轨迹x x scale * grad并用reset_x0重新施加条件由unet预测去噪结果经scheduler.step(prev_x, i, x)[prev_sample]得到下一步样本再次施加条件。循环结束后返回去噪完成的轨迹x与最终价值y。三、端到端实践Hopper 环境上的轨迹规划与策略执行仓库在 examples/reinforcement_learning/ 提供了可直接运行的示例脚本 run_diffuser_locomotion.py其配套说明见 examples/reinforcement_learning/README.md。该脚本演示了 Diffuser 的经典场景让 Hopper 机器人单腿跳跃智能体在hopper-medium-v2数据集上执行基于扩散模型的轨迹规划。3.1 安装 RL 专用依赖运行示例前需安装额外的强化学习依赖来自examples/reinforcement_learning/README.mdpip install -f https://download.pytorch.org/whl/torch_stable.html \ free-mujoco-py \ einops \ gym0.24.1 \ protobuf3.20.1 \ githttps://github.com/rail-berkeley/d4rl.git \ mediapy \ Pillow9.0.0说明d4rl用于加载离线强化学习数据集hopper-medium-v2即 D4RL 基准任务gym提供环境 APImujoco负责物理仿真版本号如gym0.24.1、protobuf3.20.1与示例脚本所依赖的 API 行为保持一致建议严格遵循否则可能触发环境接口不兼容问题。3.2 加载预训练管线示例通过from_pretrained从 Hub 加载官方预训练模型并注入 Gym 环境env_name hopper-medium-v2 env gym.make(env_name) pipeline ValueGuidedRLPipeline.from_pretrained( bglick13/hopper-medium-v2-value-function-hor32, envenv, )从源码看from_pretrained会按DiffusionPipeline的通用机制下载unet、value_function、scheduler三组权重env无法序列化因此必须以关键字参数在加载时注入。预训练仓库名中的hor32表明其规划视界为 32 步与示例配置中的horizon: 32一致。3.3 主循环观测 → 规划 → 执行env.seed(0) obs env.reset() total_reward 0 T 1000 for t in tqdm.tqdm(range(T)): # 调用策略基于当前观测规划轨迹并输出动作 denorm_actions pipeline(obs, planning_horizon32) # 在环境中执行动作 next_observation, reward, terminal, _ env.step(denorm_actions) score env.get_normalized_score(total_reward) total_reward reward obs next_observation print(fTotal reward: {total_reward})每个控制周期内管线__call__完成的工作对应 value_guided_sampling.py 的__call__方法归一化当前观测并复制成batch_size个副本默认 64构造形状为(batch_size, planning_horizon, state_dim action_dim)的初始高斯噪声轨迹并注入条件使轨迹从当前状态出发执行run_diffusion价值引导采样见 2.3 节按价值y降序排序所有候选轨迹取出价值最高轨迹的动作序列反归一化后返回第一个动作denorm_actions[selected_index, 0]交给env.step执行。这种批量生成多条候选轨迹 → 按预测价值择优 → 只执行首步动作 → 下一时刻重新规划的模式正是 Diffuser 论文中 Model Predictive ControlMPC式闭环控制的核心思想。四、关键配置参数详解示例脚本顶部的config字典集中定义了全部采样参数config { n_samples: 64, # 候选轨迹条数batch_size horizon: 32, # 规划视界时间步数 num_inference_steps: 20,# 去噪迭代步数 n_guide_steps: 2, # 每步去噪前的价值引导梯度步数 scale_grad_by_std: True,# 是否按后验方差缩放梯度 scale: 0.1, # 价值梯度步长 eta: 0.0, # DDPM 采样随机性系数 t_grad_cutoff: 2, # 引导梯度截断时间步 device: cpu, # 运行设备 }对照源码逐一说明其作用参数对应源码位置作用与调优提示n_samples__call__中batch_size每次规划生成的候选轨迹数越大探索越充分但计算量线性增长horizon__call__中planning_horizon单条轨迹覆盖的时间步数须与预训练模型的hor32匹配num_inference_stepsself.scheduler.timesteps调度器去噪步数直接影响生成质量与耗时n_guide_stepsrun_diffusion内层循环每步去噪前对价值网络执行的梯度步数设为 0 则完全跳过价值引导见下文scalex x scale * grad价值梯度的更新步长过大易导致轨迹失真scale_grad_by_stdmodel_std * grad梯度按后验方差缩放控制引导强度随噪声水平自适应变化t_grad_cutoffgrad[timesteps 2] 0在靠近终点timestep 2时禁用价值梯度避免末端震荡eta调度器step的随机性0 表示确定性采样复现性更强devicerandn_tensor(..., device...)计算设备示例默认 CPUn_guide_steps 的两种运行模式examples/reinforcement_learning/README.md特别强调n_guide_steps是本实验最关键的可调参数。n_guide_steps0快速模式仅从扩散模型采样轨迹不进行价值微调相当于纯行为克隆behavior cloning速度更快但收益偏低n_guide_steps2默认对齐原论文每步去噪执行 2 次价值引导轨迹在采样过程中被持续拉向高价值区域最终按价值排序择优执行。由于n_guide_steps0时不会计算价值输出y源码在__call__末尾做了兜底当y is None时改为随机选择一条候选轨迹的动作selected_index np.random.randint(0, batch_size)保证管线在无引导模式下依然可运行。五、源码级原理深挖为什么 1D UNet 能规划轨迹整个实验建立在两个关键设计上均可在仓库源码中找到证据。5.1 轨迹被当作图像去噪UNet1DModelvalue_function与unet都使用 UNet1DModel类定义见 unet_1d.py。它将一条长度为planning_horizon、每个时刻含state_dim action_dim维特征的轨迹视为一个 1D 的图像通道维 状态动作维度空间维 时间步从而复用 UNet 强大的去噪表征能力。这也解释了源码中反复出现的转置操作x.permute(0, 2, 1)——把(batch, horizon, feature)转换为 UNet 期望的(batch, feature, horizon)布局。5.2 价值函数是可微的引导梯度让采样朝奖励走价值引导的本质是在每一步去噪前后插入可微的价值评估value_function(x)输出轨迹的价值标量ytorch.autograd.grad求得价值对轨迹的梯度配合model_std由scheduler._get_variance(i)推导的后验标准差缩放与截断机制把最大化奖励这一目标转化为对去噪轨迹的定向修正。整个过程无需重新训练 UNet仅依赖预训练的价值函数在采样期做推理时引导这正是 Diffuser 论文利用扩散模型做轨迹优化的核心创新也是该实验模块与常规生成管线最大的不同。5.3 与 Diffusion Policy 的区分仓库 examples/reinforcement_learning/README.md 还介绍了另一条路线diffusion_policy.pyDiffusion Policy源自 diffusion-policy.cs.columbia.edu它训练扩散模型直接预测机器人动作序列用于将 T 形块推入目标区域的控制任务。与 Diffuser采样期价值引导、需要价值网络不同Diffusion Policy 属于训练期即嵌入策略的方法。二者共同展示了扩散模型在决策智能领域的两种代表性用法读者可对照学习。六、常见问题与运行提示设备选择示例默认device: cpu如需 GPU 加速可修改config[device]管线内部所有张量均统一在unet.device上创建见to_torch与randn_tensor迁移后无需改动其他代码。环境依赖版本敏感D4RL 数据集与 Gym 的 API 耦合较紧务必按 3.1 节版本安装env.get_dataset()、env.get_normalized_score()等接口均依赖 d4rl 提供的包装。预训练模型可用范围文档与源码均注明目前只有 Hopper 环境提供预训练模型bglick13/hopper-medium-v2-value-function-hor32在其他 Gym 环境上运行需要自行训练unet与value_function。实验性 API 演进源码中scheduler.step(...)[prev_sample]处留有TODO: verify deprecation of this kwarg注释提示调度器接口可能存在兼容性调整升级 Diffusers 版本后若遇异常优先检查scheduler.step的返回字段是否变化。七、延伸阅读路径想进一步深入该实验模块与 RL 支持可继续阅读仓库中的以下资源实验模块总览与定位src/diffusers/experimental/README.md管线核心实现全部源码逻辑src/diffusers/experimental/rl/value_guided_sampling.py1D 轨迹去噪网络src/diffusers/models/unets/unet_1d.py默认调度器实现src/diffusers/schedulers/scheduling_ddpm.py可运行示例脚本examples/reinforcement_learning/run_diffuser_locomotion.py示例说明与依赖清单examples/reinforcement_learning/README.mdDiffusion Policy 对照实现examples/reinforcement_learning/diffusion_policy.pyDiffusers 的 Experimental 模块以最精简的方式展示了扩散模型超越生成边界、进入决策领域的可能性价值引导采样让预训练的轨迹扩散模型在采样阶段即可被奖励信号定向修正。无论是研究强化学习与生成模型的交叉方向还是复现 Diffuser 论文的基线效果本文介绍的管线与示例脚本都是一个直接可用的起点。【免费下载链接】diffusers Diffusers: State-of-the-art diffusion models for image, video, and audio generation in PyTorch.项目地址: https://gitcode.com/GitHub_Trending/di/diffusers创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考