看到“hindsight”这个词，大多数人的第一反应是“事后诸葛亮”，是那种考试对完答案后“我其实会做”的懊恼，还是走错路之后“刚刚应该右转”的顿悟。但在强化学习这个圈子里，hindsight还有一个非常具体的指向——Hindsight Experience Replay，也就是后见之明经验回放，简称HER。这篇博文想聊的就是这件事：它怎么把一个听起来像“人生感悟”的概念，变成真正解决稀疏奖励难题的算法利器，以及我实际从零实现和调参过程中踩过的坑和总结的经验。

适合读这篇文章的人，不是那种已经可以在顶级会议上刷paper的强化学习老手，而是那种正在跑自己的第一个机器人控制项目、在稀疏奖励环境里看着训练曲线像死人一样平稳的同学。如果你用DQN或者PPO训过类似机械臂抓取、推方块这样一类的任务，而且怎么调都不收敛，那HER可能是你下一件该试的东西。下面我会从概念讲到原理，再给一份可以直接照着抄的PyTorch实现思路，最后把我的踩坑记录也一并翻出来。

1. Hindsight到底是什么：从生活智慧到算法思想

1.1 先聊清楚“后见之明”为什么有用

我们先用一个生活场景来找感觉。想象你第一次学投飞镖，目标是靶心，你闭着眼睛瞎扔了一通，结果全都偏了，落在了左上下角。这时候教练走过来告诉你：“别光盯着靶心懊恼。你现在记住你刚才那一扔的手感，然后想象刚才目标其实就设在你飞镖落点那里——如果你下一镖还能落在这个点，说明你至少学会了怎么稳定地打出这个角度。”

这个教练干的事，就是hindsight。它没有直接告诉你“怎么打中靶心”，而是从失败中硬生生抽取出了一小步可以学的经验：你的手和身体在这个状态下、做了这个动作，结果飞镖飞到了那个位置。这个“当前状态到结果状态”的映射关系，是真实存在的、可靠的、不依赖于你是否完成了终极目标的。而传统强化学习最大的问题恰恰在这儿：它只奖励“打中靶心”这一件事，偏了呢？奖励就是0，什么都没有，学不到任何东西。教练的做法，其实是把“没打中靶心”这个失败样本，重新描述成了“击中了左上角”这个成功样本，再拿去学习。

这个想法放到强化学习里就是HER的核心直觉：我们不应该浪费那些没有达到预期目标的transition，而是可以把这些transition的目标重新定义成“实际达到的状态”，让算法从“失败”里学会“把状态从A移到B”的基本技能。等这些基本技能积累得足够多，真正的目标任务——比如击中靶心——就会变得容易很多，因为模型已经掌握了大量“如何通过动作改变状态”的底层经验，剩下的只是组合与搜索。

1.2 从概念到算法：HER解决了什么痛点

要理解HER的价值，得先明白它出现的背景。2017年之前，大家已经受够了稀疏奖励问题。什么叫稀疏奖励？就是你在训练一个机器人开门或者抓取物体时，环境只在你完成任务的最后一帧给你一个奖励数值，可能就是你成功了给1，失败给0。在这中间，不管机器人动作多接近目标，数据多么有指导意义，奖励都是0。于是问题来了：一个智能体在完全没有梯度的奖励信号下做探索，绝大部分时间它都在乱动，产生了一大堆失败的经验。这些经验在普通经验回放里只会被简单地丢弃或者以0奖励存储，根本提供不了任何“什么样的动作是更好”的信息。

我见过太多初学者的状态：用DQN去训一个简单的稀疏奖励任务，训练了几十万步，ac成功率曲线始终贴在零线上，你以为是自己网络结构写错了，其实是奖励信号太稀疏，算法在黑暗里摸不到任何依赖路径。这个时候，你需要的不只是调参，而是引入一种新的学习信号来源。HER提供一个非常优雅的方案——目标重标注（goal relabeling），它不改变环境，不需要密集奖励函数，不需要人为设计奖励塑形，只改变你存进经验池的方式。换句话讲，它把那些原本“没用”的失败数据，通过重写目标，全部变成了“擅长某件小事”的成功数据。

为什么这个思路在当年引起那么大动静？因为OpenAI等研究机构在机器人操作实验中发现，加了HER之后，原本需要几百万甚至上千万样本才能隐约看到进展的机械臂抓取任务，一下子缩短到几十万步就能达到很高的成功率。这等于说，同样的硬件条件、同样的环境代码、同样的计算资源，只加一个小改动，学习效率差了一个数量级。这就是这个“后见之明”思想的魅力所在。

1.3 一句话理解HER：把失败经验也变成训练样本

如果你只记住一句话，那就是：HER在采样完一个完整回合（episode）后，挑出其中一些transition，把它们原本的目标替换成这个回合里实际达到过的某个状态，然后重新计算奖励，再存进经验池。原目标没达成？没关系，我们假装目标是另一个我们实际到达的地方，这样原本的0奖励就能变成成功奖励或距离度量，梯度信号就有了。

所以HER不是某种新的网络结构，不是某个高大上的数学变换，它就是一个规则简单却能极大改变数据分布的训练策略。核心思想是目标条件化（goal-conditioned）：你的策略本来就要接收一个目标作为输入，那么目标变了，策略学习的目标函数也跟着变。HER利用的正是这个灵活性——通过替换目标，让一个回合内的数据被复用成多个不同任务下的训练样本。这也解释了为什么它特别适合机器人操作、导航这类天然带“目标状态”概念的任务：你要么用状态空间中的某个点表示目标，要么用物体ID表示目标，总之目标本身是可以用特征向量描述清楚的。

2. 算法原理拆解：HER是怎么工作的

2.1 从Experience Replay说起：为什么普通经验池不够用

大家熟悉的Experience Replay是DQN时代的经典套路，基本思想是把智能体与环境交互产生的transition，也就是状态、动作、奖励、下一状态这个四元组，存进一个固定大小的回放缓冲区里，训练时随机采样一批来更新网络。它解决了两个问题：一是打破样本间的时序相关性，避免网络被连续样本带偏；二是提高样本利用率，同一批数据可以反复被用来训练多次。

但在稀疏奖励任务里，普通经验回放存在一个致命伤：样本质量极差。你采样一万条transition，可能9990条的奖励都是0，剩下的10条是任务结束时给的正向奖励。这10条幸运样本本身并没有记录“从哪个状态做出了哪个动作才成功”，因为环境只在整条轨迹的最后给了一个统一的1，中间每一步的动作和状态没能得到对应的信用分配。结果就是，经验池里的数据虽然多，但对于“如何一步步接近目标”这件事几乎没有任何可用的监督信号。你从池子里随机抽，抽到的大概率全是噪声，训练起来自然是原地踏步。

HER的高明之处在于，它不是修改经验池的“量”，而是修改经验池里每条数据里的“目标字段”，让原本没信号的样本变得有信号。道理很简单：如果你把一个轨迹里第t步的transition，它的目标改成“这个回合最后实际到达的状态”，那么这一条数据的含义就从“在状态s下做了动作a，结果没到达原定目标”——这没信号；变成了“在状态s下做了动作a，结果到达了状态g'”——这是一个有明确正反馈的样本，模型可以从中学到“s、a导致g'”这种稳定的状态转移关系。于是在数量不变的情况下，信息量大幅提升，这比单纯堆样本量要聪明得多。

2.2 四种目标重标注策略，选哪个

HER论文里最容易被忽略、实际上最影响实验效果的部分，是“到底应该把原目标替换成什么”。OpenAI在论文中对比了四种策略，我在这里直接整理成表格，方便你对照选型：

我在实际项目中主要用future，原因也很直接：future策略保留了时序上的因果性，它给早期transition设定的新目标，是这条transition之后真实访问过的状态，这样“从早期状态做某动作导致后期状态”这个逻辑链是成立的，模型学到的动态模型更可靠。final虽然简单，但我试下来在任务比较长的时候，早期transition离最终状态太远，模型会陷入一种“既要达成早期小目标、又够不着远目标”的混乱状态。而episode策略在episode长度较短的情况下效果还行，一旦episode很长，随机抽一个状态作为目标，很多时候这个目标离当前状态太远，学习也没那么高效。

2.3 HER为什么有效，把“失败”变成“可学习”的关键一步

从数学上理解HER的有效性，不用推导太复杂的东西，抓住一个等式就够了。在goal-conditioned设置中，一个transition一般是这样描述的：(s, a, r, s', g)，其中g是目标。环境给的奖励函数通常长这样：r = -1如果|s' - g|超过某个阈值，否则r=0（或者反过来，成功给0、失败给-1，看你用哪种约定）。问题是原定的g很难触达，所以绝大多数s'都和g离得远，奖励永远是-1，梯度信息就是平的。

HER做的事情，是把这条transition里的g换成g'（一个实际达到过的状态），于是奖励函数变成r' = -1如果|s' - g'|大，否则r'=0。关键在这里：如果g'就是s'本身，那|s'-g'| = 0，奖励直接变成0，这条样本就成了一个“成功样本”。这样一来，即便是原本完全失败的transition，也会有一部分的奖励信号变成有效值，模型就获得了一个明确的训练方向：在状态s下做动作a，可以让状态更接近g'。大量这样的样本叠加起来，模型就学会了“状态间的可控转移”，而不是在茫茫状态空间里瞎找通往固定目标g的路。

另一个值得说的数学直觉是：HER其实是在增加可用正样本的密度。想象目标空间是一个球面上一个极小的点，原任务的“成功区域”小得可怜。而HER通过把每个实际到达过的状态都当作“伪目标”，等于把成功区域扩大到了所有agent曾到达过的状态，这些状态散布在状态空间各处，一下子就缓解了正样本稀疏的问题。这也是为什么HER能大幅提升样本效率的本质原因。

2.4 HER不是孤立的技巧，它和Goal-Conditioned框架绑定

很多人照着HER的论文实现之后，会有一个困惑：为什么我把HER加到DQN里好像没效果？原因多半是忘了HER的真正前提：你使用的策略本身必须是一个目标条件策略（goal-conditioned policy），也就是说，策略的输入不只是观测状态s，还同时输入当前任务的目标g。这样才能在重标注的时候把g替换成g'，并重新计算价值或者动作分布。

从这个角度讲，HER和Universal Value Function Approximators（UVFA）是一脉相承的。UVFA最早由Schaul等人在2015年提出，核心思想是让价值函数不只依赖于状态s，还依赖于目标g，从而在一个策略里同时学会处理多个目标。HER正是构建在UVFA这种多任务思想之上的：它把一个episode里的transition，在重标注后视为“不同目标下的不同任务”的样本，通过这种方式，单次交互就同时贡献给了多个任务的训练。理解了这层关系，你在实现HER时就不会把网络结构写成普通DQN的样子，而会记得在输入层或者隐藏层加入目标向量，让价值函数和目标条件策略真正成立。

3. 从零实现一个HER项目

3.1 任务选型：为什么我选了FetchReach和FetchPush

说实话，第一次动手实现HER时，我踩过最大的坑之一是选错了试验场。有人一上来就用真实机器人或者超复杂的物理仿真环境，结果处理环境和调试硬件就花了一两周，根本没精力关注算法本身。我建议任何初学者从OpenAI Gym里经典的机器人操作环境开始，尤其是FetchReach和FetchPush，理由非常务实。

FetchReach的任务是控制一个七自由度机械臂，把末端执行器移动到目标位置，这个环境简单、状态维度低、训练速度快，非常适合验证HER逻辑是否跑通。FetchPush稍复杂一点，机械臂要把一个方块推到指定位置，涉及物体接触和推动动力学，能检验HER在稍微复杂的状态变化下是否依然有效，但又不至于难到让人崩溃。这两个环境都内置了稀疏奖励设置和goal信息，环境返回的observation里会同时包含当前状态、期望目标和实际达到目标（achieved goal），这正好是HER重标注时必不可少的三件套。我当时用CPU跑FetchReach大概一晚上就能看到明显效果，用单个GPU跑FetchPush也只要大半天，实验周期完全可控。

3.2 代码骨架设计：四个模块一个都不能少

要实现一个完整的HER训练流程，代码上至少分成四个模块：DDPG或SAC类的Actor-Critic网络、经验池存储结构、goal重标注逻辑、训练主循环。我用的算法是DDPG，它是连续控制任务里的经典选择，和HER搭配很自然，因为OpenAI论文里用的也是DDPG。网络结构上，Actor接收状态和目标的拼接向量，输出连续动作；Critic同样接收状态、目标和动作，输出Q值；另外还需要目标网络（target network）来稳定训练。

经验池存储结构是HER的一个微妙之处。普通的transition只有四个字段，而HER版本的transition字段要多两个：一个是original_goal，一个是achieved_goal。original_goal用于回放时替代当前step的给定目标，achieved_goal则用于计算重标注后的新奖励。存储时你可能还会额外存一个episode编号或者时间步索引，方便future策略在同一episode内随机采样未来状态。没有这个索引，future策略就无法定位“未来某个时刻的实际状态”，代码实现很容易出错。

训练主循环的流程大致是：智能体在环境中执行当前策略，收集一个完整episode的数据；episode结束后，遍历这条轨迹中的每一个transition，按照你选定的重标注策略生成新的目标，并重新计算奖励；将原始样本和重标注后的样本一起存入经验池；然后从经验池随机采样mini-batch去更新Actor和Critic网络。这个“先跑完一个episode再重标注再回放”的流程，是HER区别于普通强化学习实现的最大不同点。

3.3 核心代码：目标重标注这一段的完整实现

重标注逻辑是整个项目里最核心的一段代码，我当时在这个地方反复改了好几版才写得干净。下面这个版本基于future策略做了简化，是我实际调试过的思路，你可以直接参考：

def relabel_future(transition, achieved_goals, strategy='future'): obs, act, reward, next_obs, done = transition original_goal = transition['goal'] achieved_goal = transition['achieved_goal'] if strategy == 'final': new_goal = achieved_goals[-1].copy() elif strategy == 'future': # 从当前时刻之后随机选一个状态作为新目标 future_idx = np.random.randint(transition['episode_step'] + 1, len(achieved_goals)) new_goal = achieved_goals[future_idx].copy() else: new_goal = original_goal.copy() # 根据新目标重新计算奖励 new_reward = compute_sparse_reward(achieved_goal, new_goal) return { 'obs': obs, 'act': act, 'reward': new_reward, 'next_obs': next_obs, 'done': done, 'goal': new_goal, 'achieved_goal': achieved_goal, } def compute_sparse_reward(achieved, goal, threshold=0.05): # 距离小于阈值返回0，否则返回-1 dist = np.linalg.norm(achieved - goal) return 0.0 if dist < threshold else -1.0

这里有个特别容易被新手忽略的细节：重标注的时候，你只替换了transition里的goal和新计算的reward，但是obs和next_obs都不动。obs里如果包含原始goal信息（很多环境会这么做），那么你还得手动把obs里的goal部分替换成new_goal，否则网络输入和奖励对不上，模型学到的就是一个错误的映射。我第一版实现就是漏了这一步，结果训练的时候Q值一直乱跳，成功率上不去，排查了半天才发现。

另外，compute_sparse_reward里还有一个奖励缩放（reward_scale）参数。在DDPG实现里，常见做法是把稀疏奖励乘以一个缩放系数，比如reward_scale=0.1或者1.0。这个参数会直接影响Critic学习梯度的幅度。我试下来，如果奖励幅度太大，Critic的Q值会剧烈波动，训练不稳定；如果太小，梯度又太微弱，更新几乎不生效。建议你先用1.0跑通，再看loss稳定性调整，很多人和我一样最后停在0.1到1.0之间的某个值。

3.4 超参数清单与我的调参记录

HER本身的改动不大，但它依赖的那些基础超参数，在稀疏奖励场景下变得异常敏感，不值得随手抄别人一个数值就跑。我把实际调参过程中认为最值得关注的若干参数整理成一张表，并附上我的经验值：

这些数值不是我拍脑袋给的，全是实验记录里的实际取值。有一个现象值得一提：HER对batch size的要求比普通RL高，因为它生成的样本中很多“新目标”之间存在相关性，如果batch太小，会频繁抽到同一episode里的相似样本，更新方向很可能跑偏。我一开始用128训练FetchPush，曲线一直抖，后来batch调到256，训练稳定了很多。

3.5 实验对比：有HER和没有HER的差距有多大

为了验证HER到底带来多少提升，我在FetchReach和FetchPush两个环境上各做了对照实验：一组在DDPG基础上直接加HER，另一组用普通DDPG但保持其他超参数完全一致。结果非常直观：

普通DDPG在FetchReach上运气好能到30%左右，但FetchPush就几乎完全学不动，50万步时成功率只有5%。加上HER之后，FetchReach在20万步内就基本收敛，FetchPush也能在100万步时逼近85%以上。这种差距不是“调参调一调就能拉平”的，而是学习信号本身的缺失导致普通RL在稀疏奖励场景下几乎不工作。还有一个有趣的现象：HER在训练初期（前几万步）提升不明显，因为最早的几万个样本还没有累积足够多样化的achieved_goal，经验池里可重标注的素材太少；一旦跑出一定量的轨迹，成功率曲线就会突然抬头，这个“突然抬头”出现的时间点，和未来策略采样到的目标多样性高度相关。

4. 踩坑实录与训练调试技巧

4.1 问题一：重标注后状态和目标不一致

这是我在实现HER时踩到的第一个大坑。前面提到，很多环境返回的observation实际上是一个字典，里面包含observation、achieved_goal、desired_goal三部分。你重标注的时候把desired_goal替换成了new_goal，但如果不小心把achieved_goal也当成普通字段一起改了，或者没把observation里内嵌的goal向量同步替换，那就会出现“网络输入说的是目标A，奖励函数算的是目标B”的错位。这种错位造成的Q值乱跳很有迷惑性，因为它不影响代码运行，只影响学习效果。

排查方式很简单：你在训练循环外单独写一个测试函数，对一条transition做重标注，然后打印出重标注前后的obs、goal、reward，人眼检查一遍是否自洽。我自己后来写代码时都会加一条断言，如果obs里有goal字段，就强制同步替换obs中的目标维度，保证三者一致。这种细节看起来微不足道，但能省掉整整一周的排查时间。

4.2 问题二：网络不收敛，Q值loss爆炸

加了HER之后依然有可能遇到loss爆炸，这时候不能全怪HER，要看看基础组件是否完善。我在调试时发现，稀疏奖励环境下Critic的loss特别容易突然飙升到几千甚至上万的量级，原因通常是奖励没有做合理的缩放或者范围控制。DDPG里的Q值更新公式是贝尔曼方程的样本估计，如果奖励的绝对数值大，Q值目标也会大，进而梯度就会非常大，网络参数一轮更新就被推飞。

解决的路径通常是三层阶梯：先给奖励乘以一个缩放系数（比如0.1）控制量级；然后给Critic输出做clip或者给梯度做clip，torch里直接用torch.nn.utils.clip_grad_norm_就行，max_norm设在0.5到1.0之间；最后检查全连接层的初始化，如果用的是He初始化配合ReLU问题不大，但有人改成Xavier初始化后会明显不稳。这三层做齐，loss爆炸基本能压下来。

4.3 问题三：探索噪声和策略更新节奏如何配合

HER解决了“奖励稀疏”的问题，但没有直接解决“探索效率”的问题。如果你在训练初期使用的噪声太小，智能体只会在一个小区域里打转，achieved_goal的多样性很低，HER重标注出来的新目标也都集中在很小的区域，样本多样性不够，学习效果自然差。反过来，如果噪声一直太大，训练后期策略已经接近最优，还在疯狂乱抖，成功率就会在某个高点附近来回震荡。

我的做法是设置一个探索噪声的退火计划。前10万步保持高斯噪声标准差在0.2左右，10万步之后线性衰减到0.05，20万步后固定。这样前期保证探索的广度，让agent访问到足够多样的状态作为HER的“材料”；后期保证利用的精度，把已有技能打磨稳定。同样要注意的是，噪声的标准差应该和环境动作的量级相匹配，如果Fetch环境里动作范围是[-1,1]，标准差0.2是一个比较合理的初始值；如果你换到别的环境，一定要先打印动作边界再定噪声。

4.4 学会看学习曲线：哪些曲线是“虚火”

很多人训练完只看一个指标——成功率，但只看成功率会错过非常多重要的调试信号。在HER训练中，我最关注的曲线有四个：平均回报、成功率、Critic的Q值均值，还有Bellman误差（即TD-error）。四个曲线的组合能告诉你很多隐藏信息。

比如Q值均值一直在上涨，但成功率纹丝不动，这说明模型学到的价值函数过于乐观，在“虚拟目标”上表现得很好，但并没有迁移到真实目标上。这种“虚火”往往意味着你的目标分布和真实任务目标分布差异太大，要么是future采样范围过于集中在近期状态，要么是单调的一个episode里状态本来就千篇一律。遇到这种情况，我一般会调整future采样的区间，让它更多采样距离当前step较远、但依然属于同一episode的状态，人为拉大“新目标”的分布覆盖范围。反过来，如果Bellman误差一直在高位徘徊下不去，说明Q值的自举估计还不稳定，此时优先考虑调大batch size、降低学习率或调整tau。

4.5 一个隐藏细节：reward_scale和threshold的联动

最后分享一个非常容易忽略的隐藏细节：稀疏奖励函数里的threshold（距离阈值）和reward_scale是联动的，不能单独调一个不调另一个。如果你的threshold设得比较大，那么重标注后大量样本都会被判定为“达成目标”，奖励不再稀疏，这时候reward_scale如果还很大，整个训练的奖励信号会变得几乎没有区分度，模型学起来也会变慢。相反，threshold太小，真正触发的奖励信号少得可怜，HER的功效又发挥不出来。

我的建议是：先定threshold，这个本质上由环境任务精度决定，你可以观察一下环境里最终成功了判定距离是多少；然后再根据训练曲线调节reward_scale。FetchReach这类简单任务，精度要求高一点没关系；FetchPush这种带物体滑动动力学的任务，建议threshold稍微放大一点，给模型更多的正反馈“甜头”。

5. 一些工具层面的配套建议

5.1 用向量化环境加速训练

HER虽然提升了样本效率，但它依然需要大量的环境交互。我在实验过程中有一个很深的体会：与其在算法里抠那一点效率，不如先把环境交互的速度提上去。使用向量化环境，比如同时开8个或16个环境并行收集episode，训练总时长能缩短七八倍。原因很好理解，HER的future重标注需要完整episode结束才能进行，如果我们只有单环境串行采样，episode期间的等待时间会让GPU出现大量空转；向量化环境则能在每个环境探索的同时，让训练循环持续不断有完整episode产出。

我自己习惯采用异步采样、同步训练的模式：用一个采样进程池跑环境，主进程负责重标注和网络更新。这样做的工程量稍微大一点，但效果显著，尤其在FetchPush这类稍复杂任务里，单环境训练我可能要跑两天，换成16环境并行后，大半天就能完成。

5.2 保存并分析重标注样本的分布

调试HER时还有一个好习惯值得养成：定期把经验池里重标注后的目标分布打印出来，比如做个简单的直方图或者t-SNE可视化。刚开始训练的时候，重标注目标会集中在初始状态附近，随着探索范围扩大，分布会逐渐铺开。如果你看到分布一直集中在一个很小的区域，说明探索还是不够，需要增大噪声或者调整采样策略。

这个经验我当时是从一个老工程师那里学到的。他说了一句让我印象深刻的话：“你不需要读算法的论文来猜问题，你只需要看数据到底是怎么样分布的。”这确实比盯着loss曲线瞎猜高效多了。如果你也遇到HER训练后期提升缓慢，不妨导出重标注后的目标分布，看看是否已经覆盖了任务目标附近的区域。

6. 写在最后的实战心得

如果让我从这几个月的实操经历里提炼一个最有价值的个人体会，那大概就是：HER最打动我的地方，不是它有多么精妙的数学推导，而是它把人类面对失败时那种“换个角度看待经验”的能力，第一次变成了一个可以写进代码里的通用技巧。过去我们训练强化学习智能体，总是默认它应该只从成功中学习，但现实中人类学习新技能的时候，失败中的反馈信息量往往比成功更大。HER恰恰是把这部分被浪费掉的信息重新利用了起来。

至于为什么这个算法到今天依然是很多机器人操作项目的标配，我认为原因在于它解决的是强化学习里最根本的一类困境：奖励信号太稀疏。这个问题不会随着网络结构的进步而自动消失，反而在越复杂的任务中越发突出。即便你的环境不是那种标准的目标条件任务，只要你愿意把任务重新表述成goal-conditioned的形式，HER就能派上用场。

最后再送大家一个小技巧：在实际工程中，把目标空间做一下归一化往往能显著提升稳定性。如果你直接用原始坐标作为目标，不同维度的尺度差异会导致距离计算和奖励判定的结果偏斜。把目标向量减均值除以标准差之后再喂给网络，和observation一起拼接，是我试过最能稳定训练曲线的做法。至于后续的扩展方向，把HER与自动课程学习或者Hindsight Goal Generation结合起来做，理论上还能在现有基础上再进一步，这也是我自己准备接下来继续尝试的方向。