1. 从一次 PRM 打分失败说起：OpenClaw-RL 源码阅读里最容易卡住的环节

如果你正在读 OpenClaw-RL 的源码，大概率会在 PRM 这一层停下来。原因不复杂：这个项目里叫 "PRM" 的东西，跟教科书上的 Process Reward Model 不是一回事。它本质是一个 zero-shot LLM Judge，用同族模型（Qwen3）通过 prompt 对整条 response 打\boxed{1}/\boxed{0}/\boxed{-1}，再做 majority vote 降噪。理解这一点之后，源码里那些_build_prm_judge_prompt、_majority_vote、at-least-one guarantee的写法就顺了。

但真正让人卡住的不是概念，是环境。OpenClaw-RL 的 PRM Server 是一个独立的 SGLangRouter 进程，Policy Server 是另一个 FastAPI 服务，两者通过 HTTP 通信。你在本地想跑通一次 PRM 打分链路，需要同时把 Judge 模型的推理端点、Policy 侧的调用地址、以及训练脚本里的模型 ID 对齐。任何一处不一致，就会看到local proxy failed或者reading choices这类报错。

这篇笔记的目标很具体：在源码阅读的过程中，用 TaoToken 统一 Key/API 通道把本地 PRM 打分链路跑通一次。你会拿到可复制的 settings 配置片段、Base URL 写法、Model ID 对照，以及从_prm_evaluate到_majority_vote的完整验证步骤。适合已经在读 OpenClaw-RL 源码、想动手验证 PRM 模块行为的人。

先说清楚 TaoToken 在这里扮演什么角色。它是一个统一的模型 API 通道，把不同厂商的模型收敛到同一个 Base URL 和同一套 Key 体系下。对 OpenClaw-RL 这种需要同时调用 Judge 模型和 Policy 模型的框架来说，好处是你不用为每个模型单独维护 endpoint 和鉴权。官网入口在 https://taotoken.net/?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，API 根地址是 https://taotoken.net/api 。

我试过在本地把 PRM Judge 指向 TaoToken 的通道，然后用一个最小的 Python 脚本模拟_prm_evaluate的调用，确认返回的\boxed{}能被正确解析。下面把整个过程拆开写。

2. TaoToken 前置准备：Key、Base URL 与 PRM Judge 模型选型

在动 OpenClaw-RL 的代码之前，先把 TaoToken 侧的三个东西准备好：API Key、Base URL、以及你要用作 PRM Judge 的 Model ID。这三样东西后面会同时出现在 settings 配置和源码里的self._prm_url调用中。

2.1 获取 API Key 与确认 Base URL

登录 TaoToken 控制台后，在 API Keys 页面创建一个新的 Key。这个 Key 是后续所有请求的鉴权凭证。控制台地址是 https://taotoken.net/console?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= ，API Keys 管理页在 https://taotoken.net/api-keys?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。

创建完成后，你会拿到一串以sk-开头的字符串。把它存到环境变量里，不要硬编码进源码：

export TAOTOKEN_API_KEY="sk-你的实际Key" export TAOTOKEN_BASE_URL="https://taotoken.net/api"

注意 Base URL 是https://taotoken.net/api，不带任何路径后缀。OpenClaw-RL 里 SGLang 的调用习惯是往 Base URL 后面拼/v1/chat/completions，所以你在配置里填的应该是根地址，让框架自己去拼路径。这一点如果搞反了，会直接导致 404。

2.2 PRM Judge 的 Model ID 怎么选

OpenClaw-RL 源码里 PRM 用的是同族 Qwen3 模型做 zero-shot 评分。你在 TaoToken 通道下选 Model ID 时，要选一个指令跟随能力足够强、能稳定输出\boxed{}格式的模型。因为 PRM 的 prompt 里明确要求 "give your final score inside \boxed{}"，模型如果格式跟随不好，解析就会失败。

在 TaoToken 的模型列表里确认你要用的 Model ID。常见的做法是选一个中等规模的指令模型作为 Judge，因为 PRM 每个 turn 要跑 m=3 次投票，成本是 Policy 推理的三倍。Model ID 的准确字符串以控制台模型列表为准，不要凭记忆写。

你可以先用模型对话页面快速验证一下模型能不能按格式输出。对话入口在 https://taotoken.net/chat?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。把 PRM 的 system prompt 贴进去，看它是否返回带\boxed{1}的回复。这一步花两分钟，能省掉后面半小时的解析调试。

2.3 三件套对照表

把下面这张表填好，后面配置时直接抄：

这三件套在 OpenClaw-RL 里会出现在两个地方：一是 Policy Server 转发请求时的上游地址，二是 PRM Server 自己作为 Judge 被调用时的模型参数。如果你用的是 CC Switch 或 Cline MCP 这类工具来管理多模型配置，也要把这三个值填进对应的 provider 配置里。

3. 可复制配置：settings 片段与 PRM 调用参数对齐

这一节给你可以直接复制的配置片段。OpenClaw-RL 的配置分散在几个地方：训练脚本的环境变量、SGLangRouter 的启动参数、以及 Policy Server 的上游地址。我们逐个对齐。

3.1 环境变量配置片段

在训练脚本的启动环境里，把 PRM 相关的变量指向 TaoToken 通道。下面是一个可复制的 shell 片段：

# TaoToken 统一通道 export TAOTOKEN_API_KEY="sk-你的实际Key" export TAOTOKEN_BASE_URL="https://taotoken.net/api" # PRM Judge 配置（对应源码里的 self._prm_url 与 PRM_MODEL_PATH） export PRM_BASE_URL="${TAOTOKEN_BASE_URL}" export PRM_API_KEY="${TAOTOKEN_API_KEY}" export PRM_MODEL_ID="你在控制台确认的Model ID" export PRM_M=3 # Policy Server 上游（对应 openclaw_opd_api_server.py 的转发目标） export POLICY_UPSTREAM_BASE_URL="${TAOTOKEN_BASE_URL}" export POLICY_UPSTREAM_API_KEY="${TAOTOKEN_API_KEY}" export POLICY_MODEL_ID="你的Policy模型ID" # 服务端口 export HOST="0.0.0.0" export PORT="30000"

这里的关键是PRM_BASE_URL和POLICY_UPSTREAM_BASE_URL都指向同一个 TaoToken 根地址。OpenClaw-RL 的架构里，PRM Server 和 Policy Server 是两个独立进程，但它们可以共用同一个上游通道，只是用的 Model ID 不同。

3.2 JSON 格式的 provider 配置

如果你用 CC Switch 或类似的配置管理工具，下面是一个 JSON 片段，把 TaoToken 作为一个 provider 注册进去：

{ "providers": { "taotoken": { "base_url": "https://taotoken.net/api", "api_key": "${TAOTOKEN_API_KEY}", "models": { "prm_judge": "你在控制台确认的Judge模型ID", "policy": "你的Policy模型ID" } } }, "prm": { "provider": "taotoken", "model": "prm_judge", "majority_vote_m": 3, "timeout_seconds": 60 } }

这个片段里的base_url和api_key就是三件套里的前两件，model字段对应第三件。majority_vote_m对应源码里的PRM_M=3。

3.3 TOML 格式（如果你用 Codex 风格的配置）

有些工具链用 TOML 管理配置。下面是对应的写法：

[providers.taotoken] base_url = "https://taotoken.net/api" api_key = "${TAOTOKEN_API_KEY}" [prm] provider = "taotoken" model = "你在控制台确认的Judge模型ID" majority_vote_m = 3 [policy] provider = "taotoken" model = "你的Policy模型ID"

3.4 源码里self._prm_url的对齐

OpenClaw-RL 的openclaw_api_server.py里，PRM 调用是通过self._prm_url发起的。你需要确保这个 URL 的构造方式跟你的配置一致。源码里通常是这样的模式：

# 源码中的调用模式（示意） self._prm_url = f"{PRM_BASE_URL}/v1/chat/completions" headers = {"Authorization": f"Bearer {PRM_API_KEY}"} payload = { "model": PRM_MODEL_ID, "messages": _build_prm_judge_prompt(response_text, ns_text, ns_role), "temperature": 0.7, "max_tokens": 512, }

注意temperature这里不是 0。源码里 PRM 的随机性是有意保留的，因为后面要靠 majority vote 降噪。如果你把 temperature 设成 0，三次投票结果会完全一样，majority vote 就失去意义了。

_build_prm_judge_prompt返回的是一个 messages 列表，里面包含 system prompt 和 user prompt。system prompt 里写明了评分规则，user prompt 里放了response_text和next_state_text。这个结构跟 OpenAI 兼容的 chat completions 格式一致，所以直接指向 TaoToken 的/v1/chat/completions就能用。

3.5 一个容易忽略的点：next_state_role

源码里_build_prm_judge_prompt的签名是(response_text, next_state_text, next_state_role)。next_state_role有两个取值：user和tool。这个参数会拼进 user prompt 里，告诉 Judge 这条 next_state 是用户回复还是工具返回值。如果你在本地构造测试数据时忘了传这个参数，Judge 的评分依据会不完整，可能给出偏中性的分数。

在配置层面，这个参数不需要你设置，它是运行时从对话历史里推断的。但你在写验证脚本时要手动指定，否则测出来的分数不能反映真实行为。

4. 验证请求：跑通一次 PRM 打分链路

配置对齐之后，下一步是实际发一次请求，确认 PRM 打分链路能跑通。我们分两步：先用 curl 直接打 TaoToken 通道，确认鉴权和模型可用；再用 Python 模拟_prm_evaluate的完整流程，包括 majority vote。

4.1 用 curl 验证通道连通性

先构造一个最小的 PRM 评分请求。下面这个 curl 命令模拟了 Judge 收到一条 response 和一条 next_state 后的评分过程：

curl -s https://taotoken.net/api/v1/chat/completions \ -H "Authorization: Bearer ${TAOTOKEN_API_KEY}" \ -H "Content-Type: application/json" \ -d '{ "model": "'"${PRM_MODEL_ID}"'", "messages": [ { "role": "system", "content": "You are a process reward model (PRM) evaluating an AI assistant. Decide whether the assistant output successfully fulfilled the user intent, using the next state as evidence. Scoring rules: boxed{1} good, boxed{-1} bad, boxed{0} neutral. Think step-by-step, then give your final score inside boxed{}." }, { "role": "user", "content": "## Assistant response (turn t)\nThe square root of 1764 is 42.\n\n## Next state (turn t+1) [role: user]\nGreat, that is correct. Can you also compute the square root of 2025?\n\nNow output your decision." } ], "temperature": 0.7, "max_tokens": 512 }'

如果通道正常，你会拿到一个 JSON 响应，choices[0].message.content里应该包含\boxed{1}。这一步验证了三件事：Key 有效、Base URL 正确、Model ID 存在。

如果返回 401，说明 Key 没传对或者过期了。如果返回 404，大概率是 Base URL 多写了或漏写了路径。如果返回的 content 里没有\boxed{}，说明模型格式跟随不好，换一个 Model ID 试试。

4.2 用 Python 模拟_prm_evaluate与 majority vote

curl 通了之后，写一个 Python 脚本，完整模拟源码里的评分流程。这个脚本会调用三次 Judge，然后做 majority vote：

import os import re from collections import Counter import requests BASE_URL = os.environ["TAOTOKEN_BASE_URL"] API_KEY = os.environ["TAOTOKEN_API_KEY"] MODEL_ID = os.environ["PRM_MODEL_ID"] PRM_M = int(os.environ.get("PRM_M", "3")) def build_prm_judge_prompt(response_text, next_state_text, next_state_role="user"): system = ( "You are a process reward model (PRM) evaluating an AI assistant. " "Decide whether the assistant output successfully fulfilled the user intent, " "using the next state as evidence. " "Scoring rules: boxed{1} good, boxed{-1} bad, boxed{0} neutral. " "Think step-by-step, then give your final score inside boxed{}." ) user = ( f"## Assistant response (turn t)\n{response_text}\n\n" f"## Next state (turn t+1) [role: {next_state_role}]\n{next_state_text}\n\n" "Now output your decision." ) return [{"role": "system", "content": system}, {"role": "user", "content": user}] def query_judge_once(messages): resp = requests.post( f"{BASE_URL}/v1/chat/completions", headers={"Authorization": f"Bearer {API_KEY}"}, json={ "model": MODEL_ID, "messages": messages, "temperature": 0.7, "max_tokens": 512, }, timeout=60, ) resp.raise_for_status() content = resp.json()["choices"][0]["message"]["content"] match = re.search(r"\\boxed\{(-?[01])\}", content) if not match: return None return int(match.group(1)) def majority_vote(scores): valid = [s for s in scores if s is not None] if not valid: return 0.0 counter = Counter(valid) top = counter.most_common(1)[0] if list(counter.values()).count(top[1]) > 1: return 0.0 return float(top[0]) def prm_evaluate(response_text, next_state_text, next_state_role="user"): messages = build_prm_judge_prompt(response_text, next_state_text, next_state_role) scores = [query_judge_once(messages) for _ in range(PRM_M)] return majority_vote(scores), scores if __name__ == "__main__": score, raw = prm_evaluate( response_text="The square root of 1764 is 42.", next_state_text="Great, that is correct. Can you also compute the square root of 2025?", next_state_role="user", ) print(f"raw scores: {raw}") print(f"final score: {score}")

这个脚本里的majority_vote函数跟源码里的_majority_vote逻辑一致：过滤 None，取众数，平票返回 0.0。prm_evaluate对应源码里的_prm_evaluate，内部调用_query_judge_once三次。

4.3 预期结果与解读

跑通之后，你会看到类似这样的输出：

raw scores: [1, 1, 1] final score: 1.0

或者：

raw scores: [1, 1, -1] final score: 1.0

如果三次投票结果不一致，比如[1, -1, 0]，最终分数会是 0.0，对应源码里的平票保守策略。这个行为在训练时意味着这个 turn 的loss_mask会被设为 0，不参与梯度更新。

你可以改一下response_text，故意给一个错误答案，比如 "The square root of 1764 is 43."，看 Judge 是否给出 -1。这一步能验证 Judge 的判别能力是否符合预期。

4.4 验证 at-least-one guarantee

源码里有一个特殊逻辑：当一个 session 的所有 turn 评分都是 0 时，强制把第一条被评估的 turn 的loss_mask设为 1。你可以在脚本里模拟这个场景：连续构造几条中性反馈，看最终是否有至少一条样本被保留。

这个逻辑在源码里的位置是_submit_turn_sample()，核心判断是self._session_effective.get(session_id, 0) == 0。你不需要在验证脚本里完全复现，但要知道它的存在，因为调试训练信号消失问题时，这个保底机制是第一个要检查的点。

5. 常见报错排查：401、local proxy failed、reading choices、OAuth

这一节对照真实报错，给出排查路径。这些报错是 OpenClaw-RL 本地配置时最常遇到的。

5.1 401 Unauthorized

报错长这样：

{"error": {"message": "Invalid API key", "type": "invalid_request_error"}}

原因通常是 Key 没传对。检查三处：环境变量TAOTOKEN_API_KEY是否导出成功、请求头里的Authorization是否是Bearer sk-...格式、Key 是否在控制台被禁用或删除。

一个容易忽略的点：如果你在 shell 里export了 Key，但在另一个终端窗口跑脚本，那个窗口是拿不到这个环境变量的。用echo $TAOTOKEN_API_KEY确认一下。

5.2 local proxy failed

报错长这样：

local proxy failed: connection refused

这个报错通常出现在 Policy Server 转发请求到上游时。OpenClaw-RL 的 Policy Server 监听 30000 端口，它会把请求转发到POLICY_UPSTREAM_BASE_URL。如果这个地址填的是localhost或某个不存在的端口，就会 connection refused。

检查POLICY_UPSTREAM_BASE_URL是否指向https://taotoken.net/api。如果你之前把它填成了本地 SGLang 的地址（比如http://localhost:8000），改成 TaoToken 的根地址。

另一个可能：你的本地网络环境对taotoken.net的解析有问题。用curl -v https://taotoken.net/api/v1/chat/completions看一下连接过程，确认 DNS 解析和 TLS 握手正常。

5.3 reading choices 相关报错

报错长这样：

KeyError: 'choices'

或者：

IndexError: list index out of range

这个报错说明响应 JSON 里没有choices字段，或者choices是空列表。原因通常是上游返回了一个错误响应，但你的代码直接去取choices[0]了。

排查方法：在解析响应之前，先把原始响应打出来。在query_judge_once里加一行print(resp.text)，看上游到底返回了什么。常见的情况是返回了{"error": ...}，但代码没检查resp.status_code就直接解析。

源码里的_query_judge_once有对响应的校验逻辑，你在本地复现时要确保这部分没被跳过。

5.4 OAuth 相关报错

报错长这样：

OAuth token expired

或者：

invalid_grant

如果你用的是 Codex 风格的auth.json来管理凭证，可能会遇到这个。auth.json里的 token 有过期时间，过期后需要刷新。检查你的auth.json里expires_at字段是否已经过了当前时间。

如果你同时用 TaoToken 的 API Key 和某个 OAuth 凭证，确认请求走的是哪条路径。OpenClaw-RL 的 PRM 调用应该走 API Key 路径，不走 OAuth。如果配置里混了，把 OAuth 相关的字段清掉，只保留base_url、api_key、model三件套。

5.5 报错对照表

5.6 一个隐蔽的坑：temperature 与投票

如果你把 PRM 的temperature设成 0，三次投票会返回完全一样的结果。这时候 majority vote 看起来"总是通过"，但实际上没有起到降噪作用。源码里默认 temperature 是大于 0 的，你在配置时不要为了"稳定"把它改成 0。

反过来，如果 temperature 太高（比如 1.5），三次投票可能给出三个不同结果，最终平票返回 0.0，导致大量样本被丢弃。建议保持在 0.7 左右，跟源码默认值对齐。

6. 继续深入：从 PRM 打分到 OPD 与 Combine 的配置延伸

跑通 PRM 打分链路之后，你可以沿着源码继续往下读。OpenClaw-RL 的 PRM 在两个分支里扮演不同角色：Binary RL 分支里它是评分员，输出 ±1/0 直接作为 reward；OPD 分支里它是 hint 提取器，输出[HINT_START]...[HINT_END]文本，再喂给 teacher 做 forward pass。

如果你要验证 OPD 分支，需要额外配置 teacher 模型的调用。teacher 也可以走 TaoToken 通道，只是 Model ID 换成 teacher 对应的模型。配置结构跟 PRM 一样，三件套对齐即可。

Combine 分支则是同时跑两条路径：同一个 turn 并发发起 PRM eval 和 hint judge 两种 prompt，分别决定是否发 RL 样本和 OPD 样本。这时候你的 TaoToken 通道会同时承载 Judge 调用和 teacher 调用，注意并发量和超时设置。

对于长期跑编码或 Agent 任务的场景，可以考虑用 Coding Plan 来管理调用配额，入口在 https://taotoken.net/coding-plan?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 。如果你的验证脚本需要频繁调用模型，接入文档在 https://taotoken.net/doc?utm_source=taotoken_aicg_blog_end&utm_medium=csdn&utm_campaign=rewrite&utm_content= 有更详细的参数说明。

最后留一个实用技巧：在本地调试 PRM 时，把每次 Judge 的原始响应写到日志文件里，包括response_text、next_state_text、raw_scores、final_score。这样当你发现某个 turn 的评分不符合预期时，可以回溯到具体的 Judge 输出，看是 prompt 构造问题还是模型判断问题。这个日志在源码里没有现成的，需要你自己在_query_judge_once外面包一层。