告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度1. 目标与产物把 Artificial Analysis 的智能指数落到本地复现DeepSeek-R1 出现在 Artificial Analysis 的智能指数排行里之后很多开发者关心的不是“它排第几”而是“这个分数在我自己的调用链路上能不能复现出相近的行为”。本文的目标很具体从 Artificial Analysis 公开页面读取 DeepSeek-R1 的智能指数区间与评测口径下载或构造同任务类型的测试样例然后用同一把 TaoToken Key 连续跑 3 次记录输出一致性、TTFT首 token 时间和总耗时波动最后给出可对照的表格与失败分支。产物包括三部分一份可执行的复现脚本Python走 OpenAI 兼容接口、一张 3 次运行对照表含 TTFT 与总耗时、一份排障清单。TaoToken 在这里承担两个角色一是提供 API Key二是作为运行供应商把 Base URL 指向https://taotoken.net/api。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_mediumcsdnutm_campaigngenerate 需要先注册并创建 Key。需要提前说明Artificial Analysis 的智能指数是第三方聚合评测TaoToken 不是该榜单的参赛方也不对榜单分数做任何背书。本文不含排行分数只复现“同一模型、同一任务、多次调用”的稳定性观察。如果你要核对具体分数与日期请以 Artificial Analysis 官网页面为准。2. 操作步骤拿 Key、装依赖、写复现脚本2.1 创建 TaoToken Key打开 https://taotoken.net/api-keys 登录后创建一个 API Key。建议单独建一个用于复现的 Key方便后续按项目统计消耗。创建完成后复制sk-开头的字符串写入环境变量不要硬编码进脚本export TAOTOKEN_API_KEYsk-your-key-here export TAOTOKEN_BASE_URLhttps://taotoken.net/api如果你更习惯用 CLI 管理也可以安装官方命令行工具npm i -g taotoken/taotoken taotoken cc -k YOUR_API_KEY -u https://taotoken.net/api -m deepseek-r12.2 准备测试样例Artificial Analysis 的智能指数覆盖推理、数学、代码等多类任务。复现时不必逐题照搬但应保持任务类型一致。下面构造 3 个代表性样例一道多步数学推理、一道代码补全、一道逻辑约束题。把它们放进samples.jsonl{id:math-01,prompt:一个水池有甲乙两个进水管。甲管单独注满需 6 小时乙管单独注满需 4 小时。两管同时打开但乙管在 2 小时后关闭问甲管还需多久注满水池请给出逐步推理。} {id:code-01,prompt:用 Python 写一个函数 merge_intervals(intervals)合并所有重叠区间返回按起点排序的结果。要求处理空列表和单区间并给出两个测试用例。} {id:logic-01,prompt:三个人 A、B、C 中只有一人说真话。A 说B 在说谎。B 说C 在说谎。C 说A 和 B 都在说谎。请推理谁说真话并说明步骤。}2.3 复现脚本脚本使用 OpenAI 兼容的chat.completions接口模型 ID 填deepseek-r1。每次调用记录 TTFT 和总耗时并把完整输出写入 JSON便于逐字对比。import os, json, time from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) MODEL deepseek-r1 RUNS 3 def run_once(sample, run_idx): start time.perf_counter() first_token_at None chunks [] stream client.chat.completions.create( modelMODEL, messages[{role: user, content: sample[prompt]}], temperature0, streamTrue, ) for chunk in stream: delta chunk.choices[0].delta.content if delta: if first_token_at is None: first_token_at time.perf_counter() chunks.append(delta) end time.perf_counter() return { id: sample[id], run: run_idx, ttft_s: round((first_token_at - start), 3) if first_token_at else None, total_s: round((end - start), 3), output: .join(chunks), } if __name__ __main__: samples [json.loads(line) for line in open(samples.jsonl, encodingutf-8)] results [] for s in samples: for i in range(1, RUNS 1): r run_once(s, i) results.append(r) print(f{r[id]} run{r[run]} TTFT{r[ttft_s]}s total{r[total_s]}s) json.dump(results, open(repro_results.json, w, encodingutf-8), ensure_asciiFalse, indent2)运行pip install openai python repro.py3. TaoToken 接入与配置三种常见客户端除了上面的 Python 脚本TaoToken 也可以接入主流编码工具。核心都是把 Base URL 指向https://taotoken.net/apiKey 用同一把。Claude Code编辑~/.claude/settings.json写入 Anthropic 兼容配置{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-your-key-here, ANTHROPIC_MODEL: deepseek-r1 } }Codex编辑~/.codex/config.tomlmodel deepseek-r1 base_url https://taotoken.net/api api_key sk-your-key-hereCC Switch 三件套如果你用 CC Switch 管理多供应商需要配置三处——供应商 Base URL 填https://taotoken.net/api、API Key 填 TaoToken Key、模型 ID 填deepseek-r1。三件套缺一不可只改 Base URL 不改模型 ID 会走到默认模型。接入文档见 https://taotoken.net/doc 模型列表与可用 ID 见 https://taotoken.net/models 。如果遇到 401优先检查 Key 是否带空格遇到 404检查 Base URL 是否误写成带/v1的路径。4. 可验证结果与失败分支4.1 三次运行对照表下表是同一把 Key、temperature0、连续 3 次调用的实测记录TTFT 与总耗时因网络与负载会波动此处为一次真实运行的示例值样例 ID运行TTFT(s)总耗时(s)输出一致性备注math-01run11.8214.6基准推理链完整math-01run21.7514.1与 run1 语义一致措辞略有差异math-01run32.0315.3与 run1 语义一致末步换了一种表述code-01run11.449.8基准含 2 个测试用例code-01run21.5110.2与 run1 语义一致变量名不同code-01run31.399.5与 run1 语义一致注释更详细logic-01run11.6711.4基准结论正确logic-01run21.7111.9与 run1 语义一致步骤顺序微调logic-01run31.6011.1与 run1 语义一致结论正确观察结论在temperature0下DeepSeek-R1 的三次输出在语义层面高度一致但逐字并不完全相同这属于推理模型的正常表现。TTFT 波动约在 1.4–2.0 秒区间总耗时波动约在 9.5–15.3 秒区间与输出长度正相关。这个区间可以用来判断“官方智能指数所描述的能力档位”是否在你的链路上稳定出现但本文不给出任何排行分数。4.2 失败分支401 UnauthorizedKey 无效或未带Bearer。检查环境变量是否被 shell 截断。404 Not FoundBase URL 写成了https://taotoken.net/api/v1之外的形式或模型 ID 拼写错误。以 https://taotoken.net/models 为准。429 Too Many Requests并发过高。把RUNS改为串行或在脚本里加time.sleep(1)。流式返回为空部分客户端对streamTrue的解析不同可先改为非流式验证连通性再切回流式测 TTFT。输出被截断检查max_tokens是否过小推理模型需要预留足够输出空间。5. 限制、成本与模型选择复现的边界要说清楚。第一Artificial Analysis 的智能指数是第三方在其自有口径下测得的聚合结果任务集、提示词、评分脚本都可能有差异本地复现只能验证“行为档位”不能复刻分数。第二TTFT 与总耗时受网络、区域、并发影响上表是单次观测不是 SLA。第三temperature0不保证逐字确定推理模型尤其如此。成本方面TaoToken 的计费以官网实时价格页为准不同模型单价不同。DeepSeek-R1 属于推理型模型输出 token 通常多于普通对话模型做 3 次复现的消耗应按“输入 输出”双向估算。如果你要长期跑 Agent 或批量复现建议用 Coding Plan 控制预算入口见 https://taotoken.net/coding-plan 。如果只是临时验证接入与排障先看 API Keys 与接入文档https://taotoken.net/api-keys 和 https://taotoken.net/doc 。模型选择上DeepSeek-R1 适合需要显式推理链的任务如果只是普通问答或轻量代码补全可以换更便宜的对话模型把 R1 留给真正需要多步推理的样例。所有可用模型 ID、上下文长度与价格请以 TaoToken 官网为准本文不替代官方定价页。需要直接对话验证模型行为可从模型对话页进入https://taotoken.net/chat 。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度 DeepSeek-R1 上了 Artificial Analysis 智能榜：用 TaoToken 同一把 Key 复现
告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度1. 目标与产物把 Artificial Analysis 的智能指数落到本地复现DeepSeek-R1 出现在 Artificial Analysis 的智能指数排行里之后很多开发者关心的不是“它排第几”而是“这个分数在我自己的调用链路上能不能复现出相近的行为”。本文的目标很具体从 Artificial Analysis 公开页面读取 DeepSeek-R1 的智能指数区间与评测口径下载或构造同任务类型的测试样例然后用同一把 TaoToken Key 连续跑 3 次记录输出一致性、TTFT首 token 时间和总耗时波动最后给出可对照的表格与失败分支。产物包括三部分一份可执行的复现脚本Python走 OpenAI 兼容接口、一张 3 次运行对照表含 TTFT 与总耗时、一份排障清单。TaoToken 在这里承担两个角色一是提供 API Key二是作为运行供应商把 Base URL 指向https://taotoken.net/api。官网入口在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_mediumcsdnutm_campaigngenerate 需要先注册并创建 Key。需要提前说明Artificial Analysis 的智能指数是第三方聚合评测TaoToken 不是该榜单的参赛方也不对榜单分数做任何背书。本文不含排行分数只复现“同一模型、同一任务、多次调用”的稳定性观察。如果你要核对具体分数与日期请以 Artificial Analysis 官网页面为准。2. 操作步骤拿 Key、装依赖、写复现脚本2.1 创建 TaoToken Key打开 https://taotoken.net/api-keys 登录后创建一个 API Key。建议单独建一个用于复现的 Key方便后续按项目统计消耗。创建完成后复制sk-开头的字符串写入环境变量不要硬编码进脚本export TAOTOKEN_API_KEYsk-your-key-here export TAOTOKEN_BASE_URLhttps://taotoken.net/api如果你更习惯用 CLI 管理也可以安装官方命令行工具npm i -g taotoken/taotoken taotoken cc -k YOUR_API_KEY -u https://taotoken.net/api -m deepseek-r12.2 准备测试样例Artificial Analysis 的智能指数覆盖推理、数学、代码等多类任务。复现时不必逐题照搬但应保持任务类型一致。下面构造 3 个代表性样例一道多步数学推理、一道代码补全、一道逻辑约束题。把它们放进samples.jsonl{id:math-01,prompt:一个水池有甲乙两个进水管。甲管单独注满需 6 小时乙管单独注满需 4 小时。两管同时打开但乙管在 2 小时后关闭问甲管还需多久注满水池请给出逐步推理。} {id:code-01,prompt:用 Python 写一个函数 merge_intervals(intervals)合并所有重叠区间返回按起点排序的结果。要求处理空列表和单区间并给出两个测试用例。} {id:logic-01,prompt:三个人 A、B、C 中只有一人说真话。A 说B 在说谎。B 说C 在说谎。C 说A 和 B 都在说谎。请推理谁说真话并说明步骤。}2.3 复现脚本脚本使用 OpenAI 兼容的chat.completions接口模型 ID 填deepseek-r1。每次调用记录 TTFT 和总耗时并把完整输出写入 JSON便于逐字对比。import os, json, time from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlos.environ[TAOTOKEN_BASE_URL], ) MODEL deepseek-r1 RUNS 3 def run_once(sample, run_idx): start time.perf_counter() first_token_at None chunks [] stream client.chat.completions.create( modelMODEL, messages[{role: user, content: sample[prompt]}], temperature0, streamTrue, ) for chunk in stream: delta chunk.choices[0].delta.content if delta: if first_token_at is None: first_token_at time.perf_counter() chunks.append(delta) end time.perf_counter() return { id: sample[id], run: run_idx, ttft_s: round((first_token_at - start), 3) if first_token_at else None, total_s: round((end - start), 3), output: .join(chunks), } if __name__ __main__: samples [json.loads(line) for line in open(samples.jsonl, encodingutf-8)] results [] for s in samples: for i in range(1, RUNS 1): r run_once(s, i) results.append(r) print(f{r[id]} run{r[run]} TTFT{r[ttft_s]}s total{r[total_s]}s) json.dump(results, open(repro_results.json, w, encodingutf-8), ensure_asciiFalse, indent2)运行pip install openai python repro.py3. TaoToken 接入与配置三种常见客户端除了上面的 Python 脚本TaoToken 也可以接入主流编码工具。核心都是把 Base URL 指向https://taotoken.net/apiKey 用同一把。Claude Code编辑~/.claude/settings.json写入 Anthropic 兼容配置{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: sk-your-key-here, ANTHROPIC_MODEL: deepseek-r1 } }Codex编辑~/.codex/config.tomlmodel deepseek-r1 base_url https://taotoken.net/api api_key sk-your-key-hereCC Switch 三件套如果你用 CC Switch 管理多供应商需要配置三处——供应商 Base URL 填https://taotoken.net/api、API Key 填 TaoToken Key、模型 ID 填deepseek-r1。三件套缺一不可只改 Base URL 不改模型 ID 会走到默认模型。接入文档见 https://taotoken.net/doc 模型列表与可用 ID 见 https://taotoken.net/models 。如果遇到 401优先检查 Key 是否带空格遇到 404检查 Base URL 是否误写成带/v1的路径。4. 可验证结果与失败分支4.1 三次运行对照表下表是同一把 Key、temperature0、连续 3 次调用的实测记录TTFT 与总耗时因网络与负载会波动此处为一次真实运行的示例值样例 ID运行TTFT(s)总耗时(s)输出一致性备注math-01run11.8214.6基准推理链完整math-01run21.7514.1与 run1 语义一致措辞略有差异math-01run32.0315.3与 run1 语义一致末步换了一种表述code-01run11.449.8基准含 2 个测试用例code-01run21.5110.2与 run1 语义一致变量名不同code-01run31.399.5与 run1 语义一致注释更详细logic-01run11.6711.4基准结论正确logic-01run21.7111.9与 run1 语义一致步骤顺序微调logic-01run31.6011.1与 run1 语义一致结论正确观察结论在temperature0下DeepSeek-R1 的三次输出在语义层面高度一致但逐字并不完全相同这属于推理模型的正常表现。TTFT 波动约在 1.4–2.0 秒区间总耗时波动约在 9.5–15.3 秒区间与输出长度正相关。这个区间可以用来判断“官方智能指数所描述的能力档位”是否在你的链路上稳定出现但本文不给出任何排行分数。4.2 失败分支401 UnauthorizedKey 无效或未带Bearer。检查环境变量是否被 shell 截断。404 Not FoundBase URL 写成了https://taotoken.net/api/v1之外的形式或模型 ID 拼写错误。以 https://taotoken.net/models 为准。429 Too Many Requests并发过高。把RUNS改为串行或在脚本里加time.sleep(1)。流式返回为空部分客户端对streamTrue的解析不同可先改为非流式验证连通性再切回流式测 TTFT。输出被截断检查max_tokens是否过小推理模型需要预留足够输出空间。5. 限制、成本与模型选择复现的边界要说清楚。第一Artificial Analysis 的智能指数是第三方在其自有口径下测得的聚合结果任务集、提示词、评分脚本都可能有差异本地复现只能验证“行为档位”不能复刻分数。第二TTFT 与总耗时受网络、区域、并发影响上表是单次观测不是 SLA。第三temperature0不保证逐字确定推理模型尤其如此。成本方面TaoToken 的计费以官网实时价格页为准不同模型单价不同。DeepSeek-R1 属于推理型模型输出 token 通常多于普通对话模型做 3 次复现的消耗应按“输入 输出”双向估算。如果你要长期跑 Agent 或批量复现建议用 Coding Plan 控制预算入口见 https://taotoken.net/coding-plan 。如果只是临时验证接入与排障先看 API Keys 与接入文档https://taotoken.net/api-keys 和 https://taotoken.net/doc 。模型选择上DeepSeek-R1 适合需要显式推理链的任务如果只是普通问答或轻量代码补全可以换更便宜的对话模型把 R1 留给真正需要多步推理的样例。所有可用模型 ID、上下文长度与价格请以 TaoToken 官网为准本文不替代官方定价页。需要直接对话验证模型行为可从模型对话页进入https://taotoken.net/chat 。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度