1. 为什么你需要一套自己的大模型性能评估流程你可能已经遇到过这种场景同一个需求A 模型回答得又快又好B 模型慢半拍还贵但换一个任务类型结论又反过来了。网上那些跑分榜单参考价值有限因为你的输入长度、输出长度、并发量、网络环境都跟榜单不一样。AI 大模型性能评估这件事最终还是要落到你自己的机器和你自己的请求模式上。延迟、吞吐量、成本这三个维度单独看任何一个都会误导决策。只看延迟你可能选了一个贵到无法规模化的小模型只看成本你可能选了一个慢到用户直接关页面的服务。我试过把这三个指标放在同一套脚本里跑用统一的 Key 和 API 通道去请求不同模型这样变量可控数据才有可比性。这篇内容面向的是需要做模型选型或容量规划的开发者。你不需要有压测经验只要会改 JSON 配置、能跑 Python 脚本就行。我会先给出一份可复制的配置骨架把多个模型的接入信息统一管理然后写一个基准脚本分别测 TTFT、TPOT、端到端延迟、生成吞吐量和单请求成本最后给一张结果记录表你跑完直接填数就能做对比。整个过程围绕 TaoToken 的统一 Key 通道展开省去你逐个平台注册、逐个管理密钥的麻烦。2. TaoToken 统一 Key 的前置准备TaoToken 在这里的角色是一个统一的 API 通道。你不需要为每个模型单独申请密钥、单独记 Base URL而是用同一个 Key 去请求不同模型脚本里只改模型名就行。这对做性能对比特别重要——如果每个模型走不同的网络路径、不同的鉴权方式测出来的延迟差异里就混入了非模型因素。你需要先拿到一个 API Key。打开 https://taotoken.net/api-keys 这个页面登录后创建一个新的 Key复制出来存好。注意这个 Key 只在创建时完整显示一次后面只能看到前缀。拿到 Key 之后你的请求地址统一用 https://taotoken.net/api 作为 Base URL。不同模型的调用方式遵循 OpenAI 兼容格式也就是说你原来用 openai 库写的代码只需要改 base_url 和 api_key 两个参数就能跑。注意不要把 Key 硬编码在脚本里提交到 Git。建议用环境变量或者本地配置文件管理后面配置骨架里会体现这一点。如果你对接入方式还有疑问可以看接入文档https://taotoken.net/doc 。文档里有各语言的最小示例Python、Node.js、curl 都有。3. 可复制的配置骨架settings.json 与 config.toml做多模型对比最怕的就是配置散落在脚本各处。我习惯把模型清单和请求参数抽到一个独立配置文件里脚本只负责读配置、发请求、记结果。下面给两份等价配置你选自己顺手的格式就行。3.1 settings.json 版本{ api_base: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, models: [ { name: gpt-4o-mini, display: GPT-4o mini, input_price_per_m: 0.15, output_price_per_m: 0.60 }, { name: claude-3-5-sonnet, display: Claude 3.5 Sonnet, input_price_per_m: 3.00, output_price_per_m: 15.00 }, { name: deepseek-chat, display: DeepSeek Chat, input_price_per_m: 0.14, output_price_per_m: 0.28 } ], benchmark: { prompt: 请用大约200字解释什么是数据库索引并给出一个使用场景。, max_tokens: 512, temperature: 0.2, repeat: 5, concurrency: 3 } }这里几个字段说明一下。api_key_env写的是环境变量名脚本运行时从环境变量读取真实 Key避免明文泄露。models数组里每个模型带上了输入和输出单价单位是「每百万 Token 的美元价格」方便后面算成本。benchmark段里repeat是每个模型重复请求的次数取多次结果算 P50 和 P95单次结果噪声太大。concurrency是并发数用来测吞吐量。3.2 config.toml 版本如果你更喜欢 TOML等价配置如下api_base https://taotoken.net/api api_key_env TAOTOKEN_API_KEY [benchmark] prompt 请用大约200字解释什么是数据库索引并给出一个使用场景。 max_tokens 512 temperature 0.2 repeat 5 concurrency 3 [[models]] name gpt-4o-mini display GPT-4o mini input_price_per_m 0.15 output_price_per_m 0.60 [[models]] name claude-3-5-sonnet display Claude 3.5 Sonnet input_price_per_m 3.00 output_price_per_m 15.00 [[models]] name deepseek-chat display DeepSeek Chat input_price_per_m 0.14 output_price_per_m 0.28两份配置的字段含义完全一致你按项目习惯选。把文件保存为bench_config.json或bench_config.toml放在脚本同级目录。设置环境变量export TAOTOKEN_API_KEY你的KeyWindows PowerShell 用$env:TAOTOKEN_API_KEY你的Key4. 基准脚本逐项跑通延迟、吞吐与成本配置就绪后写一个 Python 脚本把三个维度都测出来。核心思路是对每个模型发 N 次请求记录每次的首 Token 时间、总耗时、输出 Token 数然后汇总计算。4.1 安装依赖pip install openai tqdm4.2 完整脚本import os import json import time import statistics from concurrent.futures import ThreadPoolExecutor, as_completed from openai import OpenAI from tqdm import tqdm with open(bench_config.json, r, encodingutf-8) as f: cfg json.load(f) client OpenAI( base_urlcfg[api_base], api_keyos.environ[cfg[api_key_env]], ) def single_request(model_name, prompt, max_tokens, temperature): start time.perf_counter() ttft None token_count 0 stream client.chat.completions.create( modelmodel_name, messages[{role: user, content: prompt}], max_tokensmax_tokens, temperaturetemperature, streamTrue, ) for chunk in stream: if chunk.choices and chunk.choices[0].delta.content: if ttft is None: ttft time.perf_counter() - start token_count 1 end time.perf_counter() return { ttft: ttft, e2e: end - start, tokens: token_count, } def benchmark_model(model, bench): results [] for _ in tqdm(range(bench[repeat]), descmodel[display], leaveFalse): r single_request( model[name], bench[prompt], bench[max_tokens], bench[temperature], ) results.append(r) ttfts [r[ttft] for r in results if r[ttft]] e2es [r[e2e] for r in results] tokens [r[tokens] for r in results] avg_tokens statistics.mean(tokens) avg_e2e statistics.mean(e2es) tpot (avg_e2e - statistics.mean(ttfts)) / avg_tokens if avg_tokens else 0 cost_per_req ( model[input_price_per_m] * 0 # 输入成本按实际 prompt token 另算 model[output_price_per_m] * avg_tokens / 1_000_000 ) return { model: model[display], ttft_p50: round(statistics.median(ttfts), 3), ttft_p95: round(sorted(ttfts)[int(len(ttfts) * 0.95) - 1], 3), e2e_avg: round(avg_e2e, 3), tpot_ms: round(tpot * 1000, 1), tokens_avg: round(avg_tokens, 1), cost_per_req_usd: round(cost_per_req, 6), } def throughput_test(model, bench): def one(_): return single_request( model[name], bench[prompt], bench[max_tokens], bench[temperature], ) start time.perf_counter() with ThreadPoolExecutor(max_workersbench[concurrency]) as ex: futures [ex.submit(one, i) for i in range(bench[concurrency])] total_tokens sum(f.result()[tokens] for f in as_completed(futures)) elapsed time.perf_counter() - start return round(total_tokens / elapsed, 2) if __name__ __main__: summary [] for m in cfg[models]: row benchmark_model(m, cfg[benchmark]) row[throughput_tok_per_s] throughput_test(m, cfg[benchmark]) summary.append(row) print(json.dumps(summary, ensure_asciiFalse, indent2))脚本分两块benchmark_model串行跑多次请求统计 TTFT 的 P50/P95、端到端均值、TPOT 和单请求成本throughput_test用线程池模拟并发算每秒生成 Token 数。输出是一份 JSON直接可以贴进结果表。4.3 结果记录表模板跑完脚本后把数据填进下面这张表方便横向对比模型TTFT P50 (s)TTFT P95 (s)端到端均值 (s)TPOT (ms)吞吐量 (tok/s)单请求成本 (USD)GPT-4o miniClaude 3.5 SonnetDeepSeek Chat这张表就是你的决策依据。延迟敏感的场景看 TTFT 和 TPOT批量任务看吞吐量预算紧张看单请求成本。5. 验证请求确认每个模型都跑通在跑完整基准之前先用一个最小请求确认通道和 Key 没问题。这一步能帮你排除掉 90% 的低级错误。from openai import OpenAI import os client OpenAI( base_urlhttps://taotoken.net/api, api_keyos.environ[TAOTOKEN_API_KEY], ) resp client.chat.completions.create( modelgpt-4o-mini, messages[{role: user, content: 回复两个字收到}], max_tokens10, ) print(resp.choices[0].message.content)如果输出「收到」说明 Key、Base URL、模型名三者都对。然后把你配置里每个模型名都替换进去跑一遍确认没有 404 或 401。模型名写错是最常见的坑比如把claude-3-5-sonnet写成claude-3.5-sonnet点号和中划线混用就会报错。验证通过后再跑第 4 节的完整脚本。建议先把repeat设成 2、concurrency设成 1 跑一轮确认数据格式正常再调大参数做正式压测。6. 本篇常见错误排查报错 401 UnauthorizedKey 没读到或者写错了。检查环境变量名是否和配置里的api_key_env一致用echo $TAOTOKEN_API_KEY确认值存在。如果 Key 是在别的页面复制的注意有没有带多余空格。报错 404 model not found模型名拼写问题。不同提供商的模型命名规则不一样有的用中划线有的用点号。去模型对话页面 https://taotoken.net/chat 手动选一次模型看它实际发出的请求用的什么名字照抄就行。TTFT 数据为 None流式响应里第一个 chunk 可能只有 role 没有 content脚本里判断delta.content非空才记时间是对的。如果全是 None检查是否误用了非流式请求。吞吐量数字异常低并发数设太小或者网络本身有瓶颈。先把concurrency调到 5 以上再测。另外注意吞吐量测的是所有并发请求的 Token 总和除以总耗时不是单个请求的速度。成本算出来是 0检查配置里的单价字段有没有填。输入成本需要你根据实际 prompt 的 Token 数单独算脚本里只算了输出成本因为输出长度才是成本大头。如果要精确算可以在响应里读usage字段。P95 比 P50 大很多正常现象说明有长尾请求。如果 P95 超过 P50 的三倍可能是网络抖动或者服务端排队建议增加repeat次数再观察。7. 下一步把评估结果用起来跑完这一轮你手里就有了一张带真实数据的对比表。接下来可以做两件事。一是把结果同步给团队作为模型选型的依据二是把脚本挂到定时任务里每周跑一次监控延迟和成本的变化趋势。如果你需要长期做编码类任务的模型对比可以看看 Coding Plan 页面 https://taotoken.net/coding-plan 里面有面向代码生成场景的模型组合和额度方案。如果你更想先手动体验不同模型的对话效果直接打开模型对话页面 https://taotoken.net/chat 切换模型聊几轮体感上的差异有时候比数字更直观。评估这件事没有一劳永逸的答案你的请求模式变了最优模型可能就变了。把脚本和配置留着下次换模型只需要改一行配置重新跑一遍就有新数据。