很多做 LLM 应用开发的人第一次被模型选型这件事击垮往往不是在某一个模型质量特别差的时候而是在模型数量多到无从比较的时候。OpenRouter 这类聚合平台把数十家模型提供方的 API 统一成一个入口你只需要一个 Key就能调用 GPT、Claude、Llama、DeepSeek 等不同来源的模型。听起来很美好但随之而来的问题是我到底该用哪个模型官方榜单和社区 Benchmark 给出的结论通常是面向通用能力的平均分并不能直接回答你的业务问题。你的应用是中文文本抽取、代码生成、长文档摘要还是客服问答不同模型在这些场景下的实际表现差异远远大于通用分数所反映的差距。更不用说价格和延迟——有些模型回答质量接近价格却可能差一个数量级。这篇文章要做的就是给你一套轻量级的、开源的 LLM Benchmark 工具方案。它不追求 MMLU、HumanEval 那样的大规模评测体系而是专注于一件小事把 OpenRouter 上任意一个模型接入同一套测试题、同一组提示词、同一个统计流程最后输出一份包含质量、延迟、Token 消耗和成本的对比报告。后面会从设计思路、环境准备、完整代码到常见坑一步一步展开。你可以直接复制代码跑起来得到一个属于你自己业务场景的模型排行榜。这套方案最大的价值不在于数字本身而在于它把模型评估这件事变成了可重复、可配置、可沉淀的工程流程。1. 为什么模型对比成了 LLM 开发的日常痛点做 LLM 应用的同学应该都有过这种经历产品需求确定后第一个要拍板的问题不是接口怎么设计而是用哪个模型。早期的选择其实不多OpenAI 基本是默认答案。但这两年的模型供给已经完全不同闭源模型、开源权重、量化版本、微调模型混在一起光是同一家开源的 7B 模型就能衍生出十几个变体。这种情况下选择模型就变成了一个高频、高成本、高不确定性的任务。如果你的应用有上百个真实业务场景你可能需要同时在质量、速度、成本三个维度上做权衡。今天性价比高的模型下周可能被新发布的模型反超你这个月用的模型下个月可能被官方下架。模型市场是动态的靠感觉和别人说好来选型基本等于赌运气。更现实的问题是很多团队不是没有做过模型对比而是每次对比都太重了。临时写一段脚本把测试题硬编码在代码里跑完把输出贴进聊天工具人工翻看然后结论就消失了。下次换一个模型又要重新写一遍。不同人写的脚本提示词风格不统一随机参数不统一评测结果完全不可比。最后大家发现真正缺的不是某个模型的分数而是一套标准的、可复用的评测流程。轻量级 Benchmark 工具的意义就在这里。它不解决什么是好模型这种哲学问题它解决的是如何快速、公平、低风险地获得对比数据这个工程问题。你只需要维护一份测试题文件和一个模型列表脚本自动完成请求、记录、统计、成本计算结果保存成 JSON方便沉淀成团队资产。2. OpenRouter 的核心概念与适用场景2.1 OpenRouter 到底是什么OpenRouter 是一个面向开发者的 LLM API 聚合平台。理解它最简单的方式是类比成模型路由网关模型提供方接入平台开发者通过一个统一的 OpenAI 兼容接口访问所有模型不需要为每一家单独申请 API Key、单独看文档、单独对接 SDK。对 Benchmark 工具来说OpenRouter 提供的三件事非常关键。第一是统一的接口协议所有模型都走chat/completions接口请求格式一样响应格式一样评测脚本不用为每个模型写适配层。第二是统一的模型 ID 体系模型 ID 通常采用厂商/模型名的格式配置简单。第三是定价信息的接口化通过模型列表接口可以直接拿到每个模型的每百万 Token 价格方便自动计算成本。下面用一个表格直观对比三种接入方式对比维度直接对接各家 API在 OpenRouter 上对比本地部署开源模型对比接入成本每家 SDK、Key、文档各不相同一个 Key、一套接口需要 GPU 和推理框架模型覆盖单一厂商几十家任意切换取决于机器和人力切换模型改代码改依赖改配置文件重新部署成本统计各家账单格式不同统一拿到 Token 单价算电费和 GPU 折旧典型场景生产环境深度绑定选型、对比、灰度数据敏感、离线场景2.2 为什么 OpenRouter 适合做 Benchmark核心原因是公平性和低成本切换。评测模型时最怕的是请求格式不一致带来的额外误差。OpenRouter 把所有模型收敛到同一个接口相当于替你把请求层的差异抹平了你真正对比的是模型本身的输出差异。另外一个好处是免费模型。OpenRouter 上存在一批带限流的免费模型虽然不适合直接用于生产但用来做小规模评测、验证工具流程、跑通数据链路成本接近于零。先用免费模型把 Benchmark 工具跑通再扩展到付费模型这是非常稳妥的上手路径。2.3 适用场景与不适用场景这套方案适合的业务场景很具体模型选型、供应商切换评估、新版本回归、提示词模板在不同模型上的兼容性测试、成本预算估算。它解决的是在大量候选模型中缩小范围的问题而不是证明某个模型绝对最优的问题。不适用的情况也有。第一如果你的数据高度敏感不允许发送给任何第三方模型那 OpenRouter 这类聚合平台天然不合适你需要本地推理加私有评测集。第二如果你要做的是大规模、高并发的性能压测Benchmark 工具的串行请求设计只能反映基础延迟不能替代压测工具。第三如果对评测标准有学术级别的严格要求比如需要人工标注、交叉验证、统计显著性检验轻量级工具只能作为前置筛选。3. 轻量级 Benchmark 工具的设计思路3.1 评测四个核心维度一个模型能不能用归根到底看四件事回答质量、响应延迟、Token 消耗、经济成本。这四个维度分别对应了用户体验、系统承载、账单预算和长期可持续性。回答质量是最难量化的一项。轻量级工具的第一版通常不做自动打分而是把答案原样保存下来由人工按评分规则抽查。这样做的原因是不同业务对质量的定义完全不同代码生成看可运行性客服场景看语气和内容合规抽取场景看字段准确率。人工抽查看似朴素却是最不容易出错的质量基线。延迟用每次请求的耗时来衡量Token 消耗直接读响应里的 usage 字段成本则通过 Token 数量和模型单价相乘得到。后三个维度都是客观数值脚本可以自动统计质量维度留给评测者两份数据合在一起就能判断贵一点是否值得。3.2 设计原则工具设计的首要原则是配置驱动。模型列表放在 YAML 里测试题放在 JSON 里脚本本体不包含任何业务数据。要增加一个新模型只需要往配置文件里加一行要增加新测试题只需要往测试题文件里加一个对象。这样的好处是评测流程可以被团队里的任何人复现不会出现只有作者会跑的脚本。第二个原则是失败不影响整体。调用外部 API 必然有偶发失败单条请求报错不应该中断整个评测。每条请求独立捕获异常把错误信息写入结果记录最后统计时单独计算成功率这样一轮评测跑下来即使有部分请求失败也能得到有价值的整体数据。第三个原则是结果可回溯。原始响应、请求参数、耗时、成本全部落盘成 JSON不覆盖、不丢字段。这样将来无论算法还是评测集发生变化都能回头查证结论是否成立。3.3 整体架构工具分为四层配置层、请求层、结果层、汇总层。配置层读取 YAML 和 JSON请求层通过 openai SDK 调用 OpenRouter结果层保存每次请求的完整信息汇总层按模型维度做统计并输出报告。代码结构保持单文件也是可以的当评测集和逻辑变复杂后再按模块拆分。从数据流角度看一条请求从处理器发出到拿到响应再到写入结果列表最后进入统计函数链路非常短。短链路意味着容易排查问题也容易让其他开发者快速理解整个工具这是轻量级工具最宝贵的特性。4. 环境准备与前置条件4.1 运行环境本文的示例代码使用 Python 3.9 及以上版本依赖两个库openai SDK 用于调用 OpenRouter 接口pyyaml 用于解析配置文件。操作系统不限Windows、macOS、Linux 都可以建议在虚拟环境中运行。先创建项目目录和虚拟环境mkdir llm-benchmark cd llm-benchmark python -m venv .venv source .venv/bin/activate # Windows 使用 .venv\Scripts\activate安装依赖创建 requirements.txt# 文件路径requirements.txt openai1.30.0 pyyaml6.0pip install -r requirements.txt4.2 获取 OpenRouter API Key在 OpenRouter 控制台注册账号后进入 API Keys 页面创建 Key。创建成功后把 Key 保存好一般以sk-or-开头。注意 Key 只在创建时完整展示一次后续在页面上只能看到前缀。建议通过环境变量注入 Key避免把密钥写死在代码或配置文件中。命令行设置方式export OPENROUTER_API_KEYsk-or-xxx # macOS / LinuxWindows PowerShell 使用$env:OPENROUTER_API_KEYsk-or-xxx4.3 验证 API 连通性先用一个最小调用确认网络和 Key 都正常。OpenRouter 的 API 地址是https://openrouter.ai/api/v1兼容 OpenAI 的调用方式# 文件路径check_api.py from openai import OpenAI client OpenAI( base_urlhttps://openrouter.ai/api/v1, api_keysk-or-xxx, ) resp client.chat.completions.create( modelopenai/gpt-4o-mini, messages[{role: user, content: 你好请回复连接成功}], ) print(resp.choices[0].message.content)如果这一步能正常输出内容说明 Key 有效、SDK 版本兼容、网络链路通畅。后面所有的问题排查都可以以这个最小脚本作为基线。5. 完整示例代码实现5.1 项目文件结构整个工具共四个核心文件llm-benchmark/ ├── benchmark.py # 评测主脚本 ├── config.yaml # 模型与参数配置 ├── questions.json # 测试题集 └── requirements.txt # 依赖声明5.2 配置文件 config.yaml模型列表、生成参数、请求间隔都放在这里# 文件路径config.yaml api: base_url: https://openrouter.ai/api/v1 api_key_env: OPENROUTER_API_KEY generation: max_tokens: 1024 temperature: 0.2 top_p: 1.0 sleep_between_requests: 0.5 models: - id: openai/gpt-4o-mini alias: gpt-4o-mini - id: anthropic/claude-3.5-sonnet alias: claude-3.5-sonnet - id: meta-llama/llama-3.1-70b-instruct alias: llama-3.1-70b - id: deepseek/deepseek-chat alias: deepseek-chat这里的模型 ID 是示例OpenRouter 的模型列表会动态变化实际使用前建议先调用模型列表接口确认 ID 仍然存在。alias字段用于在报告中显示更友好的名称。sleep_between_requests控制相邻两次请求的间隔目的是降低触发限流的概率。5.3 测试题集 questions.json测试题的设计直接决定评测结论的有效性。建议按业务场景分 category每个场景至少准备 5 到 10 道题。示例文件# 文件路径questions.json [ { id: coding_001, category: coding, prompt: 请用 Python 写一个函数输入一个整数列表返回其中出现次数最多的元素如果有多个元素出现次数相同返回数值最小的那个。 }, { id: reasoning_001, category: reasoning, prompt: 一个房间里有 3 盏灯门外有 3 个开关每个开关控制其中一盏灯。你只能进房间一次请问如何判断每个开关分别控制哪盏灯请写出完整推理过程。 }, { id: cn_002, category: chinese, prompt: 用不超过 100 个字解释什么是数据库事务并点出 ACID 四个特性。 }, { id: extract_001, category: extraction, prompt: 从下面的文本中提取所有人名、日期和金额并以 JSON 数组返回\n\2024年3月15日李明在上海参加了项目评审会会议预算为12000元张薇则在3月20日提交了8000元的差旅报销申请。\ }, { id: summary_001, category: summary, prompt: 请用三句话概括下面这段产品需求\n\我们希望在现有内容管理系统中增加一个自动标签功能。运营人员上传文章后系统需要自动识别文章主题并给出 3 到 5 个中文标签。标签要兼容已有的分类体系准确率低于 80% 时要允许人工修改。系统需要支持批量处理单篇文章处理时间不超过 2 秒。\ } ]测试题要尽量稳定一旦定义好不要频繁改动。因为改动测试题等于重新开始评测历史结果和新结果之间没有可比性。5.4 评测主脚本 benchmark.py这是工具的核心包含配置读取、请求调用、成本计算、结果汇总四部分# 文件路径benchmark.py import argparse import json import os import time import yaml from openai import OpenAI def load_config(path: str) - dict: with open(path, r, encodingutf-8) as f: return yaml.safe_load(f) def load_questions(path: str) - list: with open(path, r, encodingutf-8) as f: return json.load(f) def get_client(cfg: dict) - OpenAI: api_key_env cfg[api][api_key_env] api_key os.environ.get(api_key_env, ) if not api_key: raise RuntimeError(f请先设置环境变量 {api_key_env}) return OpenAI( base_urlhttps://openrouter.ai/api/v1, api_keyapi_key, default_headers{ HTTP-Referer: https://github.com/your-org/lightweight-llm-benchmark, X-Title: lightweight-llm-benchmark, }, ) def get_pricing(model_obj) - dict: 从 OpenRouter 模型对象中提取定价兼容不同 SDK 版本。 if hasattr(model_obj, model_dump): data model_obj.model_dump() else: data model_obj raw data.get(pricing, {}) if isinstance(data, dict) else {} if isinstance(raw, str): try: raw json.loads(raw) except json.JSONDecodeError: raw {} def to_float(value): try: return float(value) except (TypeError, ValueError): return 0.0 return { prompt: to_float(raw.get(prompt)), completion: to_float(raw.get(completion)), } def fetch_pricing(client: OpenAI) - dict: 拉取 OpenRouter 全量模型定价失败时返回空 dict。 try: models client.models.list() return {m.id: get_pricing(m) for m in models.data} except Exception as exc: print(f[warn] 拉取模型定价失败: {exc}) return {} def run_single(client: OpenAI, model_id: str, question: dict, params: dict) - dict: start time.time() try: resp client.chat.completions.create( modelmodel_id, messages[{role: user, content: question[prompt]}], max_tokensparams.get(max_tokens, 1024), temperatureparams.get(temperature, 0.2), top_pparams.get(top_p, 1.0), ) elapsed time.time() - start usage resp.usage return { model: model_id, question_id: question[id], category: question.get(category, general), answer: resp.choices[0].message.content, finish_reason: resp.choices[0].finish_reason, latency_sec: round(elapsed, 3), prompt_tokens: usage.prompt_tokens, completion_tokens: usage.completion_tokens, total_tokens: usage.total_tokens, } except Exception as exc: return { model: model_id, question_id: question[id], category: question.get(category, general), error: str(exc), } def compute_cost(result: dict, pricing: dict) - float: if error in result: return 0.0 price pricing.get(result[model], {}) prompt_cost result[prompt_tokens] / 1000 * price.get(prompt, 0.0) completion_cost result[completion_tokens] / 1000 * price.get(completion, 0.0) return round(prompt_cost completion_cost, 8) def summarize(results: list) - list: stats {} for r in results: model r[model] if model not in stats: stats[model] { total: 0, errors: 0, latency: [], prompt_tokens: 0, completion_tokens: 0, cost: 0.0, } s stats[model] s[total] 1 if error in r: s[errors] 1 else: s[latency].append(r[latency_sec]) s[prompt_tokens] r[prompt_tokens] s[completion_tokens] r[completion 基于OpenRouter的轻量级LLM Benchmark工具：模型选型与成本对比实践
很多做 LLM 应用开发的人第一次被模型选型这件事击垮往往不是在某一个模型质量特别差的时候而是在模型数量多到无从比较的时候。OpenRouter 这类聚合平台把数十家模型提供方的 API 统一成一个入口你只需要一个 Key就能调用 GPT、Claude、Llama、DeepSeek 等不同来源的模型。听起来很美好但随之而来的问题是我到底该用哪个模型官方榜单和社区 Benchmark 给出的结论通常是面向通用能力的平均分并不能直接回答你的业务问题。你的应用是中文文本抽取、代码生成、长文档摘要还是客服问答不同模型在这些场景下的实际表现差异远远大于通用分数所反映的差距。更不用说价格和延迟——有些模型回答质量接近价格却可能差一个数量级。这篇文章要做的就是给你一套轻量级的、开源的 LLM Benchmark 工具方案。它不追求 MMLU、HumanEval 那样的大规模评测体系而是专注于一件小事把 OpenRouter 上任意一个模型接入同一套测试题、同一组提示词、同一个统计流程最后输出一份包含质量、延迟、Token 消耗和成本的对比报告。后面会从设计思路、环境准备、完整代码到常见坑一步一步展开。你可以直接复制代码跑起来得到一个属于你自己业务场景的模型排行榜。这套方案最大的价值不在于数字本身而在于它把模型评估这件事变成了可重复、可配置、可沉淀的工程流程。1. 为什么模型对比成了 LLM 开发的日常痛点做 LLM 应用的同学应该都有过这种经历产品需求确定后第一个要拍板的问题不是接口怎么设计而是用哪个模型。早期的选择其实不多OpenAI 基本是默认答案。但这两年的模型供给已经完全不同闭源模型、开源权重、量化版本、微调模型混在一起光是同一家开源的 7B 模型就能衍生出十几个变体。这种情况下选择模型就变成了一个高频、高成本、高不确定性的任务。如果你的应用有上百个真实业务场景你可能需要同时在质量、速度、成本三个维度上做权衡。今天性价比高的模型下周可能被新发布的模型反超你这个月用的模型下个月可能被官方下架。模型市场是动态的靠感觉和别人说好来选型基本等于赌运气。更现实的问题是很多团队不是没有做过模型对比而是每次对比都太重了。临时写一段脚本把测试题硬编码在代码里跑完把输出贴进聊天工具人工翻看然后结论就消失了。下次换一个模型又要重新写一遍。不同人写的脚本提示词风格不统一随机参数不统一评测结果完全不可比。最后大家发现真正缺的不是某个模型的分数而是一套标准的、可复用的评测流程。轻量级 Benchmark 工具的意义就在这里。它不解决什么是好模型这种哲学问题它解决的是如何快速、公平、低风险地获得对比数据这个工程问题。你只需要维护一份测试题文件和一个模型列表脚本自动完成请求、记录、统计、成本计算结果保存成 JSON方便沉淀成团队资产。2. OpenRouter 的核心概念与适用场景2.1 OpenRouter 到底是什么OpenRouter 是一个面向开发者的 LLM API 聚合平台。理解它最简单的方式是类比成模型路由网关模型提供方接入平台开发者通过一个统一的 OpenAI 兼容接口访问所有模型不需要为每一家单独申请 API Key、单独看文档、单独对接 SDK。对 Benchmark 工具来说OpenRouter 提供的三件事非常关键。第一是统一的接口协议所有模型都走chat/completions接口请求格式一样响应格式一样评测脚本不用为每个模型写适配层。第二是统一的模型 ID 体系模型 ID 通常采用厂商/模型名的格式配置简单。第三是定价信息的接口化通过模型列表接口可以直接拿到每个模型的每百万 Token 价格方便自动计算成本。下面用一个表格直观对比三种接入方式对比维度直接对接各家 API在 OpenRouter 上对比本地部署开源模型对比接入成本每家 SDK、Key、文档各不相同一个 Key、一套接口需要 GPU 和推理框架模型覆盖单一厂商几十家任意切换取决于机器和人力切换模型改代码改依赖改配置文件重新部署成本统计各家账单格式不同统一拿到 Token 单价算电费和 GPU 折旧典型场景生产环境深度绑定选型、对比、灰度数据敏感、离线场景2.2 为什么 OpenRouter 适合做 Benchmark核心原因是公平性和低成本切换。评测模型时最怕的是请求格式不一致带来的额外误差。OpenRouter 把所有模型收敛到同一个接口相当于替你把请求层的差异抹平了你真正对比的是模型本身的输出差异。另外一个好处是免费模型。OpenRouter 上存在一批带限流的免费模型虽然不适合直接用于生产但用来做小规模评测、验证工具流程、跑通数据链路成本接近于零。先用免费模型把 Benchmark 工具跑通再扩展到付费模型这是非常稳妥的上手路径。2.3 适用场景与不适用场景这套方案适合的业务场景很具体模型选型、供应商切换评估、新版本回归、提示词模板在不同模型上的兼容性测试、成本预算估算。它解决的是在大量候选模型中缩小范围的问题而不是证明某个模型绝对最优的问题。不适用的情况也有。第一如果你的数据高度敏感不允许发送给任何第三方模型那 OpenRouter 这类聚合平台天然不合适你需要本地推理加私有评测集。第二如果你要做的是大规模、高并发的性能压测Benchmark 工具的串行请求设计只能反映基础延迟不能替代压测工具。第三如果对评测标准有学术级别的严格要求比如需要人工标注、交叉验证、统计显著性检验轻量级工具只能作为前置筛选。3. 轻量级 Benchmark 工具的设计思路3.1 评测四个核心维度一个模型能不能用归根到底看四件事回答质量、响应延迟、Token 消耗、经济成本。这四个维度分别对应了用户体验、系统承载、账单预算和长期可持续性。回答质量是最难量化的一项。轻量级工具的第一版通常不做自动打分而是把答案原样保存下来由人工按评分规则抽查。这样做的原因是不同业务对质量的定义完全不同代码生成看可运行性客服场景看语气和内容合规抽取场景看字段准确率。人工抽查看似朴素却是最不容易出错的质量基线。延迟用每次请求的耗时来衡量Token 消耗直接读响应里的 usage 字段成本则通过 Token 数量和模型单价相乘得到。后三个维度都是客观数值脚本可以自动统计质量维度留给评测者两份数据合在一起就能判断贵一点是否值得。3.2 设计原则工具设计的首要原则是配置驱动。模型列表放在 YAML 里测试题放在 JSON 里脚本本体不包含任何业务数据。要增加一个新模型只需要往配置文件里加一行要增加新测试题只需要往测试题文件里加一个对象。这样的好处是评测流程可以被团队里的任何人复现不会出现只有作者会跑的脚本。第二个原则是失败不影响整体。调用外部 API 必然有偶发失败单条请求报错不应该中断整个评测。每条请求独立捕获异常把错误信息写入结果记录最后统计时单独计算成功率这样一轮评测跑下来即使有部分请求失败也能得到有价值的整体数据。第三个原则是结果可回溯。原始响应、请求参数、耗时、成本全部落盘成 JSON不覆盖、不丢字段。这样将来无论算法还是评测集发生变化都能回头查证结论是否成立。3.3 整体架构工具分为四层配置层、请求层、结果层、汇总层。配置层读取 YAML 和 JSON请求层通过 openai SDK 调用 OpenRouter结果层保存每次请求的完整信息汇总层按模型维度做统计并输出报告。代码结构保持单文件也是可以的当评测集和逻辑变复杂后再按模块拆分。从数据流角度看一条请求从处理器发出到拿到响应再到写入结果列表最后进入统计函数链路非常短。短链路意味着容易排查问题也容易让其他开发者快速理解整个工具这是轻量级工具最宝贵的特性。4. 环境准备与前置条件4.1 运行环境本文的示例代码使用 Python 3.9 及以上版本依赖两个库openai SDK 用于调用 OpenRouter 接口pyyaml 用于解析配置文件。操作系统不限Windows、macOS、Linux 都可以建议在虚拟环境中运行。先创建项目目录和虚拟环境mkdir llm-benchmark cd llm-benchmark python -m venv .venv source .venv/bin/activate # Windows 使用 .venv\Scripts\activate安装依赖创建 requirements.txt# 文件路径requirements.txt openai1.30.0 pyyaml6.0pip install -r requirements.txt4.2 获取 OpenRouter API Key在 OpenRouter 控制台注册账号后进入 API Keys 页面创建 Key。创建成功后把 Key 保存好一般以sk-or-开头。注意 Key 只在创建时完整展示一次后续在页面上只能看到前缀。建议通过环境变量注入 Key避免把密钥写死在代码或配置文件中。命令行设置方式export OPENROUTER_API_KEYsk-or-xxx # macOS / LinuxWindows PowerShell 使用$env:OPENROUTER_API_KEYsk-or-xxx4.3 验证 API 连通性先用一个最小调用确认网络和 Key 都正常。OpenRouter 的 API 地址是https://openrouter.ai/api/v1兼容 OpenAI 的调用方式# 文件路径check_api.py from openai import OpenAI client OpenAI( base_urlhttps://openrouter.ai/api/v1, api_keysk-or-xxx, ) resp client.chat.completions.create( modelopenai/gpt-4o-mini, messages[{role: user, content: 你好请回复连接成功}], ) print(resp.choices[0].message.content)如果这一步能正常输出内容说明 Key 有效、SDK 版本兼容、网络链路通畅。后面所有的问题排查都可以以这个最小脚本作为基线。5. 完整示例代码实现5.1 项目文件结构整个工具共四个核心文件llm-benchmark/ ├── benchmark.py # 评测主脚本 ├── config.yaml # 模型与参数配置 ├── questions.json # 测试题集 └── requirements.txt # 依赖声明5.2 配置文件 config.yaml模型列表、生成参数、请求间隔都放在这里# 文件路径config.yaml api: base_url: https://openrouter.ai/api/v1 api_key_env: OPENROUTER_API_KEY generation: max_tokens: 1024 temperature: 0.2 top_p: 1.0 sleep_between_requests: 0.5 models: - id: openai/gpt-4o-mini alias: gpt-4o-mini - id: anthropic/claude-3.5-sonnet alias: claude-3.5-sonnet - id: meta-llama/llama-3.1-70b-instruct alias: llama-3.1-70b - id: deepseek/deepseek-chat alias: deepseek-chat这里的模型 ID 是示例OpenRouter 的模型列表会动态变化实际使用前建议先调用模型列表接口确认 ID 仍然存在。alias字段用于在报告中显示更友好的名称。sleep_between_requests控制相邻两次请求的间隔目的是降低触发限流的概率。5.3 测试题集 questions.json测试题的设计直接决定评测结论的有效性。建议按业务场景分 category每个场景至少准备 5 到 10 道题。示例文件# 文件路径questions.json [ { id: coding_001, category: coding, prompt: 请用 Python 写一个函数输入一个整数列表返回其中出现次数最多的元素如果有多个元素出现次数相同返回数值最小的那个。 }, { id: reasoning_001, category: reasoning, prompt: 一个房间里有 3 盏灯门外有 3 个开关每个开关控制其中一盏灯。你只能进房间一次请问如何判断每个开关分别控制哪盏灯请写出完整推理过程。 }, { id: cn_002, category: chinese, prompt: 用不超过 100 个字解释什么是数据库事务并点出 ACID 四个特性。 }, { id: extract_001, category: extraction, prompt: 从下面的文本中提取所有人名、日期和金额并以 JSON 数组返回\n\2024年3月15日李明在上海参加了项目评审会会议预算为12000元张薇则在3月20日提交了8000元的差旅报销申请。\ }, { id: summary_001, category: summary, prompt: 请用三句话概括下面这段产品需求\n\我们希望在现有内容管理系统中增加一个自动标签功能。运营人员上传文章后系统需要自动识别文章主题并给出 3 到 5 个中文标签。标签要兼容已有的分类体系准确率低于 80% 时要允许人工修改。系统需要支持批量处理单篇文章处理时间不超过 2 秒。\ } ]测试题要尽量稳定一旦定义好不要频繁改动。因为改动测试题等于重新开始评测历史结果和新结果之间没有可比性。5.4 评测主脚本 benchmark.py这是工具的核心包含配置读取、请求调用、成本计算、结果汇总四部分# 文件路径benchmark.py import argparse import json import os import time import yaml from openai import OpenAI def load_config(path: str) - dict: with open(path, r, encodingutf-8) as f: return yaml.safe_load(f) def load_questions(path: str) - list: with open(path, r, encodingutf-8) as f: return json.load(f) def get_client(cfg: dict) - OpenAI: api_key_env cfg[api][api_key_env] api_key os.environ.get(api_key_env, ) if not api_key: raise RuntimeError(f请先设置环境变量 {api_key_env}) return OpenAI( base_urlhttps://openrouter.ai/api/v1, api_keyapi_key, default_headers{ HTTP-Referer: https://github.com/your-org/lightweight-llm-benchmark, X-Title: lightweight-llm-benchmark, }, ) def get_pricing(model_obj) - dict: 从 OpenRouter 模型对象中提取定价兼容不同 SDK 版本。 if hasattr(model_obj, model_dump): data model_obj.model_dump() else: data model_obj raw data.get(pricing, {}) if isinstance(data, dict) else {} if isinstance(raw, str): try: raw json.loads(raw) except json.JSONDecodeError: raw {} def to_float(value): try: return float(value) except (TypeError, ValueError): return 0.0 return { prompt: to_float(raw.get(prompt)), completion: to_float(raw.get(completion)), } def fetch_pricing(client: OpenAI) - dict: 拉取 OpenRouter 全量模型定价失败时返回空 dict。 try: models client.models.list() return {m.id: get_pricing(m) for m in models.data} except Exception as exc: print(f[warn] 拉取模型定价失败: {exc}) return {} def run_single(client: OpenAI, model_id: str, question: dict, params: dict) - dict: start time.time() try: resp client.chat.completions.create( modelmodel_id, messages[{role: user, content: question[prompt]}], max_tokensparams.get(max_tokens, 1024), temperatureparams.get(temperature, 0.2), top_pparams.get(top_p, 1.0), ) elapsed time.time() - start usage resp.usage return { model: model_id, question_id: question[id], category: question.get(category, general), answer: resp.choices[0].message.content, finish_reason: resp.choices[0].finish_reason, latency_sec: round(elapsed, 3), prompt_tokens: usage.prompt_tokens, completion_tokens: usage.completion_tokens, total_tokens: usage.total_tokens, } except Exception as exc: return { model: model_id, question_id: question[id], category: question.get(category, general), error: str(exc), } def compute_cost(result: dict, pricing: dict) - float: if error in result: return 0.0 price pricing.get(result[model], {}) prompt_cost result[prompt_tokens] / 1000 * price.get(prompt, 0.0) completion_cost result[completion_tokens] / 1000 * price.get(completion, 0.0) return round(prompt_cost completion_cost, 8) def summarize(results: list) - list: stats {} for r in results: model r[model] if model not in stats: stats[model] { total: 0, errors: 0, latency: [], prompt_tokens: 0, completion_tokens: 0, cost: 0.0, } s stats[model] s[total] 1 if error in r: s[errors] 1 else: s[latency].append(r[latency_sec]) s[prompt_tokens] r[prompt_tokens] s[completion_tokens] r[completion