1. 从“Agent 能力放大器”到多模态标注先把 Key 和 Base URL 统一最近关于 Agent 是“能力放大器”的讨论很多但落到多模态标注工程里问题会变得非常具体一条标注流水线里可能有素材预处理、图像理解、OCR、目标属性抽取、标签归一化、质检 Agent每一个环节都要调模型。Key 散落在不同工具、Base URL 改来改去、Token 消耗看不见Agent 越能干账单越难解释。比较稳的做法是先把供应商入口统一到 TaoToken在官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_intro 注册并创建 Key然后把所有支持自定义 Base URL 的工具统一指向https://taotoken.net/api。Key 统一用YOUR_API_KEY占位不写进代码仓库。本文给出一条可复现的多模态标注流程和 Agent Key 调用记录方案。为什么不是直接用某个模型自带账号因为多模态标注 Agent 的调用模式不是单轮对话它会自动重试、分块、抽帧、生成 JSON、再让另一个模型审核。Token 消耗会同时出现在图片输入、长 prompt、结构化输出、重试里。统一 Key 后至少能做三件事按任务打标签、按模型看单价、按 Key 限并发。很多团队一开始把 Key 写进.env后来 Claude Code、Codex、批处理脚本各拿一份最后出现 401 时已经分不清是哪套配置在生效。本文的路线是先在 TaoToken 创建 Key再把 Base URL 设为https://taotoken.net/api接着分别配置 Claude Code 的settings.json、Codex 的config.toml、CC Switch 三件套最后用本地 SQLite 记录每次 Agent 调用。产出不是“跑通一次”而是一条可复现、可审计、可抽检的多模态标注流水线。2. 多模态标注 Agent 的 Key 供应链三条链路要分开多模态标注里最常见的错误是把“人工试 prompt 的 Key”和“Agent 批量跑的 Key”混在一起。结果一跑批处理人工对话页面被限流或者 Coding Agent 在改脚本时把生产标注 Key 带进了测试请求。建议至少拆成三条链路人工交互链路用于在模型对话页面探索标注规则、试多模态 prompt、确认模型名。批处理链路用于annotate_agent.py这类脚本按task_id批量调用记录 Token。Coding Agent 链路用于 Claude Code、Codex 等工具改脚本、查报错、生成结构化校验逻辑。在 TaoToken 控制台可以分别创建 Key。入口是 API Keys 页面https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_keys 。创建后不要直接粘贴到聊天窗口先写入本地.env或系统环境变量。一个推荐的环境变量约定# 批处理 Agent 使用 export TAOTOKEN_API_KEYYOUR_API_KEY export TAOTOKEN_BASE_URLhttps://taotoken.net/api export MULTIMODAL_MODELYOUR_MULTIMODAL_MODEL # Claude Code 单独使用只给 Claude Code 会话加载 export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_API_KEYYOUR_API_KEY注意ANTHROPIC_*只给 Claude Code 用不要写进 Codex 的config.toml。Codex 用config.toml和TAOTOKEN_API_KEY这套边界后面会展开。如果你需要先确认可用模型名和对话效果可以打开模型对话 deep linkhttps://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_chat 。在页面里试一张图要求模型输出固定 JSON 字段确认字段名和枚举值符合你的标注规范再写进脚本。3. 多模态标注流程的最小可复现骨架一条可复现的多模态标注流程不需要一开始就上很重的平台。先跑通最小闭环素材入库图片或视频抽帧写入本地目录生成task_id。预处理缩放、去重、抽帧、OCR 候选提取。多模态模型标注输入图片和标签规范输出 JSON。规则校验检查枚举、置信度、空值、字段类型。人工抽检按 5% 到 10% 抽样复核。本地回写先写 SQLite 或 CSV不直接写生产库。调用记录每次模型调用写入agent_calls表。目录可以这样组织annotation-pipeline/ data/ raw/ frames/ processed/ prompts/ label_schema.md annotate_prompt.txt scripts/ annotate_agent.py validate_json.py record_call.py records/ annotations.sqlite agent_calls.sqlite .env .gitignore.env文件示例TAOTOKEN_API_KEYYOUR_API_KEY TAOTOKEN_BASE_URLhttps://taotoken.net/api MULTIMODAL_MODELYOUR_MULTIMODAL_MODEL.gitignore至少包含.env records/*.sqlite data/raw/ data/frames/ data/processed/多模态标注的 prompt 不要每次让 Agent 自由发挥。把标签规范写成label_schema.md在 prompt 里强制模型只输出 JSON。例如你是图像标注助手。请根据以下标签规范对输入图片输出 JSON。 标签规范 - scene: indoor / outdoor / street / office / unknown - main_object: person / car / animal / package / document / unknown - visible_text: 有则原文无则空字符串 - confidence: 0 到 1 只输出 JSON不要输出解释。然后 Agent 负责把图片、prompt、模型名、返回结果、Token 用量、延迟写进本地记录。这样后面排查“为什么某个标签错得特别多”时可以按模型、阶段、prompt 版本回放。4. 在 TaoToken 创建 Key 并验证多模态调用先到 TaoToken 官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_flow 创建账号并进入控制台。然后在 API Keys 页面创建 Key复制后写入本地环境变量export TAOTOKEN_API_KEYYOUR_API_KEY工具配置里的 Base URL 统一写https://taotoken.net/api不要在这个 Base URL 后面加 UTM 参数UTM 只用于本文里的官网和 CTA 链接。手动 curl 验证时路径通常需要补/v1/chat/completionscurl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: YOUR_MULTIMODAL_MODEL, messages: [ { role: user, content: [ { type: text, text: 请描述这张图片中的主体、场景和可见文字只输出 JSON。 }, { type: image_url, image_url: { url: https://example.com/demo.jpg } } ] } ], temperature: 0 }如果返回 401先检查 Key 是否复制完整、是否有多余空格。如果返回 404检查 curl 路径是不是/api/v1/chat/completions以及模型名是否在模型对话页面里可见。如果返回 400常见原因是图片 URL 不可访问或者图片太大导致上下文超限。在 Python 里调用时可以用 OpenAI 兼容客户端import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) MODEL os.environ.get(MULTIMODAL_MODEL, YOUR_MULTIMODAL_MODEL) resp client.chat.completions.create( modelMODEL, messages[ { role: user, content: [ {type: text, text: 请输出图片主体、场景和可见文字只返回 JSON。}, {type: image_url, image_url: {url: https://example.com/demo.jpg}}, ], } ], temperature0, ) print(resp.choices[0].message.content) print(resp.usage)如果客户端要求更完整的路径可以在本地确认后再决定是否把base_url写成https://taotoken.net/api/v1。但工具配置层面的基准仍然是https://taotoken.net/api。5. Claude Code 接入settings.json 与 ANTHROPIC_* 不要混用 Codex 配置Claude Code 适合做标注脚本维护、prompt 模板整理、JSON schema 校验、排错。配置时只使用ANTHROPIC_*系列变量写入~/.claude/settings.json或项目级.claude/settings.json{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_MODEL: YOUR_CLAUDE_MODEL, ANTHROPIC_SMALL_FAST_MODEL: YOUR_CLAUDE_FAST_MODEL } }这里的关键点有三个第一ANTHROPIC_BASE_URL写https://taotoken.net/api不要带 UTM。 第二ANTHROPIC_API_KEY用YOUR_API_KEY占位实际值从环境变量或本地安全文件读取。 第三ANTHROPIC_*只给 Claude Code不要复制到 Codex 的config.toml。配置后可以这样验证claude --version claude 读取 prompts/label_schema.md检查 scene 和 main_object 的枚举是否有冲突只输出检查结果。如果 Claude Code 报 401先确认当前 shell 是否覆盖了ANTHROPIC_API_KEYecho $ANTHROPIC_API_KEY如果输出为空或者输出的是旧 Key说明 CC Switch 或 shell profile 里还有残留配置。Claude Code 文档入口在文末 CTA 里需要更细的字段说明时可以对照文档检查。6. Codex 接入config.toml 用 TAOTOKEN_API_KEY不要套 ANTHROPIC_*Codex 的配置路径通常是~/.codex/config.toml。它不使用ANTHROPIC_*所以不要为了省事把 Claude Code 的环境变量套过来。一个可复制的配置骨架如下model YOUR_CODEX_MODEL model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api chat然后在当前 shell 中导出 Keyexport TAOTOKEN_API_KEYYOUR_API_KEY codex如果 Codex 提示找不到 Key检查两点env_key TAOTOKEN_API_KEY是否与 shell 变量名完全一致。~/.codex/config.toml是否被其他 profile 覆盖。如果 Codex 提示模型不存在先到模型对话页面确认模型名再替换YOUR_CODEX_MODEL。不要猜模型名也不要把 Claude 的模型名直接填进 Codex 配置。如果 Codex 请求路径不匹配优先保持base_url https://taotoken.net/api再根据 Codex 客户端版本确认是否需要补/v1。核心原则是Claude Code 用 Claude Code 的配置Codex 用 Codex 的配置两套 Key 可以来自同一个 TaoToken 控制台但环境变量不要混。7. CC Switch 三件套Claude Code、Codex、批处理 Key 隔离开如果你用 CC Switch 管理多个供应商建议把配置拆成三件套而不是把所有变量塞进一个文件Claude Code 供应商配置settings.json只包含ANTHROPIC_*。Codex 供应商配置config.toml只包含TAOTOKEN_API_KEY和base_url。批处理环境变量.env只包含TAOTOKEN_API_KEY、TAOTOKEN_BASE_URL、MULTIMODAL_MODEL。这样切换时CC Switch 只改当前工具的 profile不会把批处理 Key 带进 Coding Agent。一个简单的切换检查脚本可以这样写#!/usr/bin/env bash set -euo pipefail # 只用于 Claude Code 会话 export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_API_KEYYOUR_API_KEY export ANTHROPIC_MODELYOUR_CLAUDE_MODEL export ANTHROPIC_SMALL_FAST_MODELYOUR_CLAUDE_FAST_MODEL echo Claude Code - TaoToken profile activated这个脚本不要用于启动 Codex。Codex 单独用#!/usr/bin/env bash set -euo pipefail # 只用于 Codex 会话 export TAOTOKEN_API_KEYYOUR_API_KEY echo Codex - TaoToken profile activated请确认 ~/.codex/config.toml 中 base_urlhttps://taotoken.net/api批处理脚本再单独读.env#!/usr/bin/env bash set -euo pipefail set -a source .env set a python scripts/annotate_agent.pyCC Switch 切换后按这个清单检查当前 profile 是否指向 TaoToken。echo $TAOTOKEN_API_KEY是否与当前 Key 一致。Claude Code 中是否残留旧ANTHROPIC_BASE_URL。Codex 中是否误写ANTHROPIC_*。批处理脚本是否读.env而不是读 shell 历史里的旧变量。Base URL 是否保持https://taotoken.net/api没有误加 UTM。8. Agent Key 调用记录本地 SQLite 表与 Token 消耗字段多模态工程师关注 Token 消耗是因为图片输入、重试、长 prompt、JSON 输出会同时放大成本。建议每次 Agent 调用都写本地 SQLite不要让 Agent 直连生产库。先建表CREATE TABLE IF NOT EXISTS agent_calls ( id INTEGER PRIMARY KEY AUTOINCREMENT, request_id TEXT, task_id TEXT, stage TEXT, model TEXT, input_tokens INTEGER, output_tokens INTEGER, total_tokens INTEGER, latency_ms INTEGER, status TEXT, error_code TEXT, created_at TEXT DEFAULT (datetime(now)) );插入记录INSERT INTO agent_calls ( request_id, task_id, stage, model, input_tokens, output_tokens, total_tokens, latency_ms, status, error_code ) VALUES ( req_001, task_20240501_001, annotate, YOUR_MULTIMODAL_MODEL, 1200, 180, 1380, 2350, ok, );按模型汇总SELECT model, COUNT(*) AS calls, SUM(total_tokens) AS tokens, AVG(latency_ms) AS avg_latency_ms FROM agent_calls GROUP BY model ORDER BY tokens DESC;按任务查看失败重试SELECT task_id, stage, status, error_code, COUNT(*) AS attempts FROM agent_calls WHERE status ! ok GROUP BY task_id, stage, status, error_code ORDER BY attempts DESC;在 Python 里记录调用import os import sqlite3 import time import uuid from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) DB_PATH records/agent_calls.sqlite def record_call(request_id, task_id, stage, model, usage, latency_ms, status, error_code): conn sqlite3.connect(DB_PATH) conn.execute( INSERT INTO agent_calls ( request_id, task_id, stage, model, input_tokens, output_tokens, total_tokens, latency_ms, status, error_code ) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?) , ( request_id, task_id, stage, model, usage.prompt_tokens if usage else 0, usage.completion_tokens if usage else 0, usage.total_tokens if usage else 0, latency_ms, status, error_code, ), ) conn.commit() conn.close() def annotate_image(task_id, image_url): model os.environ.get(MULTIMODAL_MODEL, YOUR_MULTIMODAL_MODEL) request_id freq_{uuid.uuid4().hex[:12]} start time.time() status ok error_code usage None try: resp client.chat.completions.create( modelmodel, messages[ { role: user, content: [ {type: text, text: 请输出图片主体、场景和可见文字只返回 JSON。}, {type: image_url, image_url: {url: image_url}}, ], } ], temperature0, ) usage resp.usage content resp.choices[0].message.content return content except Exception as exc: status error error_code exc.__class__.__name__ raise finally: latency_ms int((time.time() - start) * 1000) record_call(request_id, task_id, annotate, model, usage, latency_ms, status, error_code)这样每次标注调用都能对应到task_id、模型、Token 和延迟。多模态标注中建议额外记录图片宽高、文件大小、prompt 版本。图片越大输入 Token 越高重试越多总 Token 越高。把request_id写进日志后面和 TaoToken 控制台记录对账会容易很多。9. 排障清单401、404、429、400 与模型名错误多模态标注 Agent 接入 TaoToken 时常见报错可以按下面顺序排查。401 Unauthorized检查TAOTOKEN_API_KEY是否从 TaoToken API Keys 页面创建是否复制完整是否有多余空格。Claude Code 检查ANTHROPIC_API_KEYCodex 检查TAOTOKEN_API_KEY。两个变量不要互换。404 Not Found / model not found先确认 Base URL 是https://taotoken.net/api。手动 curl 时路径用/api/v1/chat/completions。模型名不要猜到模型对话页面确认后再填。Claude Code 的模型名和 Codex 的模型名不一定相同。429 Rate Limit多模态批处理容易并发过高。把 Agent 并发降到可控范围增加指数退避和随机抖动。同一张图重复调用前先查缓存用图片 hash 加 prompt hash 做缓存键。400 Context Length Exceeded图片太大、抽帧太多、prompt 太长都会触发。先缩放图片减少单次输入帧数或者把长标签规范拆成两阶段第一阶段让模型输出简短 JSON第二阶段本地规则补全。Claude Code 读不到配置检查~/.claude/settings.json或项目.claude/settings.json是否存在CC Switch 是否覆盖了当前 profile。ANTHROPIC_*只给 Claude Code 用。Codex 读不到配置检查~/.codex/config.toml确认env_key TAOTOKEN_API_KEY与 shell 变量一致。不要把ANTHROPIC_*写进 Codex 配置。批处理脚本 Key 串了检查.env是否被正确 source当前 shell 是否残留旧变量。可以在脚本开头打印 Key 的后四位不要打印完整 Key。10. 把标注流水线交给 Agent人工保留哪些检查点Agent 适合接手批量、重复、可结构化的部分调用多模态模型、解析 JSON、重试失败请求、记录 Token、生成抽检清单。人需要保留的是规则制定和最终判断标签规范由人写尤其是枚举边界和“unknown”的判定。校验规则由人定例如置信度低于阈值必须转人工。抽检由人做按任务、模型、阶段分层抽样。回写生产库由人审批Agent 只写本地 SQLite 或 CSV。Key 权限由人管批处理 Key、Coding Key、人工试用 Key 分开。可复现产出可以固定为三份文件records/annotations.sqlite # 标注结果 records/agent_calls.sqlite # Agent Key 调用记录 records/qa_sample.csv # 人工抽检样本当你能按task_id查到一次标注的输入图片、prompt 版本、模型名、Token 消耗、重试次数和人工复核结果这条多模态标注流水线才算真正可运维。Agent 是能力放大器但放大的前提是 Key、Base URL、调用记录和人工检查点都在正确的位置。11. 文末 CTA按顺序完成四步如果你准备把多模态标注流水线接到 Agent可以按下面顺序走先到模型对话页面试多模态 prompt 和模型名https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_chat需要 Coding Agent 参与脚本维护查看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_plan创建批处理 Key 和 Coding Key分别隔离使用https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_keyClaude Code 的settings.json和ANTHROPIC_*配置对照文档检查https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_claude最后再回到官网确认最新控制台入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_end配置时记住两个固定值工具里的 Base URL 用https://taotoken.net/apiKey 用YOUR_API_KEY占位。先把多模态标注跑成可记录、可抽检、可回放的本地闭环再让 Agent 放大产能。 用多模态模型做标注，TaoToken 给 Agent 供 Key
1. 从“Agent 能力放大器”到多模态标注先把 Key 和 Base URL 统一最近关于 Agent 是“能力放大器”的讨论很多但落到多模态标注工程里问题会变得非常具体一条标注流水线里可能有素材预处理、图像理解、OCR、目标属性抽取、标签归一化、质检 Agent每一个环节都要调模型。Key 散落在不同工具、Base URL 改来改去、Token 消耗看不见Agent 越能干账单越难解释。比较稳的做法是先把供应商入口统一到 TaoToken在官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_intro 注册并创建 Key然后把所有支持自定义 Base URL 的工具统一指向https://taotoken.net/api。Key 统一用YOUR_API_KEY占位不写进代码仓库。本文给出一条可复现的多模态标注流程和 Agent Key 调用记录方案。为什么不是直接用某个模型自带账号因为多模态标注 Agent 的调用模式不是单轮对话它会自动重试、分块、抽帧、生成 JSON、再让另一个模型审核。Token 消耗会同时出现在图片输入、长 prompt、结构化输出、重试里。统一 Key 后至少能做三件事按任务打标签、按模型看单价、按 Key 限并发。很多团队一开始把 Key 写进.env后来 Claude Code、Codex、批处理脚本各拿一份最后出现 401 时已经分不清是哪套配置在生效。本文的路线是先在 TaoToken 创建 Key再把 Base URL 设为https://taotoken.net/api接着分别配置 Claude Code 的settings.json、Codex 的config.toml、CC Switch 三件套最后用本地 SQLite 记录每次 Agent 调用。产出不是“跑通一次”而是一条可复现、可审计、可抽检的多模态标注流水线。2. 多模态标注 Agent 的 Key 供应链三条链路要分开多模态标注里最常见的错误是把“人工试 prompt 的 Key”和“Agent 批量跑的 Key”混在一起。结果一跑批处理人工对话页面被限流或者 Coding Agent 在改脚本时把生产标注 Key 带进了测试请求。建议至少拆成三条链路人工交互链路用于在模型对话页面探索标注规则、试多模态 prompt、确认模型名。批处理链路用于annotate_agent.py这类脚本按task_id批量调用记录 Token。Coding Agent 链路用于 Claude Code、Codex 等工具改脚本、查报错、生成结构化校验逻辑。在 TaoToken 控制台可以分别创建 Key。入口是 API Keys 页面https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_keys 。创建后不要直接粘贴到聊天窗口先写入本地.env或系统环境变量。一个推荐的环境变量约定# 批处理 Agent 使用 export TAOTOKEN_API_KEYYOUR_API_KEY export TAOTOKEN_BASE_URLhttps://taotoken.net/api export MULTIMODAL_MODELYOUR_MULTIMODAL_MODEL # Claude Code 单独使用只给 Claude Code 会话加载 export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_API_KEYYOUR_API_KEY注意ANTHROPIC_*只给 Claude Code 用不要写进 Codex 的config.toml。Codex 用config.toml和TAOTOKEN_API_KEY这套边界后面会展开。如果你需要先确认可用模型名和对话效果可以打开模型对话 deep linkhttps://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_chat 。在页面里试一张图要求模型输出固定 JSON 字段确认字段名和枚举值符合你的标注规范再写进脚本。3. 多模态标注流程的最小可复现骨架一条可复现的多模态标注流程不需要一开始就上很重的平台。先跑通最小闭环素材入库图片或视频抽帧写入本地目录生成task_id。预处理缩放、去重、抽帧、OCR 候选提取。多模态模型标注输入图片和标签规范输出 JSON。规则校验检查枚举、置信度、空值、字段类型。人工抽检按 5% 到 10% 抽样复核。本地回写先写 SQLite 或 CSV不直接写生产库。调用记录每次模型调用写入agent_calls表。目录可以这样组织annotation-pipeline/ data/ raw/ frames/ processed/ prompts/ label_schema.md annotate_prompt.txt scripts/ annotate_agent.py validate_json.py record_call.py records/ annotations.sqlite agent_calls.sqlite .env .gitignore.env文件示例TAOTOKEN_API_KEYYOUR_API_KEY TAOTOKEN_BASE_URLhttps://taotoken.net/api MULTIMODAL_MODELYOUR_MULTIMODAL_MODEL.gitignore至少包含.env records/*.sqlite data/raw/ data/frames/ data/processed/多模态标注的 prompt 不要每次让 Agent 自由发挥。把标签规范写成label_schema.md在 prompt 里强制模型只输出 JSON。例如你是图像标注助手。请根据以下标签规范对输入图片输出 JSON。 标签规范 - scene: indoor / outdoor / street / office / unknown - main_object: person / car / animal / package / document / unknown - visible_text: 有则原文无则空字符串 - confidence: 0 到 1 只输出 JSON不要输出解释。然后 Agent 负责把图片、prompt、模型名、返回结果、Token 用量、延迟写进本地记录。这样后面排查“为什么某个标签错得特别多”时可以按模型、阶段、prompt 版本回放。4. 在 TaoToken 创建 Key 并验证多模态调用先到 TaoToken 官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_flow 创建账号并进入控制台。然后在 API Keys 页面创建 Key复制后写入本地环境变量export TAOTOKEN_API_KEYYOUR_API_KEY工具配置里的 Base URL 统一写https://taotoken.net/api不要在这个 Base URL 后面加 UTM 参数UTM 只用于本文里的官网和 CTA 链接。手动 curl 验证时路径通常需要补/v1/chat/completionscurl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: YOUR_MULTIMODAL_MODEL, messages: [ { role: user, content: [ { type: text, text: 请描述这张图片中的主体、场景和可见文字只输出 JSON。 }, { type: image_url, image_url: { url: https://example.com/demo.jpg } } ] } ], temperature: 0 }如果返回 401先检查 Key 是否复制完整、是否有多余空格。如果返回 404检查 curl 路径是不是/api/v1/chat/completions以及模型名是否在模型对话页面里可见。如果返回 400常见原因是图片 URL 不可访问或者图片太大导致上下文超限。在 Python 里调用时可以用 OpenAI 兼容客户端import os from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) MODEL os.environ.get(MULTIMODAL_MODEL, YOUR_MULTIMODAL_MODEL) resp client.chat.completions.create( modelMODEL, messages[ { role: user, content: [ {type: text, text: 请输出图片主体、场景和可见文字只返回 JSON。}, {type: image_url, image_url: {url: https://example.com/demo.jpg}}, ], } ], temperature0, ) print(resp.choices[0].message.content) print(resp.usage)如果客户端要求更完整的路径可以在本地确认后再决定是否把base_url写成https://taotoken.net/api/v1。但工具配置层面的基准仍然是https://taotoken.net/api。5. Claude Code 接入settings.json 与 ANTHROPIC_* 不要混用 Codex 配置Claude Code 适合做标注脚本维护、prompt 模板整理、JSON schema 校验、排错。配置时只使用ANTHROPIC_*系列变量写入~/.claude/settings.json或项目级.claude/settings.json{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_MODEL: YOUR_CLAUDE_MODEL, ANTHROPIC_SMALL_FAST_MODEL: YOUR_CLAUDE_FAST_MODEL } }这里的关键点有三个第一ANTHROPIC_BASE_URL写https://taotoken.net/api不要带 UTM。 第二ANTHROPIC_API_KEY用YOUR_API_KEY占位实际值从环境变量或本地安全文件读取。 第三ANTHROPIC_*只给 Claude Code不要复制到 Codex 的config.toml。配置后可以这样验证claude --version claude 读取 prompts/label_schema.md检查 scene 和 main_object 的枚举是否有冲突只输出检查结果。如果 Claude Code 报 401先确认当前 shell 是否覆盖了ANTHROPIC_API_KEYecho $ANTHROPIC_API_KEY如果输出为空或者输出的是旧 Key说明 CC Switch 或 shell profile 里还有残留配置。Claude Code 文档入口在文末 CTA 里需要更细的字段说明时可以对照文档检查。6. Codex 接入config.toml 用 TAOTOKEN_API_KEY不要套 ANTHROPIC_*Codex 的配置路径通常是~/.codex/config.toml。它不使用ANTHROPIC_*所以不要为了省事把 Claude Code 的环境变量套过来。一个可复制的配置骨架如下model YOUR_CODEX_MODEL model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api chat然后在当前 shell 中导出 Keyexport TAOTOKEN_API_KEYYOUR_API_KEY codex如果 Codex 提示找不到 Key检查两点env_key TAOTOKEN_API_KEY是否与 shell 变量名完全一致。~/.codex/config.toml是否被其他 profile 覆盖。如果 Codex 提示模型不存在先到模型对话页面确认模型名再替换YOUR_CODEX_MODEL。不要猜模型名也不要把 Claude 的模型名直接填进 Codex 配置。如果 Codex 请求路径不匹配优先保持base_url https://taotoken.net/api再根据 Codex 客户端版本确认是否需要补/v1。核心原则是Claude Code 用 Claude Code 的配置Codex 用 Codex 的配置两套 Key 可以来自同一个 TaoToken 控制台但环境变量不要混。7. CC Switch 三件套Claude Code、Codex、批处理 Key 隔离开如果你用 CC Switch 管理多个供应商建议把配置拆成三件套而不是把所有变量塞进一个文件Claude Code 供应商配置settings.json只包含ANTHROPIC_*。Codex 供应商配置config.toml只包含TAOTOKEN_API_KEY和base_url。批处理环境变量.env只包含TAOTOKEN_API_KEY、TAOTOKEN_BASE_URL、MULTIMODAL_MODEL。这样切换时CC Switch 只改当前工具的 profile不会把批处理 Key 带进 Coding Agent。一个简单的切换检查脚本可以这样写#!/usr/bin/env bash set -euo pipefail # 只用于 Claude Code 会话 export ANTHROPIC_BASE_URLhttps://taotoken.net/api export ANTHROPIC_API_KEYYOUR_API_KEY export ANTHROPIC_MODELYOUR_CLAUDE_MODEL export ANTHROPIC_SMALL_FAST_MODELYOUR_CLAUDE_FAST_MODEL echo Claude Code - TaoToken profile activated这个脚本不要用于启动 Codex。Codex 单独用#!/usr/bin/env bash set -euo pipefail # 只用于 Codex 会话 export TAOTOKEN_API_KEYYOUR_API_KEY echo Codex - TaoToken profile activated请确认 ~/.codex/config.toml 中 base_urlhttps://taotoken.net/api批处理脚本再单独读.env#!/usr/bin/env bash set -euo pipefail set -a source .env set a python scripts/annotate_agent.pyCC Switch 切换后按这个清单检查当前 profile 是否指向 TaoToken。echo $TAOTOKEN_API_KEY是否与当前 Key 一致。Claude Code 中是否残留旧ANTHROPIC_BASE_URL。Codex 中是否误写ANTHROPIC_*。批处理脚本是否读.env而不是读 shell 历史里的旧变量。Base URL 是否保持https://taotoken.net/api没有误加 UTM。8. Agent Key 调用记录本地 SQLite 表与 Token 消耗字段多模态工程师关注 Token 消耗是因为图片输入、重试、长 prompt、JSON 输出会同时放大成本。建议每次 Agent 调用都写本地 SQLite不要让 Agent 直连生产库。先建表CREATE TABLE IF NOT EXISTS agent_calls ( id INTEGER PRIMARY KEY AUTOINCREMENT, request_id TEXT, task_id TEXT, stage TEXT, model TEXT, input_tokens INTEGER, output_tokens INTEGER, total_tokens INTEGER, latency_ms INTEGER, status TEXT, error_code TEXT, created_at TEXT DEFAULT (datetime(now)) );插入记录INSERT INTO agent_calls ( request_id, task_id, stage, model, input_tokens, output_tokens, total_tokens, latency_ms, status, error_code ) VALUES ( req_001, task_20240501_001, annotate, YOUR_MULTIMODAL_MODEL, 1200, 180, 1380, 2350, ok, );按模型汇总SELECT model, COUNT(*) AS calls, SUM(total_tokens) AS tokens, AVG(latency_ms) AS avg_latency_ms FROM agent_calls GROUP BY model ORDER BY tokens DESC;按任务查看失败重试SELECT task_id, stage, status, error_code, COUNT(*) AS attempts FROM agent_calls WHERE status ! ok GROUP BY task_id, stage, status, error_code ORDER BY attempts DESC;在 Python 里记录调用import os import sqlite3 import time import uuid from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api ) DB_PATH records/agent_calls.sqlite def record_call(request_id, task_id, stage, model, usage, latency_ms, status, error_code): conn sqlite3.connect(DB_PATH) conn.execute( INSERT INTO agent_calls ( request_id, task_id, stage, model, input_tokens, output_tokens, total_tokens, latency_ms, status, error_code ) VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?) , ( request_id, task_id, stage, model, usage.prompt_tokens if usage else 0, usage.completion_tokens if usage else 0, usage.total_tokens if usage else 0, latency_ms, status, error_code, ), ) conn.commit() conn.close() def annotate_image(task_id, image_url): model os.environ.get(MULTIMODAL_MODEL, YOUR_MULTIMODAL_MODEL) request_id freq_{uuid.uuid4().hex[:12]} start time.time() status ok error_code usage None try: resp client.chat.completions.create( modelmodel, messages[ { role: user, content: [ {type: text, text: 请输出图片主体、场景和可见文字只返回 JSON。}, {type: image_url, image_url: {url: image_url}}, ], } ], temperature0, ) usage resp.usage content resp.choices[0].message.content return content except Exception as exc: status error error_code exc.__class__.__name__ raise finally: latency_ms int((time.time() - start) * 1000) record_call(request_id, task_id, annotate, model, usage, latency_ms, status, error_code)这样每次标注调用都能对应到task_id、模型、Token 和延迟。多模态标注中建议额外记录图片宽高、文件大小、prompt 版本。图片越大输入 Token 越高重试越多总 Token 越高。把request_id写进日志后面和 TaoToken 控制台记录对账会容易很多。9. 排障清单401、404、429、400 与模型名错误多模态标注 Agent 接入 TaoToken 时常见报错可以按下面顺序排查。401 Unauthorized检查TAOTOKEN_API_KEY是否从 TaoToken API Keys 页面创建是否复制完整是否有多余空格。Claude Code 检查ANTHROPIC_API_KEYCodex 检查TAOTOKEN_API_KEY。两个变量不要互换。404 Not Found / model not found先确认 Base URL 是https://taotoken.net/api。手动 curl 时路径用/api/v1/chat/completions。模型名不要猜到模型对话页面确认后再填。Claude Code 的模型名和 Codex 的模型名不一定相同。429 Rate Limit多模态批处理容易并发过高。把 Agent 并发降到可控范围增加指数退避和随机抖动。同一张图重复调用前先查缓存用图片 hash 加 prompt hash 做缓存键。400 Context Length Exceeded图片太大、抽帧太多、prompt 太长都会触发。先缩放图片减少单次输入帧数或者把长标签规范拆成两阶段第一阶段让模型输出简短 JSON第二阶段本地规则补全。Claude Code 读不到配置检查~/.claude/settings.json或项目.claude/settings.json是否存在CC Switch 是否覆盖了当前 profile。ANTHROPIC_*只给 Claude Code 用。Codex 读不到配置检查~/.codex/config.toml确认env_key TAOTOKEN_API_KEY与 shell 变量一致。不要把ANTHROPIC_*写进 Codex 配置。批处理脚本 Key 串了检查.env是否被正确 source当前 shell 是否残留旧变量。可以在脚本开头打印 Key 的后四位不要打印完整 Key。10. 把标注流水线交给 Agent人工保留哪些检查点Agent 适合接手批量、重复、可结构化的部分调用多模态模型、解析 JSON、重试失败请求、记录 Token、生成抽检清单。人需要保留的是规则制定和最终判断标签规范由人写尤其是枚举边界和“unknown”的判定。校验规则由人定例如置信度低于阈值必须转人工。抽检由人做按任务、模型、阶段分层抽样。回写生产库由人审批Agent 只写本地 SQLite 或 CSV。Key 权限由人管批处理 Key、Coding Key、人工试用 Key 分开。可复现产出可以固定为三份文件records/annotations.sqlite # 标注结果 records/agent_calls.sqlite # Agent Key 调用记录 records/qa_sample.csv # 人工抽检样本当你能按task_id查到一次标注的输入图片、prompt 版本、模型名、Token 消耗、重试次数和人工复核结果这条多模态标注流水线才算真正可运维。Agent 是能力放大器但放大的前提是 Key、Base URL、调用记录和人工检查点都在正确的位置。11. 文末 CTA按顺序完成四步如果你准备把多模态标注流水线接到 Agent可以按下面顺序走先到模型对话页面试多模态 prompt 和模型名https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_chat需要 Coding Agent 参与脚本维护查看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_plan创建批处理 Key 和 Coding Key分别隔离使用https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_keyClaude Code 的settings.json和ANTHROPIC_*配置对照文档检查https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_cta_claude最后再回到官网确认最新控制台入口https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmm_annotation_end配置时记住两个固定值工具里的 Base URL 用https://taotoken.net/apiKey 用YOUR_API_KEY占位。先把多模态标注跑成可记录、可抽检、可回放的本地闭环再让 Agent 放大产能。