网关篇 · 01AI 网关介绍与主流方案全景本篇定位AI 网关 / Token 网关系列的第一篇回答三个问题为什么需要 AI 网关一个合格的 AI 网关应该具备哪些核心能力市面上主流的方案有哪些——开源自建、云原生、商业托管各是什么定位资料来源各项目官网与官方文档、多家厂商对比文章均为 2026-09 数据链接见文末。一、为什么需要 AI 网关 / Token 网关当一个组织用 AI 用到一定规模必然会撞上这几堵墙痛点具体表现接入碎片化每家模型厂商的 API 格式、SDK、鉴权方式都不同切换模型 改代码成本失控多个团队/项目共用额度没人说得清这个月 Token 花在哪了稳定性差单一供应商限流/宕机直接打断业务没有自动切换安全合规上层应用直接持有原始 API Key泄露风险高缺乏审计与内容护栏重复造轮子每个团队自己写重试、缓存、计费逻辑AI 网关AI Gateway / Token 网关就是插在应用和模型供应商之间的一层代理服务把上面这些问题统一收口┌──────────┐ ┌──────────┐ ┌──────────┐ │ 应用 A │ │ 应用 B │ │ 应用 C │ 统一用 OpenAI 格式 └────┬─────┘ └────┬─────┘ └────┬─────┘ 各持虚拟密钥 └─────────────┼─────────────┘ ▼ ┌─────────────────────────┐ │ AI 网关鉴权/路由/ │ 虚拟密钥 → 真实密钥 │ 预算/限流/缓存/护栏/ │ 负载均衡 → 故障切换 │ 可观测性 │ 用量 → 成本归因 └───────────┬─────────────┘ ▼ ┌─────────┬─────────┬─────────┬─────────┐ │ OpenAI │Claude等 │ 国产模型 │ 私有模型 │ 100 供应商 └─────────┴─────────┴─────────┴─────────┘二、AI 网关的核心能力画像对照上面的架构图一个合格的 AI 网关通常提供八项核心能力能力说明统一接入协议归一对上暴露统一的 OpenAI 兼容 API对下适配各家厂商原生格式切换、新增模型不改业务代码虚拟密钥与密钥治理应用只持虚拟密钥真实密钥只存在网关按团队/项目发放、设有效期、随时轮换吊销预算与成本归因按 Key/团队/模型设预算上限到额即停统计每笔调用的花费回答Token 花在哪限流与配额RPM/TPM 维度的精细化限流防止单个应用拖垮全局额度负载均衡与故障切换同一模型配置多个部署/渠道按策略选路上游故障自动重试、降级到备用渠道缓存相同请求命中缓存直接返回省钱省时延进阶形态是语义缓存安全护栏PII 脱敏、提示注入检测、内容审核、审计日志可观测性请求日志、延迟/成功率/花费监控对接 Langfuse、OTEL 等观测平台需要说明的是没有哪个网关八项全能且样样精。不同流派的网关在这八项上各有取舍——本章末尾的选型对照表把 14 个主流项目 × 11 项能力八项核心能力 运营玩法、管理界面、部署门槛放到一起按自己团队最看重的能力对号入座即可。三、主流方案全景三大流派按建设方式这个赛道分三大流派自建开源网关应用层代理、云原生基础设施网关网关扩展 AI 能力、商业托管 / 聚合服务免自运维。3.1 自建开源网关应用层代理项目语言定位与特点适合谁LiteLLMPython新推 Rust 核心统一 140 提供商 最完整的企业网关功能生态最大Python 团队、需要完整网关功能的平台组One-APIGo国内最流行的轻量Token 中转 渠道计费系统Web 界面管理渠道与令牌个人/小团队自建中转站New APIGoOne-API 的活跃分支界面更现代、功能更多Midjourney、对话调试等同上想要更多花活Uni API / One-Hub 等GoOne-API 系的其它分支各有侧重已有 One-API 使用习惯的团队BifrostGo2025 年新兴高性能网关Maxim AI 出品主打低延迟对延迟敏感、Go 技术栈BricksLLMGo面向给应用发 Key、控预算的场景多租户 Key 管理场景3.2 云原生基础设施网关网关扩展 AI 能力项目语言/底座定位与特点适合谁HigressEnvoy/Istio Wasm阿里开源CNCF Sandbox云原生 AI 网关插件化鉴权/Token 限流/灰度支持 MCP Server 托管已用 K8s/Envoy 体系的企业APISIXLua/NginxAPI7老牌 API 网关的 AI 插件扩展proxy/wasm已有 APISIX 的企业Kong AI GatewayLua/GoKongAI 插件全家桶鉴权、限流、语义缓存性能基准宣传领先已有 Kong 生态的企业3.3 商业托管 / 聚合服务免自运维 这几家的商业模式靠什么赚钱、收费锚点是什么在系列后续《AI 网关的商业模式》里有逐家拆解。服务定位与特点适合谁OpenRouter模型聚合平台一个 API 买遍各家模型按量计费不想自建、直接充值用Portkey开源网关 托管平台双形态强在治理、护栏、Prompt 管理需要托管保障 治理能力的团队Cloudflare AI Gateway全托管边缘网关免费额度高、边缘缓存已在 Cloudflare 生态Helicone偏可观测性 网关一体分析面板强以监控分析为首要诉求TensorZero把网关和实验/优化闭环结合A/B、微调数据回流追求模型效果迭代的团队3.4 选型对照表能力 × 运营 × 部署结合第二章的多项能力加上三个实操维度——运营玩法兑换码 / 分组倍率 / 邀请奖励 / 充值、管理界面、部署门槛——与三大流派的项目放进一张表标注基于各项目官方文档与公开资料整理2026-09 数据。各家迭代都很快选型前请以官方最新文档为准图例✅原生支持 ⚠️部分支持 / 基础版 / 需插件或外挂 ❌缺失统一接入一列协议归一各家都做分档看的是模型 / 提供商覆盖广度项目定位统一接入/覆盖虚拟密钥预算/成本限流/配额负载均衡/切换缓存护栏可观测运营玩法管理界面部署门槛LiteLLM企业功能派自建网关Python✅ 140✅✅✅✅✅✅✅❌✅⚠️ 需 PostgreSQLOne-API轻量中转/分发GoMIT⚠️ 27✅⚠️⚠️⚠️❌❌⚠️✅✅✅ SQLite 起步New APIOne-API 活跃分支AGPL⚠️✅⚠️⚠️⚠️❌❌⚠️✅ 增在线充值✅✅One-Hub / Uni-APIOne-API 系其它分支⚠️✅⚠️⚠️⚠️❌❌⚠️✅✅✅BifrostGo 高性能低延迟网关⚠️⚠️⚠️✅✅✅⚠️⚠️❌✅✅ 单二进制BricksLLM发 Key、控预算专用⚠️✅✅✅⚠️❌❌⚠️❌❌ API 为主⚠️ 需 MongoDBHigress云原生 AI 网关阿里⚠️⚠️⚠️✅✅✅✅✅❌✅ 控制台⚠️ 典型需 K8sAPISIX老牌 API 网关 AI 插件⚠️⚠️⚠️✅✅⚠️⚠️✅❌⚠️⚠️ 需 etcdKong AI GatewayAPI 网关 AI 插件全家桶⚠️⚠️⚠️✅✅✅✅✅❌✅ Konnect⚠️ 需 DB/DB-lessOpenRouter模型聚合托管平台✅ 数百模型✅✅⚠️⚠️❌❌⚠️⚠️ 仅充值额度✅✅ 免部署Portkey开源 托管治理派✅ 200✅✅✅✅✅✅✅❌✅⚠️ 完整平台需 DBCloudflare AI Gateway边缘全托管⚠️ 主流十余家⚠️⚠️⚠️✅✅⚠️✅❌✅✅ 免部署Helicone可观测 网关一体⚠️✅✅✅⚠️✅⚠️✅❌✅⚠️ 自托管组件多TensorZero网关 实验/优化闭环⚠️❌⚠️❌⚠️⚠️❌✅❌⚠️ 偏实验⚠️ 完整观测需 ClickHouse从表里能读出几条规律全绿并不存在功能最全的 LiteLLM 和 Portkey也双双缺席运营玩法——企业网关与中转站经营是两个物种没有一个项目通吃One-API 系的护城河恰在运营玩法列全表唯一全 ✅ 组兑换码 / 倍率 / 邀请 / 充值再叠加部署门槛列的 SQLite 单机起步——这就是它成为个人中转站默认答案的完整解释云原生三家吃底座红利负载均衡、可观测天然强AI 原生能力靠官方插件渐进补齐且部署门槛普遍不轻K8s / etcd / DB托管 / 聚合服务赢在免部署 密钥预算到位输在路由策略不可深度自控运营玩法也只有充值额度一招利基项目BricksLLM 只做发 Key 控预算、TensorZero 只做实验闭环在特定维度满分但管理界面与通用能力残缺别拿它们当通用网关。3.5 流派怎么选结合上面的对照表按团队最看重的能力与运维能力做取舍个人搭中转站玩 →One-API 系Python 团队要完整网关能力密钥/预算/护栏/观测→LiteLLM已有 K8s/Envoy 基础设施要流量级治理 →Higress / APISIX / Kong完全不想自运维 →OpenRouter / Cloudflare / Portkey托管。主流项目传送门项目链接LiteLLMhttps://www.litellm.ai/ https://github.com/BerriAI/litellmOne-APIhttps://github.com/songquanpeng/one-apiNew APIhttps://github.com/QuantumNous/new-apiHigresshttps://higress.ai/APISIXhttps://apisix.apache.org/Kong AI Gatewayhttps://konghq.com/products/kong-ai-gatewayOpenRouterhttps://openrouter.ai/Portkeyhttps://portkey.ai/Cloudflare AI Gatewayhttps://developers.cloudflare.com/ai-gateway/四、小结与下篇预告AI 网关解决的是规模化用 AI的基础设施问题统一接入、密钥治理、成本归因、稳定性、安全合规五件事收口到一层代理评估一个网关对照八项核心能力统一接入、虚拟密钥、预算计费、限流配额、负载均衡/故障切换、缓存、安全护栏、可观测性三大流派各有舒适区轻量中转选 One-API 系、完整治理选 LiteLLM、云原生体系选 Higress/Kong/APISIX、免运维选商业托管。下篇预告《网关篇 · 02LiteLLM 深度解读》——58k Stars、适配 140 提供商的功能派代表也是三大流派里目前最流行的开源选择。我们把它拆开看基础信息、原理、架构模块、功能、优劣势与选型建议。参考链接7 Open-Source LiteLLM AlternativesAPI7Higress vs 其他 AI 网关对比官方2025 主流 LLM 网关评测AgentaKong AI Gateway vs Portkey vs LiteLLM 基准Kong 官方OneAPI 与 Higress 对比知乎 网关篇 · 01｜AI 网关介绍与主流方案全景
网关篇 · 01AI 网关介绍与主流方案全景本篇定位AI 网关 / Token 网关系列的第一篇回答三个问题为什么需要 AI 网关一个合格的 AI 网关应该具备哪些核心能力市面上主流的方案有哪些——开源自建、云原生、商业托管各是什么定位资料来源各项目官网与官方文档、多家厂商对比文章均为 2026-09 数据链接见文末。一、为什么需要 AI 网关 / Token 网关当一个组织用 AI 用到一定规模必然会撞上这几堵墙痛点具体表现接入碎片化每家模型厂商的 API 格式、SDK、鉴权方式都不同切换模型 改代码成本失控多个团队/项目共用额度没人说得清这个月 Token 花在哪了稳定性差单一供应商限流/宕机直接打断业务没有自动切换安全合规上层应用直接持有原始 API Key泄露风险高缺乏审计与内容护栏重复造轮子每个团队自己写重试、缓存、计费逻辑AI 网关AI Gateway / Token 网关就是插在应用和模型供应商之间的一层代理服务把上面这些问题统一收口┌──────────┐ ┌──────────┐ ┌──────────┐ │ 应用 A │ │ 应用 B │ │ 应用 C │ 统一用 OpenAI 格式 └────┬─────┘ └────┬─────┘ └────┬─────┘ 各持虚拟密钥 └─────────────┼─────────────┘ ▼ ┌─────────────────────────┐ │ AI 网关鉴权/路由/ │ 虚拟密钥 → 真实密钥 │ 预算/限流/缓存/护栏/ │ 负载均衡 → 故障切换 │ 可观测性 │ 用量 → 成本归因 └───────────┬─────────────┘ ▼ ┌─────────┬─────────┬─────────┬─────────┐ │ OpenAI │Claude等 │ 国产模型 │ 私有模型 │ 100 供应商 └─────────┴─────────┴─────────┴─────────┘二、AI 网关的核心能力画像对照上面的架构图一个合格的 AI 网关通常提供八项核心能力能力说明统一接入协议归一对上暴露统一的 OpenAI 兼容 API对下适配各家厂商原生格式切换、新增模型不改业务代码虚拟密钥与密钥治理应用只持虚拟密钥真实密钥只存在网关按团队/项目发放、设有效期、随时轮换吊销预算与成本归因按 Key/团队/模型设预算上限到额即停统计每笔调用的花费回答Token 花在哪限流与配额RPM/TPM 维度的精细化限流防止单个应用拖垮全局额度负载均衡与故障切换同一模型配置多个部署/渠道按策略选路上游故障自动重试、降级到备用渠道缓存相同请求命中缓存直接返回省钱省时延进阶形态是语义缓存安全护栏PII 脱敏、提示注入检测、内容审核、审计日志可观测性请求日志、延迟/成功率/花费监控对接 Langfuse、OTEL 等观测平台需要说明的是没有哪个网关八项全能且样样精。不同流派的网关在这八项上各有取舍——本章末尾的选型对照表把 14 个主流项目 × 11 项能力八项核心能力 运营玩法、管理界面、部署门槛放到一起按自己团队最看重的能力对号入座即可。三、主流方案全景三大流派按建设方式这个赛道分三大流派自建开源网关应用层代理、云原生基础设施网关网关扩展 AI 能力、商业托管 / 聚合服务免自运维。3.1 自建开源网关应用层代理项目语言定位与特点适合谁LiteLLMPython新推 Rust 核心统一 140 提供商 最完整的企业网关功能生态最大Python 团队、需要完整网关功能的平台组One-APIGo国内最流行的轻量Token 中转 渠道计费系统Web 界面管理渠道与令牌个人/小团队自建中转站New APIGoOne-API 的活跃分支界面更现代、功能更多Midjourney、对话调试等同上想要更多花活Uni API / One-Hub 等GoOne-API 系的其它分支各有侧重已有 One-API 使用习惯的团队BifrostGo2025 年新兴高性能网关Maxim AI 出品主打低延迟对延迟敏感、Go 技术栈BricksLLMGo面向给应用发 Key、控预算的场景多租户 Key 管理场景3.2 云原生基础设施网关网关扩展 AI 能力项目语言/底座定位与特点适合谁HigressEnvoy/Istio Wasm阿里开源CNCF Sandbox云原生 AI 网关插件化鉴权/Token 限流/灰度支持 MCP Server 托管已用 K8s/Envoy 体系的企业APISIXLua/NginxAPI7老牌 API 网关的 AI 插件扩展proxy/wasm已有 APISIX 的企业Kong AI GatewayLua/GoKongAI 插件全家桶鉴权、限流、语义缓存性能基准宣传领先已有 Kong 生态的企业3.3 商业托管 / 聚合服务免自运维 这几家的商业模式靠什么赚钱、收费锚点是什么在系列后续《AI 网关的商业模式》里有逐家拆解。服务定位与特点适合谁OpenRouter模型聚合平台一个 API 买遍各家模型按量计费不想自建、直接充值用Portkey开源网关 托管平台双形态强在治理、护栏、Prompt 管理需要托管保障 治理能力的团队Cloudflare AI Gateway全托管边缘网关免费额度高、边缘缓存已在 Cloudflare 生态Helicone偏可观测性 网关一体分析面板强以监控分析为首要诉求TensorZero把网关和实验/优化闭环结合A/B、微调数据回流追求模型效果迭代的团队3.4 选型对照表能力 × 运营 × 部署结合第二章的多项能力加上三个实操维度——运营玩法兑换码 / 分组倍率 / 邀请奖励 / 充值、管理界面、部署门槛——与三大流派的项目放进一张表标注基于各项目官方文档与公开资料整理2026-09 数据。各家迭代都很快选型前请以官方最新文档为准图例✅原生支持 ⚠️部分支持 / 基础版 / 需插件或外挂 ❌缺失统一接入一列协议归一各家都做分档看的是模型 / 提供商覆盖广度项目定位统一接入/覆盖虚拟密钥预算/成本限流/配额负载均衡/切换缓存护栏可观测运营玩法管理界面部署门槛LiteLLM企业功能派自建网关Python✅ 140✅✅✅✅✅✅✅❌✅⚠️ 需 PostgreSQLOne-API轻量中转/分发GoMIT⚠️ 27✅⚠️⚠️⚠️❌❌⚠️✅✅✅ SQLite 起步New APIOne-API 活跃分支AGPL⚠️✅⚠️⚠️⚠️❌❌⚠️✅ 增在线充值✅✅One-Hub / Uni-APIOne-API 系其它分支⚠️✅⚠️⚠️⚠️❌❌⚠️✅✅✅BifrostGo 高性能低延迟网关⚠️⚠️⚠️✅✅✅⚠️⚠️❌✅✅ 单二进制BricksLLM发 Key、控预算专用⚠️✅✅✅⚠️❌❌⚠️❌❌ API 为主⚠️ 需 MongoDBHigress云原生 AI 网关阿里⚠️⚠️⚠️✅✅✅✅✅❌✅ 控制台⚠️ 典型需 K8sAPISIX老牌 API 网关 AI 插件⚠️⚠️⚠️✅✅⚠️⚠️✅❌⚠️⚠️ 需 etcdKong AI GatewayAPI 网关 AI 插件全家桶⚠️⚠️⚠️✅✅✅✅✅❌✅ Konnect⚠️ 需 DB/DB-lessOpenRouter模型聚合托管平台✅ 数百模型✅✅⚠️⚠️❌❌⚠️⚠️ 仅充值额度✅✅ 免部署Portkey开源 托管治理派✅ 200✅✅✅✅✅✅✅❌✅⚠️ 完整平台需 DBCloudflare AI Gateway边缘全托管⚠️ 主流十余家⚠️⚠️⚠️✅✅⚠️✅❌✅✅ 免部署Helicone可观测 网关一体⚠️✅✅✅⚠️✅⚠️✅❌✅⚠️ 自托管组件多TensorZero网关 实验/优化闭环⚠️❌⚠️❌⚠️⚠️❌✅❌⚠️ 偏实验⚠️ 完整观测需 ClickHouse从表里能读出几条规律全绿并不存在功能最全的 LiteLLM 和 Portkey也双双缺席运营玩法——企业网关与中转站经营是两个物种没有一个项目通吃One-API 系的护城河恰在运营玩法列全表唯一全 ✅ 组兑换码 / 倍率 / 邀请 / 充值再叠加部署门槛列的 SQLite 单机起步——这就是它成为个人中转站默认答案的完整解释云原生三家吃底座红利负载均衡、可观测天然强AI 原生能力靠官方插件渐进补齐且部署门槛普遍不轻K8s / etcd / DB托管 / 聚合服务赢在免部署 密钥预算到位输在路由策略不可深度自控运营玩法也只有充值额度一招利基项目BricksLLM 只做发 Key 控预算、TensorZero 只做实验闭环在特定维度满分但管理界面与通用能力残缺别拿它们当通用网关。3.5 流派怎么选结合上面的对照表按团队最看重的能力与运维能力做取舍个人搭中转站玩 →One-API 系Python 团队要完整网关能力密钥/预算/护栏/观测→LiteLLM已有 K8s/Envoy 基础设施要流量级治理 →Higress / APISIX / Kong完全不想自运维 →OpenRouter / Cloudflare / Portkey托管。主流项目传送门项目链接LiteLLMhttps://www.litellm.ai/ https://github.com/BerriAI/litellmOne-APIhttps://github.com/songquanpeng/one-apiNew APIhttps://github.com/QuantumNous/new-apiHigresshttps://higress.ai/APISIXhttps://apisix.apache.org/Kong AI Gatewayhttps://konghq.com/products/kong-ai-gatewayOpenRouterhttps://openrouter.ai/Portkeyhttps://portkey.ai/Cloudflare AI Gatewayhttps://developers.cloudflare.com/ai-gateway/四、小结与下篇预告AI 网关解决的是规模化用 AI的基础设施问题统一接入、密钥治理、成本归因、稳定性、安全合规五件事收口到一层代理评估一个网关对照八项核心能力统一接入、虚拟密钥、预算计费、限流配额、负载均衡/故障切换、缓存、安全护栏、可观测性三大流派各有舒适区轻量中转选 One-API 系、完整治理选 LiteLLM、云原生体系选 Higress/Kong/APISIX、免运维选商业托管。下篇预告《网关篇 · 02LiteLLM 深度解读》——58k Stars、适配 140 提供商的功能派代表也是三大流派里目前最流行的开源选择。我们把它拆开看基础信息、原理、架构模块、功能、优劣势与选型建议。参考链接7 Open-Source LiteLLM AlternativesAPI7Higress vs 其他 AI 网关对比官方2025 主流 LLM 网关评测AgentaKong AI Gateway vs Portkey vs LiteLLM 基准Kong 官方OneAPI 与 Higress 对比知乎