两分钟把一个 API 接到 1600 个大模型Portkey AI Gateway 上手实践【免费下载链接】gatewayA blazing fast AI Gateway with integrated guardrails. Route to 1,600 LLMs, 50 AI Guardrails with 1 fast friendly API.项目地址: https://gitcode.com/GitHub_Trending/ga/gateway还在把各家大模型的 API 硬编码进业务代码Portkey AI Gateway 是一个开源 AI 网关一个 OpenAI 兼容端点路由到 1600 个模型重试、回退、护栏都用一份 JSON 配置完成网关自身增加的延迟不到 1ms。模型供应商宕机不必改生产代码某天早上你调用的模型服务集体返回 429产品趴了一个小时。如果请求前面有一层网关宕机就变成一个改配置文件的问题代码不动流量自动切到备用供应商。Portkey AI Gateway 就是夹在你的应用和各家模型供应商之间的那个部件。一条命令起本地网关OpenAI 客户端原样可用有 Node.js 的终端里npx portkey-ai/gateway # 启动后服务在 http://localhost:8787/v1一行搞定。把 OpenAI SDK 的 baseURL 指过去、带上供应商密钥chat、completions、embeddings 都能发。src/providers/ 下 60 多个目录一个目录对应一家供应商的协议转换OpenAI、Anthropic、Groq、Bedrock、Ollama 都在请求格式完全一致。http://localhost:8787/public/ 是本地控制台请求日志实时可查。限流来了重试、回退、负载均衡都写在一份 JSON 里把一段 config 挂在请求头里网关照单执行{ retry: { attempts: 5 }, strategy: { mode: loadbalance }, targets: [{ provider: openai }, { provider: anthropic }] }一句话总结失败自动重试 5 次同时按权重把流量切给两家供应商还能把某个供应商塞进 target 当 fallback第一个挂了自动转给下一个备用模型不一样时可用 override_params 覆盖提示词。完整例子见 cookbook。50 护栏检查拦请求也能拒响应网关对输入和输出都能做判定。内置检查包括正则匹配、违禁词检测、响应 JSON 结构校验、模型白名单清单在 plugins/default/manifest.json另有 PII 检测等第三方插件。用法是在 config 里写 output_guardrails命中即返回 246内容不会放给用户。网关自身的密钥和插件开关单独配在 conf.example.json。三步验证起服务、发一个请求、查日志不放心就动手npx portkey-ai/gateway起服务把任意 OpenAI 兼容客户端指向http://localhost:8787/v1、带上模型供应商的 key。第一条响应回来后刷一下控制台链路验证完毕。适合谁什么时候值得用什么时候不用只调一家供应商的一个模型、流量不大直连就够了多一层网关就是多一跳、多一次部署。接了两家以上供应商、在意限流宕机、要给内容做安全拦截、想不改代码换模型网关就能回本——供应商用得越多回本越快。记一句话业务代码只写一次用哪个模型、挂了切给谁、拦什么全部进配置文件。【免费下载链接】gatewayA blazing fast AI Gateway with integrated guardrails. Route to 1,600 LLMs, 50 AI Guardrails with 1 fast friendly API.项目地址: https://gitcode.com/GitHub_Trending/ga/gateway创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考