AutoAgent 接入 LiteLLM Proxy统一 LLM 网关配置指南与源码级原理解析【免费下载链接】AutoAgentAutoAgent: Fully-Automated and Zero-Code LLM Agent Framework项目地址: https://gitcode.com/GitHub_Trending/au/AutoAgent本篇技术指南围绕 AutoAgent 如何通过 LiteLLM Proxy 这一统一代理网关接入各类 LLM 提供商展开先给出完整的配置路径自定义模型前缀、Base URL、API Key 三要素再结合仓库源码剖析 LiteLLM 在 AutoAgent 调用链中的实际作用帮助你既能在几分钟内跑通代理接入也能理解其底层原理从而按需扩展任意模型提供商。LiteLLM Proxy 在 AutoAgent 中的角色为什么需要统一网关LiteLLM 是一个将上百种 LLM 提供商统一封装为OpenAI 兼容格式的调用层而LiteLLM Proxy则把这一能力以独立服务的形式暴露出来你只需要在一台服务器上集中配置各家模型的密钥与路由规则此后所有下游应用都只需指向这一个代理地址即可透明访问 Anthropic、OpenAI、Google、Groq 等不同提供商的模型。这一模式与 AutoAgent 的架构天然契合。AutoAgent 的 LLM 调用层本身就直接建立在 LiteLLM 之上核心执行引擎在 autoagent/core.py 中通过from litellm import completion, acompletion发起同步/异步补全请求并使用litellm.supports_function_calling校验模型是否支持函数调用。因此先架一个 LiteLLM Proxy再让 AutoAgent 指向它是官方文档推荐的接入多模型提供商的标准姿势尤其适合以下场景团队内多个项目共享同一批模型密钥与配额避免密钥散落需要在一个入口统一做限流、缓存、日志与成本统计希望接入的企业内部模型或私有化部署模型对外只暴露一个稳定地址。配置前准备搭建 LiteLLM 代理服务器接入 AutoAgent 之前需要先让 LiteLLM Proxy 服务可用。整体流程分两步准备代理配置在一台可访问的服务器上编写 LiteLLM 代理的配置文件通常在model_list中声明要透传的模型及其对应的提供商 API Key、模型路由名称。以服务方式启动代理通过 LiteLLM 提供的启动命令如litellm --config 配置文件或官方 Docker 镜像将代理运行起来得到一个形如https://your-litellm-proxy.com的 Base URL。说明本仓库的官方文档见 docs/i18n/fr/docusaurus-plugin-content-docs/current/usage/llms/litellm-proxy.md将该步骤指向 LiteLLM 官方快速开始文档具体配置语法以你部署的 LiteLLM 版本官方文档为准。下文聚焦于代理就绪之后如何让 AutoAgent 接入它。在 AutoAgent 中接入 LiteLLM Proxy三个核心配置项代理服务就绪后接入 AutoAgent 只需配置三个要素。官方文档给出的 UI 配置方式是启用高级选项Options avancées然后设置以下三项配置项含义配置示例自定义模型Custom Model以litellm_proxy/为前缀 代理中配置的模型名litellm_proxy/anthropic.claude-3-5-sonnet-20241022-v2:0Base URL你的 LiteLLM 代理服务地址https://your-litellm-proxy.comAPI Key访问 LiteLLM 代理所需的 API 密钥sk-...代理签发的密钥其中自定义模型前缀litellm_proxy/是接入信号它告诉调用层这个模型要走代理路由后面跟的才是代理model_list中实际注册的模型名例如anthropic.claude-3-5-sonnet-20241022-v2:0。也就是说前缀之后的部分必须与你代理配置里声明的模型名完全一致否则代理无法完成路由。在 AutoAgent 的 CLI 使用方式中这三个要素对应为环境变量配置自定义模型 →COMPLETION_MODELAutoAgent 在 constant.py 中通过COMPLETION_MODEL os.getenv(COMPLETION_MODEL, claude-3-5-sonnet-20241022)读取模型名README.md 明确要求模型名需遵循 LiteLLM 的命名规范来设置。Base URL →API_BASE_URLconstant.py 中API_BASE_URL os.getenv(API_BASE_URL, None)它会被直接透传给 LiteLLM 的completion()调用见下文源码解析。API Key →.env中的*_API_KEY由于 LiteLLM Proxy 对外暴露的是 OpenAI 兼容接口通常只需在.env中设置OPENAI_API_KEY代理签发的密钥即可README 中OpenAI-Compatible Endpoints一节正是这一模式的官方示例。一个可直接运行的接入示例以代理中注册了 Claude 3.5 Sonnet 为例完整的启动命令如下# 1. 在 .env 中填入代理密钥 OPENAI_API_KEYyour_litellm_proxy_api_key # 2. 启动 AutoAgent指向代理 COMPLETION_MODELlitellm_proxy/anthropic.claude-3-5-sonnet-20241022-v2:0 \ API_BASE_URLhttps://your-litellm-proxy.com \ auto main这与 README 中OpenAI-Compatible Endpoints一节的既有示例同构——README.md 中给出了COMPLETION_MODELopenai/grok-2-latest API_BASE_URLhttps://api.x.ai/v1 auto main的写法。可见只要目标服务暴露 OpenAI 兼容的/chat/completions接口API_BASE_URL都可以直接指向它LiteLLM Proxy 正是这种兼容端点的一种且路由能力更强。支持的模型以代理配置为准官方文档明确指出AutoAgent 支持你 LiteLLM 代理配置中的所有模型——可用模型及其名称完全取决于代理的model_list而不是 AutoAgent 侧的硬编码白名单。在源码层面这一点同样成立AutoAgent 不做模型白名单限制但对函数调用能力有运行时校验。在 autoagent/core.py 中当启用函数调用模式FN_CALL时assert litellm.supports_function_calling(model create_model) True, \ fModel {create_model} does not support function calling, please set FN_CALLFalse to use non-function calling mode也就是说如果你在代理里注册的模型不支持函数调用例如部分推理型模型启动时会触发该断言。此时有两种处理方式让 LiteLLM Proxy 在路由层统一降级把函数调用转换为普通文本工具描述或在 AutoAgent 侧关闭函数调用模式FN_CALLFalseAutoAgent 会改用非函数调用路径见 autoagent/fn_call_converter.py 中的工具描述转换逻辑。源码级原理LiteLLM 如何贯穿 AutoAgent 的调用链要深入理解代理接入为什么只要配三个参数就能跑可以沿调用链看三层证据第一层依赖声明。setup.cfg 将litellm1.55.0固定为依赖版本说明 LiteLLM 是 AutoAgent 的核心运行时依赖而非可选组件。第二层调用入口。在 autoagent/core.py 的get_chat_completion中请求最终通过completion(**create_params)发出。函数调用模式下create_params携带model、messages、tools、stream等参数非函数调用模式下则会额外注入base_url: API_BASE_URLautoagent/core.py——这正是API_BASE_URL环境变量被透传为 LiteLLM 请求端点的地方。换言之设置API_BASE_URL即等价于告诉 LiteLLM把请求发往这个代理地址。第三层生态复用。LiteLLM 不仅服务于主 Agent 引擎记忆模块autoagent/memory/code_memory.py、autoagent/memory/paper_memory.py、autoagent/memory/tool_memory.py与工具模块autoagent/tools/rag_tools.py、autoagent/tools/file_surfer_tool.py也都直接调用litellm.completion且后者同样支持传入base_urlAPI_BASE_URL。这意味着代理接入的效果覆盖整个 Agent 运行链路包括文件检索、RAG 等工具内的模型调用而不只是主对话引擎。此外autoagent/fn_call_converter.py 中的工具调用格式与ChatCompletionToolParam类型均遵循 LiteLLM 的函数调用规范保证工具调用在代理路由下格式一致。常见问题与限制限流与重试代理后端各提供商通常存在速率限制可能返回 429 等错误。AutoAgent 的调用层会对连接错误、超时、APIError等瞬时错误自动重试见 autoagent/core.py 的should_retry_error判定逻辑。如需精细调参可参考同目录文档 docs/i18n/fr/docusaurus-plugin-content-docs/current/usage/llms/llms.md 中LLM_NUM_RETRIES默认 8、LLM_RETRY_MIN_WAIT默认 15 秒、LLM_RETRY_MAX_WAIT默认 120 秒、LLM_RETRY_MULTIPLIER默认 2等环境变量。模型命名必须精确litellm_proxy/前缀之后的部分要与代理配置完全一致这是最常见的接入失败原因。函数调用兼容性代理注册的模型若不支持 function calling需要按上文方式处理否则会触发supports_function_calling断言。成本监控代理集中管理多提供商密钥后建议在代理侧开启限流与用量统计避免高并发场景下产生意外费用。小结LiteLLM Proxy 为 AutoAgent 提供了一次接入、多模型可用的统一网关方案先在代理侧配置好model_list再在 AutoAgent 侧通过COMPLETION_MODEL、API_BASE_URL与OPENAI_API_KEY三个环境变量完成对接即可。由于 AutoAgent 的 LLM 调用层、记忆模块与工具模块全部基于 LiteLLM 构建依赖固定在 setup.cfg核心入口见 autoagent/core.py代理配置一经生效即可贯穿整条 Agent 执行链路是接入私有模型、企业内部模型与多提供商统一管理的最省力路径。【免费下载链接】AutoAgentAutoAgent: Fully-Automated and Zero-Code LLM Agent Framework项目地址: https://gitcode.com/GitHub_Trending/au/AutoAgent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 AutoAgent 接入 LiteLLM Proxy：统一 LLM 网关配置指南与源码级原理解析
AutoAgent 接入 LiteLLM Proxy统一 LLM 网关配置指南与源码级原理解析【免费下载链接】AutoAgentAutoAgent: Fully-Automated and Zero-Code LLM Agent Framework项目地址: https://gitcode.com/GitHub_Trending/au/AutoAgent本篇技术指南围绕 AutoAgent 如何通过 LiteLLM Proxy 这一统一代理网关接入各类 LLM 提供商展开先给出完整的配置路径自定义模型前缀、Base URL、API Key 三要素再结合仓库源码剖析 LiteLLM 在 AutoAgent 调用链中的实际作用帮助你既能在几分钟内跑通代理接入也能理解其底层原理从而按需扩展任意模型提供商。LiteLLM Proxy 在 AutoAgent 中的角色为什么需要统一网关LiteLLM 是一个将上百种 LLM 提供商统一封装为OpenAI 兼容格式的调用层而LiteLLM Proxy则把这一能力以独立服务的形式暴露出来你只需要在一台服务器上集中配置各家模型的密钥与路由规则此后所有下游应用都只需指向这一个代理地址即可透明访问 Anthropic、OpenAI、Google、Groq 等不同提供商的模型。这一模式与 AutoAgent 的架构天然契合。AutoAgent 的 LLM 调用层本身就直接建立在 LiteLLM 之上核心执行引擎在 autoagent/core.py 中通过from litellm import completion, acompletion发起同步/异步补全请求并使用litellm.supports_function_calling校验模型是否支持函数调用。因此先架一个 LiteLLM Proxy再让 AutoAgent 指向它是官方文档推荐的接入多模型提供商的标准姿势尤其适合以下场景团队内多个项目共享同一批模型密钥与配额避免密钥散落需要在一个入口统一做限流、缓存、日志与成本统计希望接入的企业内部模型或私有化部署模型对外只暴露一个稳定地址。配置前准备搭建 LiteLLM 代理服务器接入 AutoAgent 之前需要先让 LiteLLM Proxy 服务可用。整体流程分两步准备代理配置在一台可访问的服务器上编写 LiteLLM 代理的配置文件通常在model_list中声明要透传的模型及其对应的提供商 API Key、模型路由名称。以服务方式启动代理通过 LiteLLM 提供的启动命令如litellm --config 配置文件或官方 Docker 镜像将代理运行起来得到一个形如https://your-litellm-proxy.com的 Base URL。说明本仓库的官方文档见 docs/i18n/fr/docusaurus-plugin-content-docs/current/usage/llms/litellm-proxy.md将该步骤指向 LiteLLM 官方快速开始文档具体配置语法以你部署的 LiteLLM 版本官方文档为准。下文聚焦于代理就绪之后如何让 AutoAgent 接入它。在 AutoAgent 中接入 LiteLLM Proxy三个核心配置项代理服务就绪后接入 AutoAgent 只需配置三个要素。官方文档给出的 UI 配置方式是启用高级选项Options avancées然后设置以下三项配置项含义配置示例自定义模型Custom Model以litellm_proxy/为前缀 代理中配置的模型名litellm_proxy/anthropic.claude-3-5-sonnet-20241022-v2:0Base URL你的 LiteLLM 代理服务地址https://your-litellm-proxy.comAPI Key访问 LiteLLM 代理所需的 API 密钥sk-...代理签发的密钥其中自定义模型前缀litellm_proxy/是接入信号它告诉调用层这个模型要走代理路由后面跟的才是代理model_list中实际注册的模型名例如anthropic.claude-3-5-sonnet-20241022-v2:0。也就是说前缀之后的部分必须与你代理配置里声明的模型名完全一致否则代理无法完成路由。在 AutoAgent 的 CLI 使用方式中这三个要素对应为环境变量配置自定义模型 →COMPLETION_MODELAutoAgent 在 constant.py 中通过COMPLETION_MODEL os.getenv(COMPLETION_MODEL, claude-3-5-sonnet-20241022)读取模型名README.md 明确要求模型名需遵循 LiteLLM 的命名规范来设置。Base URL →API_BASE_URLconstant.py 中API_BASE_URL os.getenv(API_BASE_URL, None)它会被直接透传给 LiteLLM 的completion()调用见下文源码解析。API Key →.env中的*_API_KEY由于 LiteLLM Proxy 对外暴露的是 OpenAI 兼容接口通常只需在.env中设置OPENAI_API_KEY代理签发的密钥即可README 中OpenAI-Compatible Endpoints一节正是这一模式的官方示例。一个可直接运行的接入示例以代理中注册了 Claude 3.5 Sonnet 为例完整的启动命令如下# 1. 在 .env 中填入代理密钥 OPENAI_API_KEYyour_litellm_proxy_api_key # 2. 启动 AutoAgent指向代理 COMPLETION_MODELlitellm_proxy/anthropic.claude-3-5-sonnet-20241022-v2:0 \ API_BASE_URLhttps://your-litellm-proxy.com \ auto main这与 README 中OpenAI-Compatible Endpoints一节的既有示例同构——README.md 中给出了COMPLETION_MODELopenai/grok-2-latest API_BASE_URLhttps://api.x.ai/v1 auto main的写法。可见只要目标服务暴露 OpenAI 兼容的/chat/completions接口API_BASE_URL都可以直接指向它LiteLLM Proxy 正是这种兼容端点的一种且路由能力更强。支持的模型以代理配置为准官方文档明确指出AutoAgent 支持你 LiteLLM 代理配置中的所有模型——可用模型及其名称完全取决于代理的model_list而不是 AutoAgent 侧的硬编码白名单。在源码层面这一点同样成立AutoAgent 不做模型白名单限制但对函数调用能力有运行时校验。在 autoagent/core.py 中当启用函数调用模式FN_CALL时assert litellm.supports_function_calling(model create_model) True, \ fModel {create_model} does not support function calling, please set FN_CALLFalse to use non-function calling mode也就是说如果你在代理里注册的模型不支持函数调用例如部分推理型模型启动时会触发该断言。此时有两种处理方式让 LiteLLM Proxy 在路由层统一降级把函数调用转换为普通文本工具描述或在 AutoAgent 侧关闭函数调用模式FN_CALLFalseAutoAgent 会改用非函数调用路径见 autoagent/fn_call_converter.py 中的工具描述转换逻辑。源码级原理LiteLLM 如何贯穿 AutoAgent 的调用链要深入理解代理接入为什么只要配三个参数就能跑可以沿调用链看三层证据第一层依赖声明。setup.cfg 将litellm1.55.0固定为依赖版本说明 LiteLLM 是 AutoAgent 的核心运行时依赖而非可选组件。第二层调用入口。在 autoagent/core.py 的get_chat_completion中请求最终通过completion(**create_params)发出。函数调用模式下create_params携带model、messages、tools、stream等参数非函数调用模式下则会额外注入base_url: API_BASE_URLautoagent/core.py——这正是API_BASE_URL环境变量被透传为 LiteLLM 请求端点的地方。换言之设置API_BASE_URL即等价于告诉 LiteLLM把请求发往这个代理地址。第三层生态复用。LiteLLM 不仅服务于主 Agent 引擎记忆模块autoagent/memory/code_memory.py、autoagent/memory/paper_memory.py、autoagent/memory/tool_memory.py与工具模块autoagent/tools/rag_tools.py、autoagent/tools/file_surfer_tool.py也都直接调用litellm.completion且后者同样支持传入base_urlAPI_BASE_URL。这意味着代理接入的效果覆盖整个 Agent 运行链路包括文件检索、RAG 等工具内的模型调用而不只是主对话引擎。此外autoagent/fn_call_converter.py 中的工具调用格式与ChatCompletionToolParam类型均遵循 LiteLLM 的函数调用规范保证工具调用在代理路由下格式一致。常见问题与限制限流与重试代理后端各提供商通常存在速率限制可能返回 429 等错误。AutoAgent 的调用层会对连接错误、超时、APIError等瞬时错误自动重试见 autoagent/core.py 的should_retry_error判定逻辑。如需精细调参可参考同目录文档 docs/i18n/fr/docusaurus-plugin-content-docs/current/usage/llms/llms.md 中LLM_NUM_RETRIES默认 8、LLM_RETRY_MIN_WAIT默认 15 秒、LLM_RETRY_MAX_WAIT默认 120 秒、LLM_RETRY_MULTIPLIER默认 2等环境变量。模型命名必须精确litellm_proxy/前缀之后的部分要与代理配置完全一致这是最常见的接入失败原因。函数调用兼容性代理注册的模型若不支持 function calling需要按上文方式处理否则会触发supports_function_calling断言。成本监控代理集中管理多提供商密钥后建议在代理侧开启限流与用量统计避免高并发场景下产生意外费用。小结LiteLLM Proxy 为 AutoAgent 提供了一次接入、多模型可用的统一网关方案先在代理侧配置好model_list再在 AutoAgent 侧通过COMPLETION_MODEL、API_BASE_URL与OPENAI_API_KEY三个环境变量完成对接即可。由于 AutoAgent 的 LLM 调用层、记忆模块与工具模块全部基于 LiteLLM 构建依赖固定在 setup.cfg核心入口见 autoagent/core.py代理配置一经生效即可贯穿整条 Agent 执行链路是接入私有模型、企业内部模型与多提供商统一管理的最省力路径。【免费下载链接】AutoAgentAutoAgent: Fully-Automated and Zero-Code LLM Agent Framework项目地址: https://gitcode.com/GitHub_Trending/au/AutoAgent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考