FreeLLMAPI 快速上手:一个免费 API 聚合 34 家提供商的额度
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
各家提供商的密钥和限流分散管理很麻烦,FreeLLMAPI 把 34 家提供商的免费层收进一个 OpenAI 兼容的/v1接口背后。每月约 74 亿 token 的免费推理容量,凭一把统一密钥就能用。
跑起来:5 条命令启动本地免费 API
前提是机器上有 Docker(含 Compose)和 OpenSSL。命令链如下:
git clone https://gitcode.com/GitHub_Trending/fr/freellmapi cd freellmapi ENCRYPTION_KEY="$(openssl rand -hex 32)" printf "ENCRYPTION_KEY=%s\nPORT=3001\n" "$ENCRYPTION_KEY" > .env docker compose up -d- 第 1、2 行:拉源码、进目录
- 第 3 行:生成一把随机主密钥,提供商密钥落盘时靠它加密
- 第 4 行:把密钥和端口3001写进
.env - 第 5 行:把 API 和仪表盘容器拉起来
Windows 用户把这几条丢进 WSL 执行即可,也可以直接装桌面版.exe:免账号免密码,从系统托盘就能打开仪表盘。
确认生效:在 Playground 发一句话
- 浏览器打开
http://localhost:3001,服务器版首次进入要设一个邮箱 + 密码账号 - 进Keys页,添加至少一个提供商密钥(Google AI Studio、Groq、Mistral 都行,任意 OpenAI 兼容端点也行)
- 可选:在Fallback Chain里拖一下顺序,决定谁优先
- 复制页顶的统一密钥(
freellmapi-…格式),到Playground页发一句话
成功标准:Playground 里出现回复,且回复下方标明了实际应答的提供商、模型和延迟,就算通了。页面打不开就先docker compose ps看容器是否在跑、端口是不是 3001。
值不值得用:免费池能撑住多少
- 每月约74 亿 token免费推理容量:按每月烧 50 万 token 的小项目算,这个池子够跑一年以上,不用盯配额
- 474 个模型家族、635 个免费端点:即使你只留两三家提供商的密钥,池里也有得选,单家限流不会把项目卡死
- 只有一个
/v1端点、端口3001:把 SDK 的base_url指过来就能用,其余代码一行不改
核心能力:智能路由、统一密钥与多模型合成
限流了自动换:智能路由怎么工作
解决什么问题:某家提供商触发限流,你的请求不能因此断掉。
怎么触发:请求里传model="auto";想偏速度用auto:fast,偏智力用auto:smart,都不用改仪表盘。
怎么确认效果:响应头X-Routed-Via会写明哪个提供商真正处理了这次请求;Models 页的列表顺序就是当前真实路由顺序,每个模型挂着实时评分。路由器像调度中心的调度员——某辆「车」(密钥)报 429/5xx 事故,就被安排进冷却,请求自动交下一辆。
应用一辈子只见一把密钥:统一密钥
解决什么问题:N 套提供商密钥散落在配置里,改起来心虚。
怎么触发:把 Keys 页顶部的统一密钥填进 SDK 的api_key:
from openai import OpenAI client = OpenAI(base_url="http://localhost:3001/v1", api_key="freellmapi-your-unified-key") r = client.chat.completions.create( model="auto", messages=[{"role": "user", "content": "用一个词打个招呼"}]) print(r.choices[0].message.content)除了换base_url和密钥,和直连 OpenAI 的写法没有任何区别。
怎么确认效果:调用正常返回;Keys 页里每把提供商密钥带健康状态点和最近体检时间。真实密钥用 AES-256-GCM 加密存在本地 SQLite,只在请求时内存里解密。
让一份答案更稳:Fusion 多模型合成
解决什么问题:单个免费模型能力一般,答得不够稳。
怎么触发:请求虚拟模型model="fusion",路由器把同一份提示词并行发给一组风格各异的免费模型各自起草,再由裁判模型综合出最终答案。
怎么确认效果:同一个问题分别用单模型和 fusion 各问一遍,对比信息密度和细节覆盖。
常见坑及处理办法
⚠️忘了仪表盘密码:服务器版没有邮箱可发重置链接,一次性重置码直接打在服务器日志里、15 分钟内有效。用docker compose logs -f freellmapi翻出来,填回重置表单。
⚠️局域网其他设备打不开页面:容器默认只发布在127.0.0.1,别的机器开http://服务器IP:3001会一直卡着。要开放就加HOST_BIND=0.0.0.0启动,且只在可信网络里这么做——服务是单用户的,唯一防线就是那把统一密钥。
⚠️指望它有前沿模型的水准:池里没有前沿模型,也没有 SLA;头部模型跑满每日配额后,傍晚到深夜整体智力明显下滑,UTC 午夜才重置。白天用没问题。项目定位是个人实验与学习,真要上线,发布前换成付费 API。
跑通之后有两个进阶方向:把 Claude Code、Codex CLI 这类编程智能体指过来,clients 文档有一键配置命令;或者把 Ollama、vLLM 本地模型当自定义端点接进 Keys 页,免费池和本地模型混着路由。流式、工具调用、Embedding、图像语音的完整接口见 API 参考,数据目录、备份与日志位置在 安装文档。
【免费下载链接】freellmapi7.4 billion tokens per month. 34 free LLM providers. 635 free model endpoints. All behind one /v1 endpoint, plus any custom OpenAI-compatible endpoint. Smart routing, automatic failover, encrypted keys. Personal experimentation only.项目地址: https://gitcode.com/GitHub_Trending/fr/freellmapi
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考