FreeLLMAPI 介绍

FreeLLMAPI 是一个开源的 OpenAI 兼容 API 代理网关，由开发者 tashfeenahmed 创建并托管在 GitHub 上（github.com/tashfeenahmed/freellmapi），目前已有超过 6000 个 Star。

它的核心思路非常巧妙：将约 14 家 AI 服务商的免费 API 额度聚合到一个统一端点上，对外暴露标准的 OpenAI 接口，让开发者可以零成本使用大模型。

多平台免费额度聚合：整合了 Google Gemini、Groq、Cerebras、SambaNova、Mistral、OpenRouter、GitHub Models、Cloudflare Workers AI、Cohere、智谱 Z.ai、MiniMax、NVIDIA NIM 等约 14 家平台的免费 API，每月总计约 13 亿 tokens 的免费推理额度。
OpenAI 兼容接口：对外暴露标准的 /v1/chat/completions 和 /v1/models 端点，兼容 OpenAI 官方 SDK、LangChain、LlamaIndex 等客户端，只需修改 base_url 即可无缝接入现有项目。
自动故障转移：当首选提供商返回 429/5xx 错误或超时时，自动将其置为冷却状态，并按预设优先级链尝试下一家提供商，最多重试 20 次。
智能速率与配额追踪：针对每个（平台、模型、密钥）组合实时跟踪 RPM、RPD、TPM、TPD 用量，确保始终调用未超限的健康密钥。
粘性会话锁定：多轮对话在 30 分钟内锁定同一模型，防止中途切换导致上下文断裂。
AES-256-GCM 密钥加密：上游 API 密钥在数据库中静态加密，仅在请求时于内存中临时解密。
可视化仪表盘：内置 React/Vite 管理后台，支持拖拽调整回退链优先级、Playground 快速测试、以及延迟/成功率/Token 用量等统计分析。

快速上手环境准备 Node.js 20 以上 Git 部署步骤

# 克隆仓库

git clone https://github.com/tashfeenahmed/freellmapi.git

cd freellmapi

# 安装依赖

npm install

# 生成加密密钥并创建 .env 文件

cp .env.example .env

echo "ENCRYPTION_KEY=$(node -e "console.log(require('crypto').randomBytes(32).toString('hex'))")" >> .env

# 启动开发服务器

npm run dev

启动后访问 http://localhost:5173，在 Keys 页面添加各服务商的 API Key，即可生成统一的 Bearer Token。

使用示例

非前沿模型：免费层级通常对应中等规模模型（如 Llama 3.3 70B、GLM-4.5），无法获得 GPT-5 或 Claude Opus 级别的顶级推理能力。
性能波动：不同服务商的延迟差异较大（Groq/Cerebras 极快，其他可能较慢），且随着每日免费额度消耗，路由可能回退到较小或较慢的模型。
本地优先：项目设计为个人自用，不支持多租户认证，不建议直接暴露于公网。
功能限制：目前仅支持文本聊天，暂不支持嵌入（embedding）、图像生成、音频或多模态输入。

适用场景 FreeLLMAPI 非常适合个人开发者、学生、小型初创团队用于本地实验、原型验证和低成本 AI 应用开发。它通过技术手段将分散的免费资源整合成一股合力，提供了一个零成本、高可用性的大模型接入方案。