API网关后端负载均衡【免费下载链接】gpt-loadSelf-hosted AI gateway for multi-channel, multi-credential setups — API keys and subscription accounts, scheduling, failover, request logs and usage. 自托管 AI 网关多渠道多凭据统一接入含密钥与订阅账号、调度容错、日志与用量。项目地址https://gitcode.com/gh_mirrors/gp/gpt-load点击查看免费下载本文以 GPT-Load 2.0日语版官方文档 README_JP.md 为主体为主线系统讲解这款自托管 AI 网关的核心机制与实操流程如何用一套 Base URL AccessKey 统一接入 API 密钥与订阅账号、如何配置调度/重试/冷却/黑名单等故障隔离策略以及 Docker Compose、原生二进制、Windows Setup 三种部署形态与全部环境变量的源码级解析。读完本文你将能够独立完成 GPT-Load 的部署、初始化、多协议接入与日常运维。为什么选择 GPT-Load单一入口下的统一治理GPT-Load 定位为“多通道、多凭据”的 AI 网关应用侧只需配置一个 Base URL 和一个 AccessKey其余的上游服务商、账号、认证信息、模型与路由策略全部在管理界面完成。核心能力如下单网关、保持原生协议官方 API、云平台、模型服务与兼容中转统一纳管而客户端仍可使用 OpenAI、Anthropic、Gemini 的原生接口无需改造代码。API 密钥与订阅账号统一管理Codex、Claude、Antigravity、Grok 等订阅渠道与普通 API Key 渠道共享同一套凭据管理、调度与健康处理机制。内置调度与故障隔离多凭据调度、可配置权重、重试、冷却cooldown、黑名单与会话亲和性降低过载或失效凭据对整体可用性的冲击。可观测、易部署、数据自管嵌入式管理界面可直接查看健康状态、路由、日志、用量与成本估算支持 SQLite、MySQL、PostgreSQL 与本地凭据加密单二进制即可运行。从源码结构看这些能力分别由 内部调度器多凭据权重选择与优先级降档、亲和性模块会话亲和缓存键派生、加密模块AES-GCM 凭据加密等实现下文将逐一对应说明。快速开始从零启动网关[!WARNING] 若你正在使用 1.x请先阅读文末「从 1.x 迁移到 2.0」一节。2.0 无法打开、导入或原地迁移 1.x 数据。1. 启动服务需要 Docker 与 Docker Composegit clone --depth 1 https://gitcode.com/gh_mirrors/gp/gpt-load cd gpt-load cp .env.example .env docker compose up -d验证服务是否就绪curl --fail http://127.0.0.1:3001/health首次启动会自动生成管理密钥读取并妥善保管docker compose exec gpt-load sh -c cat /app/data/auth.key然后打开 http://127.0.0.1:3001用该密钥登录管理控制台。也可以在启动前在.env中显式指定AUTH_KEY。默认服务只监听本机回环地址不会直接暴露到公网。2. 初始化三步配置添加 Channel渠道— 选择上游服务并注册一个或多个 API 密钥订阅类渠道按界面提示完成 OAuth 授权或导入凭据。创建 Group分组— 选择渠道配置可用模型与运行策略。创建 AccessKey— 设置允许访问的 Group 与客户端协议将生成的 AccessKey 交给应用使用。订阅渠道的 OAuth 回调端口说明Codex、Claude、Antigravity 的 OAuth 客户端使用固定回调端口。从 docker-compose.yml 可以看到Compose 将这些端口发布到HOST配置的地址上默认127.0.0.1ports: - ${BIND_ADDRESS:-${HOST:-127.0.0.1}}:${PORT:-3001}:${PORT:-3001} - ${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:1455:1455 - ${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:54545:54545 - ${OAUTH_CALLBACK_BIND_ADDRESS:-${HOST:-127.0.0.1}}:51121:51121设置HOST0.0.0.0时这些回调端口也会发布到宿主机所有网络接口。端口由上游客户端固定因此同一台主机上默认只能同时运行一个 Compose 实例。通过 SSH 或远程浏览器操作时浏览器中的localhost可能无法到达 GPT-Load —— 此时可把完整回调 URL 粘贴到授权对话框中完成流程。支持的客户端协议与内置渠道客户端协议从 协议定义 可以看到数据面协议在运行时被显式枚举并校验Protocol.Valid()包括 OpenAI Completions/Responses/Images/Embeddings、Codex Live、Rerank、Decisions、Anthropic、Gemini、Gemini Embeddings 与 Mistral。各协议的主入口如下协议主要入口OpenAI Chat CompletionsPOST /v1/chat/completionsOpenAI Responses/v1/responses及其资源路径OpenAI ImagesPOST /v1/images/...OpenAI EmbeddingsPOST /v1/embeddingsRerankPOST /v1/rerankMistral 原生/v1/ocr、/v1/audio/...Anthropic MessagesPOST /v1/messagesGemini/v1beta/models/...Gemini EmbeddingsPOST /v1beta/models/{model}:embedContent/:batchEmbedContents上述端点均可在 网关测试 与 协议集成测试 中找到对应验证用例例如POST /v1/messages、/v1beta/models/{model}:generateContent、/v1/responses等网关层对/v1、/v1beta、/mistral命名空间统一进行路由。内置渠道官方与云OpenAI、Anthropic、Gemini、xAI、Azure OpenAI、AWS Bedrock、Google Vertex AI模型服务DeepSeek、Moonshot AI、SiliconFlow、Zhipu AI、Alibaba、Volcengine、OpenRouter、Cline、Groq、Cerebras、Mistral、Nebius、Parasail、Wafer、Hugging Face聊天、Cohere文本重排序、OpenCode Go、OpenCode Zen订阅账号Codex、Claude、Antigravity、Grok自定义OpenAI Compatible任意兼容中转画面预览分组总览— 在一个界面中查看渠道、模型、凭据数量、流量与健康状态使用量统计— 查看请求趋势、缓存命中率、Token 分类与成本估算部署形态与数据管理默认 SQLite 与数据卷Docker Compose 默认使用应用托管的 SQLite。数据存放在gpt-load-data命名卷中包含数据库、auth.key与encryption.key见 docker-compose.yml 的 volumes 定义与 Dockerfile 中的DATA_DIR/app/data。[!IMPORTANT]encryption.key用于解密渠道凭据。备份或迁移时必须将数据库与密钥一起保存。一旦密钥丢失或被替换已加密的凭据将无法恢复当前版本也不支持主密钥轮换。从 加密模块 的源码可以看到凭据加密采用 AES-256-GCMNewService基于非空密钥材料派生 AES 密钥与 HMAC 指纹密钥密钥文件名为encryption.key位于DATA_DIR下未显式设置ENCRYPTION_KEY时自动生成 32 字节随机密钥LoadOrCreateKeyMaterial。使用外部数据库通过统一的DATABASE_DSN连接 SQLite、MySQL 或 PostgreSQLmysql://user:passworddb.example:3306/gpt_load?charsetutf8mb4collationutf8mb4_bin postgres://user:passworddb.example:5432/gpt_load?sslmoderequire从 配置解析 中的ParseDatabaseDSN可以看出裸路径与:memory:视为 SQLite 兼容形式file:、sqlite:前缀归一化为 SQLite DSNmysql、postgres/postgresql必须携带主机与单一库名其他 scheme 会被拒绝。容器内文件路径必须位于挂载目录内。常用运维命令docker compose logs -f # 查看日志 docker compose pull docker compose up -d # 更新到最新 2.x 镜像 docker compose stop # 停止服务镜像标签策略官方 Compose 使用ghcr.io/tbphp/gpt-load:2。GA 之前2跟踪经过验证的 2.0 Beta / RC 版本GA 之后仅跟踪稳定的 2.x。完整镜像标签去掉 Git tag 的v前缀例如2.0.0-beta.252.0-beta保留为 2.0 Beta 通道latest仍指向 1.x。使用原生二进制部署从 Releases 下载对应平台的构建产物先用随附的SHA256SUMS校验chmod x ./gpt-load-linux-amd64 HOST127.0.0.1 DATA_DIR./data ./gpt-load-linux-amd64启动后访问 http://127.0.0.1:3001。项目提供 Linux、macOSamd64 / arm64、Windows 共 5 种便携构建gpt-load-windows-amd64.exe与以往一样在前台运行。Windows 普通用户可直接使用gpt-load-windows-setup.exe一次管理员授权后Setup 会安装并启动一个低权限 Windows 服务配置开机自启并在桌面与开始菜单创建 GPT-Load 管理页面快捷方式。安装结束时显示的生成管理密钥请在关闭页面前保存受保护的密钥副本保留在%ProgramData%\GPT-Load\data\auth.key。服务配置与.env位于%ProgramData%\GPT-Load持久数据位于%ProgramData%\GPT-Load\data。覆盖安装新版 Setup 时会先安全停止服务再更新。Windows 卸载会删除程序与服务但保留数据。高级用户仍可用gpt-load-windows-amd64.exe service start|stop|restart|status管理已安装的服务。环境变量完全指南应用启动时读取当前目录下的.env且已存在的进程环境变量优先级更高。除特别说明外修改后需要重启进程或容器。通用配置模板见 .env.example。完整变量清单如下变量默认值说明HOST127.0.0.1Native 模式的监听地址也是 Compose 主端口与 OAuth 回调端口在宿主机发布的默认地址。Compose 容器内部始终以0.0.0.0监听。PORT3001HTTP 服务端口须为1–65535Compose 的容器端口、宿主机发布与健康检查均使用它。BIND_ADDRESS空继承HOST仅 Compose 有效在不改变 OAuth 回调端口的前提下覆盖主服务端口的宿主机发布地址。OAUTH_CALLBACK_BIND_ADDRESS空继承HOST仅 Compose 有效覆盖固定 OAuth 回调端口1455、54545、51121的宿主机发布地址。GRACEFUL_SHUTDOWN_TIMEOUT10收到停止信号后等待请求完成的最长时间正整数单位秒。CONTAINER_STOP_GRACE_PERIOD15sCompose 强制停止容器前等待的 Docker duration建议大于GRACEFUL_SHUTDOWN_TIMEOUT。READ_TIMEOUT60HTTP 请求读取超时正整数单位秒。IDLE_TIMEOUT120HTTP keep-alive 空闲连接超时正整数单位秒。DATA_DIR./data托管数据库、auth.key、encryption.key与运行状态文件的目录。官方 Compose 用/app/dataWindows Setup 服务用%ProgramData%\GPT-Load\data。DATABASE_DSN空使用${DATA_DIR}/gpt-load.db为空时使用应用托管的 SQLite非空时支持 SQLite 路径或 URL、MySQL URL、PostgreSQL URL视为运维托管的外部数据库。容器内文件路径须在挂载目录中。DATABASE_MAX_OPEN_CONNECTIONS10MySQL 与 PostgreSQL 的最大打开连接数须为正整数SQLite 始终使用单连接。DATABASE_MAX_IDLE_CONNECTIONS5MySQL 与 PostgreSQL 的最大空闲连接数须为正整数且不超过DATABASE_MAX_OPEN_CONNECTIONSSQLite 始终使用单连接。AUTH_KEY空读取或生成${DATA_DIR}/auth.key管理界面与/api管理 API 的 Bearer 密钥与数据面的 AccessKey 不同。ENCRYPTION_KEY空读取或生成${DATA_DIR}/encryption.key用于加密渠道凭据更改或丢失会使已有凭据无法解密请与数据库一同备份。CLIENT_IP_HEADER空使用连接 IP客户端 IP 头如X-Forwarded-For、CF-Connecting-IP缺失或无效时回退到连接 IP。日志、AccessKey 的 IP 限制等共用支持 IPv4/IPv6。修改后需重启。TRUSTED_PROXIES空可选的逗号分隔代理 IP 或 CIDR 列表仅在指定CLIENT_IP_HEADER时生效。为空表示直接信任所选头部署环境需自行保证可信指定时仅匹配的连接对端可提供该头否则使用连接 IP。X-Forwarded-For从右向左取第一个非可信 IP全部可信则取最左未指定列表时取最左其他头只接受单个 IP。修改后需重启。HTTP_PROXY空上游 HTTP 请求的环境代理。HTTPS_PROXY空上游 HTTPS 请求的环境代理。NO_PROXY空绕过环境代理的主机、域名或 IP 的逗号分隔列表。LOG_LEVELinfo支持panic、fatal、error、warn、warning、info、debug、trace无效值会告警并回退到info。LOG_FORMATtext支持text与json其他值会导致启动失败。MODELS_DEV_AUTO_SYNC_ENABLED未设置初始默认true未设置时使用管理界面持久化的设置设置后强制启用或禁用 Models.dev 自动同步并使界面同名选项变为只读。源码级解析补充校验逻辑以上约束在 配置加载 的Load()中逐一实现——PORT超范围会报错“PORT must be between 1 and 65535”DATABASE_MAX_IDLE_CONNECTIONS超过DATABASE_MAX_OPEN_CONNECTIONS会启动失败LOG_FORMAT仅接受text/json。密钥来源可追溯AUTH_KEY/ENCRYPTION_KEY为空时配置层记录密钥来源为key_file及其路径如{DATA_DIR}/auth.key便于运维审计密钥到底来自环境变量还是密钥文件。环境代理作用域环境代理HTTP_PROXY/HTTPS_PROXY/NO_PROXY仅在凭据、Group、全局设置均未指定代理时才生效。Codex Voice实时语音扩展.env.example 与配置解析中还包含一组 WebRTC 媒体中继变量CODEX_LIVE_PUBLIC_IP、CODEX_LIVE_UDP_PORT_MIN/MAX默认50000–50127、CODEX_LIVE_MAX_SESSIONS默认32、CODEX_LIVE_ICE_SERVERSJSON 数组用于 Codex 语音直连/中继部署配合 docker-compose.voice.yml 使用。调度、容错与安全机制的实现印证多凭据加权调度内部调度器 的Iterator在无 IO、无持久化访问的前提下筛选候选目标综合 Group 与凭据的手动权重effectiveWeight构造加权池并按原生Native/转换Converted路由模式分档选择执行失败后通过AdvancePriority降档重试配合冷却cooldown、已尝试集合与组跳过实现故障隔离。会话亲和性亲和性模块 以 HMAC 派生的租户级不透明键含 AccessKey ID、客户端协议与提示词前缀命名空间支撑多轮会话粘滞减少跨凭据抖动。凭据本地加密如上文所述渠道凭据以 AES-256-GCM 落盘加密密钥域隔离gpt-load/encryption/aes-256-gcm/v1且密钥文件随DATA_DIR管理。从 1.x 迁移到 2.0[!WARNING] GPT-Load 2.0 是完全重写。它不能打开、导入或原地迁移 1.x 数据。请为 2.0 使用独立的数据库、DATA_DIR、端口与 Docker 卷部署验证通过后再切换生产流量并在回滚窗口结束前保留原有 1.x 环境。1.4.x 维护线的文档请查阅官方站点。开源依赖与第三方组件GPT-Load 的部分能力建立在以下开源项目之上项目角色许可证Bifrost Core各提供商的认证、请求/响应转换、流式传输、用量归一化Apache-2.0CLIProxyAPI订阅渠道的 OAuth 与执行适配器MITLobe Icons管理界面的渠道品牌图标MIT上述依赖可从 go.mod 中对应到实际引入的模块如github.com/maximhq/bifrost/core、github.com/router-for-me/CLIProxyAPI/v8及其嵌入包。凭据存储、账号选择、调度、重试、健康、亲和性、日志与用量策略均由 GPT-Load 自身实现。第三方声明见 THIRD_PARTY_NOTICES.md完整许可证文本位于 LICENSES/每个发布版本还附带覆盖 Go 依赖图的 CycloneDX SBOM。渠道图标仅用于标识对应的上游提供商所有商标归各权利人所有本项目与其不存在从属或推荐关系。项目本身采用 MIT License安全策略见 SECURITY.md。赞分享API网关后端负载均衡【免费下载链接】gpt-loadSelf-hosted AI gateway for multi-channel, multi-credential setups — API keys and subscription accounts, scheduling, failover, request logs and usage. 自托管 AI 网关多渠道多凭据统一接入含密钥与订阅账号、调度容错、日志与用量。项目地址https://gitcode.com/gh_mirrors/gp/gpt-load点击查看免费下载相关推荐Kedro 管道接入 Prefect 2.0自托管 Server 部署与 Flow 编排实战指南Kedro 管道接入 Prefect 2.0自托管 Server 部署与 Flow 编排实战指南 本文基于 Kedro 官方部署文档 docs/deploy/数据工程工作流自动化CCX统一多协议 AI API 代理网关——多上游接入、智能调度与单端口一键部署实战CCX统一多协议 AI API 代理网关——多上游接入、智能调度与单端口一键部署实战 CCX 是一个以 Go 后端为核心的单端口 AI API 代理与协议转换API网关LLM 网关后端Cloudreve 自托管云盘系统全解析多存储驱动、部署运维与源码架构Cloudreve 自托管云盘系统全解析多存储驱动、部署运维与源码架构 Cloudreve 是一个开源的、自托管的公有云文件系统官方定位是支持多家云存储后端对象存储创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考