AI
AI Gateway

Private AI API gateway

给 Codex、Claude Code 和脚本统一一个模型入口。

这个中转站部署在腾讯云海外服务器上。客户端只拿 LiteLLM 虚拟 key, 上游 provider key 留在服务器环境变量里,由网关负责鉴权、预算、模型白名单、路由和消费记录。

客户端接入

拿到虚拟 key 后,按下面配置接入。不要把上游 provider key 或 LiteLLM master key 放到本机工具里。

Codex

Codex 使用 OpenAI-compatible API。模型名使用网关配置里的别名。

openai_base_url = "https://43.155.143.53.sslip.io/v1"
model_provider = "openai"
model = "openai-gpt-5"

export OPENAI_API_KEY="sk-virtual-key"

Claude Code

Claude Code 走 Anthropic-compatible 入口时,先用低预算 key 验证当前 Claude Code 版本。

export ANTHROPIC_BASE_URL="https://43.155.143.53.sslip.io"
export ANTHROPIC_AUTH_TOKEN="sk-virtual-key"

已经具备

当前版本按 AI Gateway 形态落地,先保证私有可用,再逐步产品化。

密钥隔离

  • 上游 API key 只保存在服务器
  • Codex 和 Claude Code 分别发虚拟 key
  • 支持预算、过期时间和模型白名单

统一入口

  • OpenAI-compatible: /v1
  • LiteLLM Admin: /ui/
  • Caddy 统一处理 HTTPS 和反向代理

运维基线

  • Postgres 保存 key 和消费记录
  • 健康检查与生产验证脚本
  • 本地备份脚本保留敏感配置
当前还需要配置至少一个上游 provider key,之后再生成正式虚拟 key 并跑真实模型调用验证。 生产期建议绑定真实域名,把临时 sslip.io 地址替换掉。

运维命令

这些命令在服务器的 /opt/ai-gateway 下执行。

配置上游

./ops.sh onboard-upstream

发工具 key

./ops.sh issue-keys
./ops.sh readiness

真实调用验证

./ops.sh verify
./ops.sh verify-real