路由与自动降级
通过模型映射、备用上游与账号池应对可重试的故障。
公开模型与路由#
管理员配置公开模型、能力、上游实际模型与主/备用 provider。网关根据租户可访问映射与上游状态选择路线;响应头可揭示实际 provider、账号与 primary / backup 角色。
故障与冷却#
请求失败会影响上游/账号的失败与冷却状态。达到配置条件时暂时停用,相应可重试请求尝试其它可用路线。无可用上游、全部失败或错误不可重试时,仍会把失败返回客户端。
降级不能保证客户端永远看不到 5xx,也不会自动重连已交付的 SSE 或 Realtime 会话。协议专有能力必须由兼容的备用上游承接。
账号池与会话保持#
账号池提供 smart、order、rotate、usage、pace 五种模式,并可按 conversation_id 保持账号亲和性。停用、耗尽、限流或冷却账号会被绕过;调度不会绕过模型授权与计费规则。