Model Routing 与 Fallback 架构
比较静态路由、规则路由、质量级联与竞速/投票四种模型选择拓扑。
“主模型失败就换另一个”不是完整的 fallback 设计。不同模型的 schema、tool support、context limit、region 和 safety contract 可能不同；router 必须知道哪些请求可以安全切换。
四种 topology signature
| 架构 | 决策点 | State owner | Best for | Failure boundary |
|---|---|---|---|---|
| Static Alias | config alias | versioned config | 单一默认模型、简单 rollout | alias 配错影响全部流量 |
| Policy Router | rule engine | tenant + routing policy | 按 region、capability、budget 分流 | policy 漏洞造成越权或成本失控 |
| Quality Cascade | cheap model → verifier → strong model | attempt record | 大量容易请求，少量升级 | verifier false negative 返回低质答案 |
| Race / Ensemble | fan-out → judge/reducer | request + candidate set | 高价值、低延迟或高可靠任务 | 成本成倍增加，judge 也可能错误 |