<code>sticky</code> 路由策略通过哈希调用者的安装身份、API 密钥和 IP(按此顺序)来确定性地将每个调用者映射到首选工作节点 <a href="#ref-1">[1]</a>。他们的请求持续落在同一台机器上,该机器加载了他们的模型且提示缓存处于热状态。这是网关配置中的一个字段;集群的其余部分保持不变。

提示缓存局部性保持对话快速响应

大型语言模型运行时会在对话中重用计算,因此在不同机器间切换用户会丢弃这些计算,每轮都需重新计算 <a href="#ref-1">[1]</a>。粘性亲和性使多轮对话保持在同一条热通道上,这也是它适合拥有稳定用户群的助手和协同驾驶员的原因。无状态批量流量(如嵌入扫描)则更适合用<code>least-connections</code>策略分配。

哈希映射,而非会话表

映射是哈希计算结果,不存储会话状态,因此无需复制:它能在网关重启后存活,且多个网关副本无需协调即可达成一致 <a href="#ref-2">[2]</a>。故障切换对每个调用者也是确定性的,因此用户的第二选择工作节点始终是同一台机器,甚至故障行为也保持一致。

新增机器几乎不改变映射

由于该策略使用汇聚哈希,新增或移除工作节点只会重新映射首选节点发生变化的调用者;其他调用者保持原有通道不变 <a href="#ref-1">[1]</a>没有任何身份的调用者会退化为轮询,亲和性通过在工作者的预热集合内应用模型感知路由自动组合。