<code>sticky</code> 路由策略以確定性方式,依序哈希呼叫者的安裝身份、API 金鑰及 IP,將每位呼叫者映射至首選工作節點 <a href="#ref-1">[1]</a>. 他們的請求持續落在同一台伺服器上,該伺服器已載入其模型且提示快取仍熱。這是閘道器配置中的一個欄位;叢集的其餘部分保持不變。
提示快取本地性令對話更流暢
大型語言模型運行時會在對話中重用計算結果,若用戶在伺服器間跳轉,則會丟失該計算,每輪都需重新計算 <a href="#ref-1">[1]</a>. Sticky 親和性令多輪對話持續在同一條熱線路上,這正適合擁有穩定用戶群的助理及協助工具。無狀態批次流量,如嵌入掃描,則較適合用 <code>least-connections</code> 分散負載。
哈希而非會話表
映射是哈希計算結果,非儲存的會話狀態,故無需複製:可在閘道器重啟後存活,且多個閘道器副本無需協調即可達成一致 <a href="#ref-2">[2]</a>. 故障轉移對每位呼叫者亦是確定性的,用戶的第二選擇工作節點始終是同一台伺服器,甚至故障行為也保持一致。
新增伺服器幾乎不會重新映射用戶
由於策略採用 rendezvous 哈希,新增或移除工作節點只會重新映射首選節點改變的呼叫者;其他用戶則保持原有路徑 <a href="#ref-1">[1]</a>完全沒有身份的呼叫者會退化為輪詢,並且親和性會自動與模型感知路由結合,應用於熱備工作者集內。