A estratégia de roteamento <code>sticky</code> mapeia cada chamador de forma determinística para um trabalhador preferido, aplicando hash na identidade de instalação do chamador, depois na chave API, depois no IP, nessa ordem <a href="#ref-1">[1]</a>. As solicitações deles continuam caindo na mesma máquina, onde seu modelo está carregado e seu cache de prompt está quente. É um campo na configuração do gateway; o restante da fazenda permanece inalterado.
Localidade do cache de prompt mantém as conversas rápidas
Ambientes LLM reutilizam cálculos ao longo de uma conversa, então alternar um usuário entre máquinas descarta esse trabalho e cada interação paga novamente <a href="#ref-1">[1]</a>. Afinidade fixa mantém conversas com múltiplas interações na mesma pista aquecida, por isso é adequada para assistentes e copilotos com uma população estável de usuários. Tráfego batch sem estado, como uma varredura de embeddings, é melhor distribuído por <code>least-connections</code>.
Um hash, não uma tabela de sessão
O mapeamento é um hash, não um estado de sessão armazenado, então não há nada para replicar: ele sobrevive a uma reinicialização do gateway e múltiplas réplicas do gateway concordam sobre ele sem coordenação <a href="#ref-2">[2]</a>. Failover também é determinístico por chamador, então o trabalhador de segunda escolha de um usuário é sempre a mesma máquina e até falhas se comportam de forma consistente.
Adicionar uma máquina remapeia quase ninguém
Como a estratégia usa hashing de rendezvous, adicionar ou remover um trabalhador remapeia apenas os chamadores cuja primeira escolha mudou; todos os outros mantêm sua pista <a href="#ref-1">[1]</a>Um chamador sem qualquer identidade regride para round-robin, e a afinidade compõe-se automaticamente com o encaminhamento consciente do modelo, aplicando-se dentro do conjunto aquecido de trabalhadores.