Flagga en eller flera arbetare som canary och ge poolen en canary-procentandel: den andelen av anropare, tilldelade konsekvent via en identitetshash istället för slumpmässiga beslut per förfrågan, föredrar canary-arbetaren medan alla andra stannar på stabil <a href="#ref-1">[1]</a>. Båda grupperna fungerar som varandras reservlösning, så förändringen är reversibel och begränsad.
Testa nya modeller på verklig trafik
Nya modellversioner, nya kvantiseringar och nya daemon-byggnader kan testas på en kontrollerad del av verklig trafik innan hela flottan går över till dem <a href="#ref-1">[1]</a>. Så här kör du en A/B-liknande jämförelse av en ny modell mot den befintliga med live-förfrågningar istället för ett syntetiskt test som kanske inte matchar din arbetsbelastning.
Koherent, inte fladdrande
Anroparkonsistent segmentering innebär att en användare antingen är helt med i testet eller helt utanför, så feedback är koherent och jämförelser är meningsfulla utan fladdrande mitt i en konversation <a href="#ref-1">[1]</a>. En användare som är i canary-gruppen stannar där under hela sin session, vilket gör jämförelsen pålitlig.
Failsäker från grunden
Om canary-servern kraschar eller beter sig felaktigt, går dess del automatiskt över till stabila arbetare <a href="#ref-1">[1]</a>. Explosionsradien är skivan, och endast fram till failover. Kombinera en kanariefågel med en dräneringsmedveten rullande uppgradering, vilket är den mekaniska utrullningen, och en modelländring för hela flottan blir ett stegvis beslut snarare än ett språng <a href="#ref-2">[2]</a>.