Segna uno o più worker come canary e assegna al pool una percentuale canary: quella quota di chiamanti, assegnata in modo coerente tramite hash di identità anziché con lanci di moneta per ogni richiesta, preferisce il worker canary mentre tutti gli altri rimangono sullo stabile <a href="#ref-1">[1]</a>. Entrambi i gruppi rimangono il failover l’uno dell’altro, quindi la modifica è reversibile e contenuta.
Prova nuovi modelli su traffico reale
Nuove versioni di modelli, nuove quantizzazioni e nuove build del daemon possono essere testate su una porzione controllata di traffico reale prima che la flotta si impegni con esse <a href="#ref-1">[1]</a>. È così che si esegue un confronto in stile A/B di un nuovo modello rispetto a quello attuale usando richieste live anziché un benchmark sintetico che potrebbe non corrispondere al tuo carico di lavoro.
Coerente, non oscillante
La suddivisione coerente per chiamante significa che un utente è completamente nel test o completamente fuori, quindi il feedback è coerente e i confronti sono significativi senza oscillazioni a metà conversazione <a href="#ref-1">[1]</a>. Un utente nel gruppo canary vi rimane per tutta la sessione, il che rende il confronto risultante affidabile.
A prova di errore per costruzione
Se il box canary si blocca o si comporta male, la sua porzione passa automaticamente ai worker stabili <a href="#ref-1">[1]</a>. Il raggio d'azione è la porzione, e solo fino al failover. Abbina un canary a un aggiornamento rolling consapevole del drain, che è il rollout meccanico, e un cambiamento del modello a livello di flotta diventa una decisione graduata piuttosto che un salto <a href="#ref-2">[2]</a>.