Markieren Sie einen oder mehrere Worker als Canary und geben Sie dem Pool einen Canary-Prozentsatz: Dieser Anteil der Anrufer, der konsistent anhand eines Identitätshashes und nicht durch zufällige Entscheidungen pro Anfrage zugewiesen wird, bevorzugt den Canary-Worker, während alle anderen auf dem stabilen Modell bleiben <a href="#ref-1">[1]</a>. Beide Gruppen bleiben gegenseitig als Ausfallsicherung erhalten, sodass die Änderung umkehrbar und begrenzt ist.
Neue Modelle mit echtem Traffic testen
Neue Modellversionen, neue Quantisierungen und neue Daemon-Builds können an einem kontrollierten Ausschnitt echten Traffics erprobt werden, bevor die gesamte Flotte darauf umstellt <a href="#ref-1">[1]</a>. So führen Sie einen A/B-Vergleich eines neuen Modells gegen das bestehende mit Live-Anfragen durch, anstatt mit einem synthetischen Benchmark, der möglicherweise nicht Ihrer Arbeitslast entspricht.
Kohärent, kein Flapping
Caller-konsistente Aufteilung bedeutet, dass ein Nutzer entweder vollständig im Test ist oder vollständig nicht, sodass das Feedback kohärent ist und Vergleiche aussagekräftig sind, ohne Flapping mitten im Gespräch <a href="#ref-1">[1]</a>. Ein Benutzer, der zur Canary-Gruppe gehört, bleibt während der gesamten Sitzung dort, was den daraus resultierenden Vergleich vertrauenswürdig macht.
Ausfallsicher durch Konstruktion
Wenn die Canary-Box ausfällt oder sich fehlerhaft verhält, übernimmt ihr Slice automatisch die Arbeit der stabilen Worker <a href="#ref-1">[1]</a>. Der Explosionsradius ist das Slice und gilt nur bis zum Failover. Kombinieren Sie eine Canary mit einem drain-aware Rolling Upgrade, das den mechanischen Rollout darstellt, und eine fleetweite Modelländerung wird zu einer abgestuften Entscheidung statt zu einem Sprung <a href="#ref-2">[2]</a>.