Un limite di concorrenza per lavoratore indica al gateway di non instradare mai più di un certo numero di richieste in corso a una singola unità <a href="#ref-1">[1]</a>. Un lavoratore saturo viene saltato e un pool completamente saturo risponde con <code>503</code> e un header <code>Retry-After</code> immediatamente. Questo è backpressure onesto, non una coda che cresce silenziosamente finché qualcosa non crolla.
Mantieni ogni unità nel suo punto ottimale
Un’unità a cui viene chiesto di gestire molte più generazioni concorrenti di quante ne possa sostenere non degrada in modo graduale; va in crisi, esaurisce la memoria o trascina con sé le unità vicine <a href="#ref-1">[1]</a>. Un limite mantiene ogni unità alla concorrenza in cui la latenza è ancora accettabile. In una flotta mista si imposta un limite più alto per le unità grandi e uno più basso per quelle piccole, e ciascuna contribuisce secondo le sue reali capacità.
Fallimento rapido meglio di morte lenta
Quando il pool è pieno, i chiamanti vengono invitati a riprovare a breve invece di rimanere in attesa fino a un timeout <a href="#ref-1">[1]</a>. Le app AI Suite rispettano automaticamente <code>Retry-After</code> e ricorrono all’AI locale quando disponibile, così una mattinata intensa si trasforma in una breve attesa invece che in un blocco <a href="#ref-2">[2]</a>.
Dimensionare il limite
Scegli un limite partendo dal numero di generazioni concorrenti che il dispositivo gestisce con una latenza accettabile e osservando la latenza della scheda worker sulla dashboard mentre il carico aumenta; il punto di flesso è evidente <a href="#ref-2">[2]</a>. Un limite è rigido: un worker saturo non riceve nulla, nemmeno traffico di failover, che è ciò che lo protegge dall'essere spinto oltre il limite nel momento peggiore. Un limite pari a zero significa senza limiti.