Une limite de concurrence par travailleur indique à la passerelle de ne jamais acheminer plus d’un nombre défini de requêtes en cours vers une boîte <a href="#ref-1">[1]</a>. Un travailleur saturé est ignoré, et une piscine entièrement saturée répond immédiatement avec un <code>503</code> accompagné d’un en-tête <code>Retry-After</code>. C’est une rétropression honnête plutôt qu’une file d’attente qui s’allonge silencieusement jusqu’à ce qu’un incident survienne.
Maintenir chaque boîte dans sa zone optimale
Une boîte sollicitée pour exécuter beaucoup plus de générations concurrentes qu’elle ne peut en gérer ne se dégrade pas de manière élégante ; elle s’emballe, manque de mémoire ou entraîne ses voisines dans sa chute <a href="#ref-1">[1]</a>. Une limite maintient chaque boîte à la concurrence où sa latence reste acceptable. Dans une flotte mixte, vous fixez une limite plus élevée sur la grosse boîte et une plus basse sur la petite, et chacune contribue selon ses capacités réelles.
Échec rapide plutôt que mort lente
Lorsque la piscine est pleine, les appelants sont invités à réessayer sous peu plutôt que laissés en attente jusqu’à un délai d’expiration <a href="#ref-1">[1]</a>. Les applications AI Suite respectent automatiquement le <code>Retry-After</code> et basculent vers l’IA locale lorsque celle-ci est disponible, de sorte qu’une matinée chargée se transforme en une courte attente plutôt qu’en un blocage <a href="#ref-2">[2]</a>.
Dimensionner le plafond
Choisissez un plafond en partant du nombre de générations simultanées que la machine peut gérer avec une latence acceptable, puis observez la latence de la carte de travail sur le tableau de bord à mesure que la charge augmente ; le point de rupture est évident <a href="#ref-2">[2]</a>. Un plafond est strict : un travailleur saturé ne reçoit rien, même pas le trafic de basculement, ce qui le protège d’être poussé au-delà de la limite au pire moment. Un plafond de zéro signifie sans plafond.