Een per-werknemer gelijktijdigheidslimiet vertelt de gateway om nooit meer dan een bepaald aantal lopende verzoeken naar een box te sturen <a href="#ref-1">[1]</a>. Een verzadigde werknemer wordt overgeslagen en een volledig verzadigd pool antwoordt direct met <code>503</code> en een <code>Retry-After</code> header. Dat is eerlijke backpressure in plaats van een wachtrij die stilletjes groeit totdat er iets faalt.
Houd elke box in zijn optimale werkgebied
Een box die wordt gevraagd veel meer gelijktijdige generaties uit te voeren dan hij aankan, degradeert niet soepel; hij raakt overbelast, raakt geheugen kwijt of neemt zijn buren mee naar beneden <a href="#ref-1">[1]</a>. Een limiet houdt elke box op het gelijktijdigheidsniveau waar de latency nog acceptabel is. In een gemengde vloot stel je een hogere limiet in voor de grote box en een lagere voor een kleine box, en elke levert wat hij daadwerkelijk kan.
Snel falen is beter dan langzaam sterven
Wanneer het pool vol is, krijgen aanroepers te horen dat ze het kort daarna opnieuw moeten proberen in plaats van te blijven hangen tot een time-out <a href="#ref-1">[1]</a>. AI Suite-apps respecteren <code>Retry-After</code> automatisch en vallen terug op AI op het apparaat waar dat beschikbaar is, zodat een drukke ochtend verandert in een korte wachttijd in plaats van een stilstand <a href="#ref-2">[2]</a>.
De limiet bepalen
Kies een limiet door te beginnen met het aantal gelijktijdige generaties dat de box aankan bij acceptabele latentie en bekijk de latentie van de werkkaart op het dashboard terwijl de belasting toeneemt; de knik is duidelijk <a href="#ref-2">[2]</a>. Een limiet is strikt: een verzadigde worker krijgt niets, zelfs geen failover-verkeer, wat voorkomt dat deze op het slechtste moment overbelast raakt. Een limiet van nul betekent onbeperkt.