Ein Pro-Arbeiter-Konkurrenzlimit weist das Gateway an, niemals mehr als eine festgelegte Anzahl von laufenden Anfragen an eine Einheit zu senden <a href="#ref-1">[1]</a>. Ein ausgelasteter Worker wird übersprungen, und ein vollständig ausgelasteter Pool antwortet sofort mit <code>503</code> und einem <code>Retry-After</code>-Header. Das ist ehrlicher Backpressure statt einer Warteschlange, die still wächst, bis etwas zusammenbricht.
Jede Box in ihrem optimalen Bereich halten
Eine Box, die aufgefordert wird, weit mehr gleichzeitige Generierungen durchzuführen, als sie bewältigen kann, verhält sich nicht elegant; sie gerät in Panik, läuft aus dem Speicher oder reißt ihre Nachbarn mit sich <a href="#ref-1">[1]</a>. Eine Obergrenze hält jede Box bei der Parallelität, bei der ihre Latenz noch akzeptabel ist. In einer gemischten Flotte setzt man eine höhere Obergrenze für die große Box und eine niedrigere für eine kleine Box, und jede trägt das bei, was sie tatsächlich leisten kann.
Schnelles Scheitern schlägt langsamen Tod
Wenn der Pool voll ist, wird den Aufrufern gesagt, sie sollen es in Kürze erneut versuchen, anstatt sie bis zum Timeout warten zu lassen <a href="#ref-1">[1]</a>. AI Suite-Anwendungen berücksichtigen <code>Retry-After</code> automatisch und greifen auf die KI auf dem Gerät zurück, wo diese verfügbar ist, sodass ein ausgelasteter Morgen in eine kurze Wartezeit statt in einen Stillstand übergeht <a href="#ref-2">[2]</a>.
Festlegung der Obergrenze
Wählen Sie eine Obergrenze, indem Sie mit der Anzahl gleichzeitiger Generierungen beginnen, die das Gerät bei akzeptabler Latenz bewältigt, und beobachten Sie die Latenz der Worker-Karte im Dashboard, während die Last steigt; der Knick ist deutlich erkennbar <a href="#ref-2">[2]</a>. Eine Obergrenze ist strikt: Ein ausgelasteter Worker erhält nichts, nicht einmal Failover-Verkehr, was ihn davor schützt, im ungünstigsten Moment überlastet zu werden. Eine Obergrenze von null bedeutet keine Begrenzung.