ワーカーごとの同時実行制限は、ゲートウェイがボックスに対して設定された数以上の進行中リクエストをルーティングしないように指示します <a href="#ref-1">[1]</a>. 処理が飽和したワーカーはスキップされ、完全に飽和したプールは即座に<code>Retry-After</code>ヘッダー付きの<code>503</code>を返します。これは、何かがダウンするまで静かに増え続けるキューではなく、正直なバックプレッシャーです。
各ボックスを最適な状態に保つ
処理能力を超える多数の同時生成を要求されたボックスは、優雅に劣化することはなく、暴走したり、メモリ不足に陥ったり、隣接する機器にも影響を及ぼします <a href="#ref-1">[1]</a>キャップは、それぞれのボックスのレイテンシが許容範囲内に収まる同時実行数で設定されます。混在した環境では、大型のボックスには高いキャップを、小型のボックスには低いキャップを設定し、それぞれが実際に処理可能な範囲で貢献します。
高速フェイルは遅い死に勝る
プールが満杯の場合、呼び出し元にはタイムアウトまで待たされるのではなく、すぐに再試行するよう案内されます <a href="#ref-1">[1]</a>. AI Suiteアプリは<code>Retry-After</code>を自動的に尊重し、利用可能な場合はオンデバイスAIにフォールバックするため、混雑した朝でも停止するのではなく短時間の待機で済みます <a href="#ref-2">[2]</a>。
キャップのサイズ設定
許容できるレイテンシーでボックスが処理できる同時生成数からキャップを選び、負荷が上がるにつれてダッシュボードのワーカーカードのレイテンシーを監視します。膝のように急激に変化するポイントが明確です <a href="#ref-2">[2]</a>キャップは厳しい制限です：飽和状態のワーカーは何も受け取らず、フェイルオーバートラフィックさえも受け取らないため、最悪のタイミングで限界を超えられないよう保護されます。キャップがゼロの場合は無制限を意味します。