単一のAI Gatewayが複数のワーカーAIサーバー群の前に配置されます。アプリケーションはまるで単一のAI Serverであるかのように、1つのURLと1つのキーでゲートウェイに接続します。背後では、ゲートウェイがすべてのリクエストをワーカー間でロードバランスし、各ワーカーのヘルスチェックを行い、障害が発生しそうなワーカーのトラフィックを健全なワーカーに移動させ、呼び出し元が気づく前に処理します[1]。これは別製品ではありません。AI GatewayはAI Serverがファームのフロントエンドモードで動作しているものであり、OpenAI互換 /v1/* およびOllama互換 /api/* が提供する単一サーバーのインターフェースは、ファームが提供するものとまったく同じです[1]。

1つのURLと1つのキー、その背後にあるファーム

ゲートウェイはプラットフォームが提供するすべてのリクエストタイプをバランスします：チャット、埋め込み、画像生成、ビジョン、オーディオ、ライブスピーチのWebSocketも含みます[1]。リクエストは選択した戦略で割り当てられます — ラウンドロビン、最小レイテンシ、最小接続数、重み付け、またはクライアントごとのスティッキー。モデル認識ルーティングは、要求されたモデルをすでにウォーム状態で保持しているワーカーにリクエストを送るため、コールドロードのペナルティを回避します。そうでなければより冷たいマシンが呼び出しを受けてしまう可能性があります[1]。

GPUボックスを追加すれば容量が増え、クライアントは何も変更する必要がありません。メンテナンスのためにボックスを停止しても、そのトラフィックは優雅に排出されるため、進行中のリクエストが失われることはありません。私たちは独自のテストスイートでトラフィック中にワーカーを強制終了し、この保証を厳格に保っています：死んだワーカーは健全なワーカーで再試行され、フェイルオーバーはクライアントがエラーを認識する前にゲートウェイ内で発生します[1][3]。

ファームがもたらす信頼境界

ファームはどの資格情報を誰が保持するかを変え、その設計はその境界を厳密に保ちます。クライアントのゲートウェイキーはワーカーに決して届きません。ゲートウェイは各ワーカーに独自のキーを提示するため、漏洩したゲートウェイキーが直接ワーカーにリプレイされることはなく、ワーカーごとの資格情報はファーム内に留まります[2]。呼び出し元の識別、つまりどのアプリとどのインストールがリクエストを発行したかはワーカーに伝わります。したがって各ワーカーのコンテンツフリー監査ログは、すべてをゲートウェイに帰属させるのではなく、実際の発信者を記録します[2]。

タイムアウトではなくバックプレッシャー

すべてのワーカーが飽和状態のとき、ゲートウェイは接続をタイムアウトまで保持するのではなく、明示的な「すぐに再試行してください」を返します[1]。呼び出し元は対応可能なシグナルを受け取ります。同じルーティング層には2つのロールアウト制御が組み込まれています。カナリアリリースは新しいマシンに一貫したトラフィックの一部を送ってフルロード前に検証します。ゼロダウンタイムアップグレードはワーカーを排出し、アップグレードしてプールに戻し、エンドポイントは稼働し続けます[1]。

手動によるプール編集不要のKubernetes

Kubernetesでは、ワーカーはスケールに応じて自動的に検出されるため、オートスケーリングファームではゲートウェイのワーカーリストを手動で編集する必要はありません[2]。このレシピは、1つの製品から3つの形態を提供します：シングルボックスデモ用のDocker Compose、Kubernetesマニフェスト、そしてクラスター用のHelmチャートです。製品、API、およびライセンスは、ノートパソコンからGPUファームまで同一です[2]。

ファームの運用コスト

すべてのサーバー（ゲートウェイを含む）は独自のライブダッシュボードをホストし、フリートの健全性、レイテンシ、使用状況、容量に関するネイティブなPrometheusメトリクスを公開しています[3]。フリートの可視化は1つのダッシュボードで行われ、最初のリクエスト前に監視スタックを組み立てる必要はありません。ネットワークサービスは各ノードでゲートがかかっており、ループバック以外のバインド失敗は、そのノードがProライセンスと少なくとも1つのAPIキーを持っていない限り即座に閉じられます。これにより、ライセンス未取得またはキー未設定のボックスがLAN上で静かに公開されることを防ぎます[1][4]。

ゲートウェイファームはプラットフォームの可用性の基盤となるトポロジーです：ボックスがダウンしてもAIエンドポイントは稼働し続け、リクエスト経路にベンダークラウドを介しません。これは別製品として販売されるのではなく、Pro Commercialの一部としてライセンスされています[4]。