1つのコンテナ化されたAI Serverは、クラウドVMまたは任意のDockerホスト上で稼働し、環境変数のみで完全に設定され、オーケストレーターグレードのヘルスプローブとJSONログを備えています <a href="#ref-1">[1]</a>. デプロイは不変かつ再現可能です：イメージが成果物であり、マウントされたボリュームが状態を保持します。すべての設定は環境変数で行われるため、イメージに何も組み込まれておらず、<code>/livez</code> と <code>/readyz</code> はロードバランサーやオーケストレーターが正しく管理していることを示し、推測ではありません <a href="#ref-2">[2]</a>。
イメージはアーティファクトであり、ボリュームは状態です
コンテナイメージのビルドはリポジトリから再現可能であり、デプロイごとの状態はイメージ内ではなくボリューム上に保持されます <a href="#ref-2">[2]</a>その分離こそがリビルドを安全にする理由です。イメージを置き換えても、モデルストア、キー、ライセンス状態には触れません。構造化されたJSONログ（<code>AISUITE_LOG_JSON=1</code>）は、そのままログコレクターに送られます。
オーケストレーター対応のプローブ機能
<code>/livez</code> はプロセスが稼働中であることを報告し、<code>/readyz</code> はトラフィックを受け付ける準備ができていることを報告し、ドレイン中は <code>503</code> に切り替わります <a href="#ref-2">[2]</a>. livenessプローブを<code>/livez</code>に、readinessプローブを<code>/readyz</code>に接続し、終了猶予期間をドレインおよびシャットダウンの予算以上に設定すると、追加のツールなしでローリングアップデートがゼロダウンタイムになります。
サービスを開始する前にライセンス認証とキー設定が必要です
コンテナがループバック以外のアドレスにバインドするため、これはネットワークサービスとなり、Pro権利と少なくとも1つのAPIキーがボリューム上にない場合、デーモンはフェイルクローズします <a href="#ref-3">[3]</a>ライセンスアーティファクトは、ライセンス認証されたインストールによって書き込まれるインストールごとのファイルであり、手動で作成するものではありません。Freeインストールは設計上ループバックのみを想定しています。
ファームの構成要素
ゲートウェイファームはこれらのコンテナをN個、1つのゲートウェイの背後に配置したものであり、同じ環境設定済みイメージが単一のVPCエンドポイントからロードバランスされたフリートまでスケールします <a href="#ref-1">[1]</a>今日モバイルやブラウザのフロントエンドにサービスを提供しているコンテナは、明日複製するワーカーです。