Ein containerisierter AI Server läuft auf einer Cloud-VM oder jedem Docker-Host, vollständig über Umgebungsvariablen konfiguriert, mit Orchestrator-tauglichen Gesundheitsprüfungen und JSON-Logs <a href="#ref-1">[1]</a>. Deployments sind unveränderlich und wiederholbar: Das Image ist das Artefakt und ein eingebundenes Volume trägt den Zustand. Jeder Regler ist eine Umgebungsvariable, sodass nichts im Image fest verdrahtet ist, und <code>/livez</code> sowie <code>/readyz</code> bedeuten, dass ein Load Balancer oder Orchestrator es korrekt verwaltet, anstatt zu raten <a href="#ref-2">[2]</a>.
Das Image ist das Artefakt, das Volume ist der Zustand
Der Container-Image-Build ist reproduzierbar aus dem Repository, und der zustandsspezifische Zustand pro Deployment lebt auf einem Volume statt im Image <a href="#ref-2">[2]</a>. Diese Trennung macht einen Neuaufbau sicher: Sie ersetzen das Image, ohne den Modell-Speicher, Schlüssel oder Lizenzzustand zu berühren. Strukturierte JSON-Logs (<code>AISUITE_LOG_JSON=1</code>) werden direkt in einen Log-Collector eingespeist.
Bereit für Orchestratoren zur Überprüfung
<code>/livez</code> meldet, dass der Prozess aktiv ist; <code>/readyz</code> meldet, dass er bereit ist, Traffic zu übernehmen, und wechselt während des Drainings auf <code>503</code> <a href="#ref-2">[2]</a>. Verbinden Sie die Liveness-Probe mit <code>/livez</code>, die Readiness-Probe mit <code>/readyz</code> und setzen Sie eine Termination Grace Period mindestens so lang wie die Drain- und Shutdown-Budgets, dann werden Rolling Updates ohne zusätzlichen Aufwand zu einem Zero-Downtime-Update.
Lizenzierung und Schlüssel vor dem Dienststart
Da der Container eine Nicht-Loopback-Adresse bindet, also Netzwerkverkehr bedient, und der Daemon ohne sowohl eine Pro-Berechtigung als auch mindestens einen API-Schlüssel auf dem Volume im Fehlerfall sofort schließt <a href="#ref-3">[3]</a>. Ein Lizenz-Artefakt ist eine pro Installation geschriebene Datei, die von einer lizenzierten Installation erzeugt wird, nicht etwas, das manuell erstellt werden sollte; eine Free-Installation ist von Design her nur für Loopback-Verbindungen vorgesehen.
Der Baustein eines Clusters
Ein Gateway-Cluster besteht aus N dieser Container hinter einem Gateway, sodass dasselbe umgebungs-konfigurierte Image von einem einzelnen VPC-Endpunkt bis zu einer lastverteilten Flotte skaliert <a href="#ref-1">[1]</a>. Der Container, der heute Ihre mobilen und Browser-Clients bedient, ist der Worker, den Sie morgen replizieren.