Jeder AI Server stellt ein Live-Dashboard unter <code>/dashboard</code> für Menschen bereit, bietet dieselben Daten als aggregiertes JSON an und liefert native Prometheus-Metriken für Alerts. <a href="#ref-1">[1]</a>. Nutzungszusammenfassungen werden nach Schlüssel, App, Modell oder Worker aufgeschlüsselt; der Status des Worker-Pools ist für Farm-Automatisierung abfragbar; und Orchestrator-Probes überwachen Liveness und Readiness. Alles ist integriert, sodass es hier darum geht, es gut zu nutzen, nicht es zu installieren.

Probleme erkennen, bevor Nutzer sie bemerken

Das Dashboard zeigt die Gesundheit, Fehlerquote, p95-Latenz und Auslastung jedes Workers, sodass ein Worker, der AUSFÄLLT, oder eine Latenzverschiebung sichtbar wird, bevor sie einen Nutzer erreichen. <a href="#ref-2">[2]</a>. Für Alerts wird der Prometheus-Endpunkt abgefragt, und man beginnt mit drei Regeln: eine Fehlerquote-Grenze, ein p95, der für zehn Minuten das Doppelte seines Baselines erreicht, und eine Farm, deren gesunde Worker-Anzahl für fünf Minuten unter der Gesamtzahl liegt.

Abrechnung ohne Metering-Sidecar

Die inhaltsfreie Prüfung ordnet jede Anfrage ihrer App und Installation zu und auf einer Farm dem bedienenden Worker, was native Abrechnungsdaten pro Team und pro App liefert. <a href="#ref-1">[1]</a>. Eine Nutzungsabfrage über einen Zeitraum, gruppiert nach App, liefert Anfragen, Tokens und Fehler pro Anwendung; gruppiert nach Worker verteilt sie Kosten auf Farm-Hardware; gruppiert nach Schlüssel meldet sie pro Anmeldeinformation. Die Preisgestaltung pro Modell kann serverseitig konfiguriert werden, sodass die Zusammenfassungen Kostenschätzungen enthalten.

Zahlen, die einer Prüfung standhalten

Das Dashboard ist projektorfähig und seine Legende erklärt sich auch Nicht-Ingenieuren selbst, sodass eine Live-Demonstration unter Last Folien ersetzt: Führen Sie einen Chat aus und beobachten Sie die Anfragen pro Sekunde, nehmen Sie einen Worker außer Betrieb und beobachten Sie das Failover, und zeigen Sie dann die Ansicht nach App als Abrechnungsübersicht. <a href="#ref-1">[1]</a>Jede Zahl ist anhand dieser Bereitstellungsanleitungen nachvollziehbar, was es ermöglicht, eine Behauptung bei der Due Diligence eines Käufers zu bestehen.