Elke AI Server heeft een live dashboard op <code>/dashboard</code> voor mensen, biedt dezelfde data als geaggregeerde JSON en levert native Prometheus-metrics voor waarschuwingen <a href="#ref-1">[1]</a>. Gebruikssamenvattingen worden uitgesplitst per sleutel, app, model of worker; de status van de workerpool is opvraagbaar voor farm-automatisering; en orchestrator-probes dekken liveness en readiness. Dit is allemaal ingebouwd, dus het gaat erom het goed te gebruiken in plaats van te installeren.

Problemen zien voordat gebruikers dat doen

Het dashboard toont de gezondheid, foutpercentage, p95-latentie en saturatie van elke worker, zodat een worker die UITvalt of een latentieverschuiving zichtbaar is voordat het een gebruiker bereikt <a href="#ref-2">[2]</a>. Voor waarschuwingen, scrape het Prometheus-eindpunt en begin met drie regels: een foutpercentage-drempel, een p95 die tien minuten lang tweemaal de basiswaarde draait, en een farm waarvan het aantal gezonde workers vijf minuten lang onder het totaal ligt.

Kostenverdeling zonder meet-sidecar

De inhoudsvrije audit wijst elk verzoek toe aan de app en installatie, en op een farm aan de bedienende worker, wat native per-team en per-app kostenverdelingsdata is <a href="#ref-1">[1]</a>. Een gebruiksvraag over een datumbereik, gegroepeerd per app, geeft verzoeken, tokens en fouten per applicatie terug; gegroepeerd per worker verdeelt het de kosten over farm-hardware; gegroepeerd per sleutel rapporteert het per credential. Per-model prijsstelling kan server-side worden geconfigureerd zodat de samenvattingen kostenramingen bevatten.

Cijfers die een due diligence doorstaan

Het dashboard is klaar voor projectie en de legenda legt zichzelf uit aan niet-technici, dus een live demonstratie onder belasting vervangt slides: voer een chat uit en zie het aantal verzoeken per seconde toenemen, neem een worker offline en zie de failover, en wijs dan naar de per-app weergave als het kostenverdelingsbeeld <a href="#ref-1">[1]</a>. Elk cijfer is reproduceerbaar aan de hand van deze implementatierecepten, wat een bewering bestand maakt tegen de due diligence van een koper.