Varje AI Server har en live-instrumentpanel på <code>/dashboard</code> för människor, exponerar samma data som aggregerad JSON och tillhandahåller inbyggda Prometheus-metriker för larmhantering <a href="#ref-1">[1]</a>. Användningssammanställningar bryts ner efter nyckel, app, modell eller arbetare; arbetarpoolens status kan frågas för gårdsautomation; och orkestratorns sonder täcker livskraft och beredskap. Allt är inbyggt, så det handlar om att använda det väl snarare än att installera det.
Se problem innan användarna gör det
Instrumentpanelen visar varje arbetares hälsa, felprocent, p95-latens och mättnad, så en arbetare som går NER eller en latensavvikelse syns innan det når en användare <a href="#ref-2">[2]</a>. För larmhantering, skrapa Prometheus-endpointen och börja med tre regler: en felprocenttröskel, en p95 som är dubbelt så hög som baslinjen under tio minuter, och en gård där antalet friska arbetare är under totalen i fem minuter.
Kostnadsfördelning utan mätningstjänst
Den innehållsfria revisionen kopplar varje förfrågan till dess app och installation, och på en gård till den tjänstgörande arbetaren, vilket är data för kostnadsfördelning per team och per app inbyggt <a href="#ref-1">[1]</a>. En användningsfråga över ett datumintervall, grupperad efter app, returnerar förfrågningar, token och fel per applikation; grupperad efter arbetare fördelar kostnaden över gårdens hårdvara; grupperad efter nyckel rapporterar per autentiseringsuppgift. Prissättning per modell kan konfigureras på serversidan så att sammanställningarna inkluderar kostnadsuppskattningar.
Siffror som klarar granskning
Instrumentpanelen är projektorvänlig och dess förklaring är självinstruerande för icke-tekniker, så en live-demonstration under belastning ersätter presentationsmaterial: kör en chatt och se förfrågningar per sekund öka, ta ner en arbetare och se failover, och peka sedan på vy per app när kostnadsbilden visas <a href="#ref-1">[1]</a>Varje siffra kan reproduceras från dessa distributionsrecept, vilket är vad som gör att ett påstående klarar en köpares due diligence.