Ogni AI Server ospita una dashboard live in <code>/dashboard</code> per gli umani, espone gli stessi dati come JSON aggregato e serve metriche Prometheus native per gli alert <a href="#ref-1">[1]</a>. I riepiloghi di utilizzo si suddividono per chiave, app, modello o worker; lo stato del pool di worker è interrogabile per l'automazione della farm; e le sonde dell'orchestratore coprono la vivacità e la prontezza. È tutto integrato, quindi si tratta di usarlo bene piuttosto che installarlo.
Individua i problemi prima degli utenti
La dashboard mostra la salute di ogni worker, il tasso di errore, la latenza p95 e la saturazione, quindi un worker che va DOWN o una deriva di latenza sono visibili prima che raggiungano un utente <a href="#ref-2">[2]</a>. Per gli alert, esegui lo scraping dell'endpoint Prometheus e inizia con tre regole: una soglia di tasso di errore, una p95 che supera il doppio del suo valore base per dieci minuti, e una farm il cui numero di worker sani è inferiore al totale per cinque minuti.
Addebito senza sidecar di misurazione
L'audit senza contenuti attribuisce ogni richiesta alla sua app e installazione, e su una farm al worker che serve, dati nativi per l'addebito per team e per app <a href="#ref-1">[1]</a>. Una query di utilizzo su un intervallo di date, raggruppata per app, restituisce richieste, token ed errori per applicazione; raggruppata per worker suddivide i costi sull'hardware della farm; raggruppata per chiave riporta per credenziale. La tariffazione per modello può essere configurata lato server così che i riepiloghi includano stime di costo.
Numeri che superano la due diligence
La dashboard è pronta per il proiettore e la sua legenda si spiega da sola ai non ingegneri, quindi una dimostrazione live sotto carico sostituisce le slide: esegui una chat e osserva le richieste al secondo aumentare, disattiva un worker e osserva il failover, poi indica la vista per app mentre si delinea il quadro dell'addebito <a href="#ref-1">[1]</a>Ogni dato è riproducibile da queste ricette di distribuzione, il che consente a una dichiarazione di superare la due diligence dell'acquirente.