每個 AI Server 為人類用戶提供位於 <code>/dashboard</code> 的即時儀表板,並以聚合 JSON 格式公開相同數據,亦提供原生 Prometheus 指標以便警報使用 <a href="#ref-1">[1]</a>. 使用量匯總可按金鑰、應用程式、模型或工作者分類;工作者池狀態可查詢以支援農場自動化;調度器探針涵蓋存活及就緒狀態。這些功能均為內建,重點在於善用而非安裝。

於用戶察覺前發現問題

儀表板顯示每個工作者的健康狀況、錯誤率、p95 延遲及飽和度,令工作者離線或延遲漂移可於影響用戶前被察覺 <a href="#ref-2">[2]</a>. 警報方面,抓取 Prometheus 端點並從三條規則開始:錯誤率閾值、持續十分鐘達基線兩倍的 p95 延遲,以及健康工作者數目低於總數五分鐘的農場狀態。

無需計量側車的收費

無內容審計將每個請求歸屬至其應用程式及安裝,並於農場中歸屬至服務工作者,這是原生的按隊伍及應用程式收費數據 <a href="#ref-1">[1]</a>. 按日期範圍查詢使用量並按應用程式分組,可返回每個應用的請求數、標記數及錯誤數;按工作者分組則將成本分攤至農場硬件;按金鑰分組則報告每個憑證。伺服器端可配置按模型定價,令匯總數據包含成本估算。

經得起盡職審查的數據

儀表板適合投影展示,其圖例對非工程師亦清晰易懂,故可用負載下的實時示範取代簡報:運行聊天並觀察每秒請求數變化,停用一個工作者並觀察故障轉移,然後指向按應用程式視圖展示收費狀況 <a href="#ref-1">[1]</a>每個數據均可由這些部署方案重現,這正是令聲稱能通過買家的盡職審查的原因。