Cada AI Server aloja un panel en vivo en <code>/dashboard</code> para humanos, expone los mismos datos como JSON agregado y ofrece métricas nativas de Prometheus para alertas <a href="#ref-1">[1]</a>. Los resúmenes de uso se desglosan por clave, aplicación, modelo o trabajador; el estado del grupo de trabajadores es consultable para la automatización de la granja; y las sondas del orquestador cubren disponibilidad y preparación. Todo está integrado, así que se trata de usarlo bien más que de instalarlo.
Detecta problemas antes que los usuarios
El panel muestra la salud, tasa de errores, latencia p95 y saturación de cada trabajador, por lo que un trabajador que se CAE o una deriva en la latencia es visible antes de que afecte a un usuario <a href="#ref-2">[2]</a>. Para alertas, extrae datos del endpoint de Prometheus y comienza con tres reglas: un umbral de tasa de errores, una p95 que se mantenga al doble de su línea base durante diez minutos, y una granja cuyo número de trabajadores saludables sea inferior al total durante cinco minutos.
Facturación sin un sidecar de medición
La auditoría sin contenido asigna cada solicitud a su aplicación e instalación, y en una granja al trabajador que la atiende, lo que constituye datos nativos de facturación por equipo y aplicación <a href="#ref-1">[1]</a>. Una consulta de uso en un rango de fechas, agrupada por aplicación, devuelve solicitudes, tokens y errores por aplicación; agrupada por trabajador divide el costo entre el hardware de la granja; agrupada por clave informa por credencial. La tarificación por modelo puede configurarse en el servidor para que los resúmenes incluyan estimaciones de costo.
Números que superan la auditoría
El panel está listo para proyección y su leyenda se explica sola a no ingenieros, por lo que una demostración en vivo bajo carga reemplaza las diapositivas: ejecuta un chat y observa cómo aumentan las solicitudes por segundo, detén un trabajador y observa la conmutación por error, luego señala la vista por aplicación mientras se muestra la imagen de facturación <a href="#ref-1">[1]</a>Cada cifra es reproducible a partir de estas recetas de implementación, lo que permite que una afirmación resista la debida diligencia del comprador.