Każdy AI Server posiada aktywny pulpit dostępny pod adresem <code>/dashboard</code> dla użytkowników, udostępnia te same dane w formie zagregowanego JSON oraz serwuje natywne metryki Prometheus do alertów <a href="#ref-1">[1]</a>. Podsumowania użycia są rozbijane według klucza, aplikacji, modelu lub pracownika; status puli pracowników jest dostępny do zapytań w celu automatyzacji farmy; a sondy orkiestratora monitorują żywotność i gotowość. Wszystko jest wbudowane, więc chodzi o efektywne wykorzystanie, a nie instalację.
Wykrywaj problemy zanim zauważą je użytkownicy
Pulpit pokazuje stan zdrowia każdego pracownika, wskaźnik błędów, opóźnienie p95 oraz nasycenie, dzięki czemu awaria pracownika lub wzrost opóźnień jest widoczny zanim dotrze do użytkownika <a href="#ref-2">[2]</a>. Do alertów należy pobierać dane z punktu końcowego Prometheus i zacząć od trzech reguł: progu wskaźnika błędów, p95 przekraczającego dwukrotnie wartość bazową przez dziesięć minut oraz farmy, której liczba zdrowych pracowników jest niższa od całkowitej przez pięć minut.
Rozliczenia bez dodatkowego modułu pomiarowego
Audyt bez treści przypisuje każde żądanie do aplikacji i instalacji, a na farmie do obsługującego pracownika, co stanowi natywne dane do rozliczeń per zespół i per aplikacja <a href="#ref-1">[1]</a>. Zapytanie o użycie w określonym przedziale czasowym, pogrupowane według aplikacji, zwraca liczbę żądań, tokenów i błędów na aplikację; pogrupowane według pracownika rozdziela koszty sprzętu farmy; pogrupowane według klucza raportuje per poświadczenie. Ceny per model można konfigurować po stronie serwera, dzięki czemu podsumowania zawierają szacunkowe koszty.
Dane odporne na weryfikację
Pulpit jest gotowy do wyświetlania na projektorze, a legenda tłumaczy się sama osobom niebędącym inżynierami, więc demonstracja na żywo pod obciążeniem zastępuje prezentacje: uruchom czat i obserwuj rosnącą liczbę żądań na sekundę, wyłącz pracownika i zobacz przejęcie, a następnie wskaż widok per aplikacja jako obraz rozliczeń <a href="#ref-1">[1]</a>Każda liczba jest odtwarzalna na podstawie tych przepisów wdrożeniowych, co pozwala na przetrwanie roszczenia podczas due diligence kupującego.