vLLM Loadbalancer
verbinde …
Übersicht
Verbrauch & Keys
Fluss
Offline ausblenden
Anfragen →
Prefill (Prompt-Tokens) →
← generierte Tokens
Tempo = Menge · blass = gerade nichts los
Durchsatz
15 min
1 h
6 h
24 h
Generierung
–
Prefill
–
Instanzen
Warteschlange
Letzte Zuteilungen
Admin-Anmeldung
Verbrauch und Key-Verwaltung brauchen den Admin-Key (
LB_ADMIN_KEY
). Anzeigen auf dem Balancer-Server:
sudo bash /opt/vllm/install-lb.sh admin-key
Anmelden
Verlauf
Tokens
Prompt
Antwort
Anfragen
Stunde
Tag
Woche
Monat
Gesamt
Je Key
CSV exportieren
API-Keys
Key erstellen
Gelöschte Keys sind sofort ungültig, ihr Verbrauch bleibt in der Statistik.
Abmelden