Quantilprognose des Traffics und N+2-Kapazitätsplanung

Wozu eine Prognose, wenn es Diagramme gibt

Kapazitätsplanung im Backbone läuft auf die Entscheidung hinaus, ob eine Route ausgebaut wird, und diese Entscheidung muss Monate vor dem Erreichen der Kapazitätsgrenze fallen. Die Diagramme des letzten Jahres zeigen, wie es war. Für die Planung muss man wissen, wie es sein wird und wie verlässlich diese Prognose ist.

Die erste Anforderung lautet daher, dass die Prognose quantilbasiert sein muss. Das Modell liefert drei Werte, P10, P50 und P90, für 168 Stunden im Voraus. Der Planer orientiert sich am oberen Quantil, damit die Kapazität auch in einem ungünstigen Szenario ausreicht.

Das Problem mit der Normalisierung

Der Verkehr in den Backbone-Sektoren unterscheidet sich um eine Größenordnung, von einigen hundert Gigabit bis zu mehreren Terabit pro Sekunde. Die erste Version der Pipeline hat die Zielvariable global normalisiert, und das Ergebnis war schlecht. Das Modell passte sich an die größten Routen an und lieferte für die kleinen eine fast flache Linie, weil deren Schwankungen gemessen an der Gesamtvarianz wie Rauschen aussahen.

Die Lösung ist ein z-Score, der für jeden Sektor separat berechnet wird:

# Normalisierung innerhalb eines Sektors, nicht über den gesamten Datensatz
stats = df.groupby("sector_id")["traffic_gbps"].agg(["mean", "std"])
df["traffic_normalized"] = (
    df["traffic_gbps"] - df["sector_id"].map(stats["mean"])
) / df["sector_id"].map(stats["std"])

Die Statistiken werden neben dem Modell-Checkpoint gespeichert, denn ohne sie lässt sich die Prognose nicht in Gigabit zurückrechnen. An dieser Stelle geht eine solche Pipeline am häufigsten kaputt, wenn das Modell mit anderen mean/std-Werten trainiert wird als bei der Inferenz.

Von der Prognose zur Entscheidung

Für sich allein bringt eine Prognose keinen Nutzen. Zwei Komponenten verwenden sie.

Der Kapazitätsplaner arbeitet nach der N+2-Methode. Eine Route muss den Ausfall zweier Elemente verkraften, die Auslastung darf eine Schwelle nicht überschreiten, und der Ausbau erfolgt nur in festen Schritten, sodass sich keine beliebige Anzahl Gigabit hinzukaufen lässt. Der Planer liefert eine konkrete Empfehlung: welche Route, bis zu welcher Woche und wie viel Kapazität jetzt bestellt werden muss.

Der Anomaliedetektor vergleicht die Ist-Werte mit dem P10-P90-Band. Ein Verlassen des Bandes bedeutet, dass sich der Verkehr anders verhält, als das Modell erwartet hat. Dieses Signal unterscheidet sich von einfach hohem Verkehr und schlägt auch bei Einbrüchen an, hinter denen eine Störung stecken kann.

Merkmale

Insgesamt gibt es 25 Merkmale: Kalendermerkmale (Stunde, Wochentag, Feiertage), Lags und gleitende Statistiken. Sie entstehen in einer eigenen Schicht mit einem eigenen Smoke-Test, der die gesamte Pipeline vom Laden der Daten bis zur Normalisierung durchläuft und die Datenform, das Fehlen von NaN-Werten und die Vollständigkeit der Merkmalslisten prüft. Bei Zeitreihen kostet stille Datenkorruption die meiste Zeit, Abbrüche beim Training sind seltener und fallen sofort auf.