Die Tücken des MAPE als Maß für Prognosegüte

Der mittlere absolute prozentuale Fehler (MAPE) ist eine der beliebtesten Kennzahlen für Prognosegüte. Er ist anschaulich, hat aber Grenzen, die jeder kennen sollte, der Prognosen für Wärmebedarf, Last, PV- oder Windleistung bewertet. Dieser Beitrag zeigt, wie sich der MAPE in typischen Situationen der Energiewirtschaft verhält und welche Kennzahlen besser geeignet sind, wo er versagt.

Wie der MAPE berechnet wird

MAPE = (100 % / N) · Σ |Aₜ − Fₜ| / |Aₜ|

Aₜ ist der tatsächliche (gemessene) Wert zum Zeitpunkt t, Fₜ der prognostizierte Wert und N die Anzahl der Zeitschritte. In Worten: der Durchschnitt der absoluten Fehler, jeweils in Prozent des tatsächlichen Werts.

Stärken

• Leicht verständlich: Ein MAPE von 10 % heißt, die Prognose lag im Mittel um 10 % daneben.
• Skalenunabhängig: Er erlaubt Vergleiche zwischen Zeitreihen unterschiedlicher Größe, etwa zwischen den Lastportfolios zweier Stadtwerke.

Grenzen

1. Werte nahe null. Weil jeder Fehler durch den tatsächlichen Wert geteilt wird, blähen kleine Messwerte die Kennzahl auf. Beispiel: Eine PV-Anlage mit 15 MWp erzeugt in der Morgendämmerung 0,2 MW, die Prognose sagt 1,0 MW. Der Fehler von 0,8 MW ist gemessen an der Anlage klein, sein prozentualer Fehler beträgt aber 400 %. Nachts, bei Messwerten von genau null, ist der MAPE gar nicht definiert, und viele Werkzeuge lassen diese Zeitschritte dann stillschweigend weg oder liefern unendlich. Genau darauf weisen Hyndman und Koehler (2006) hin: Der MAPE ist unendlich oder undefiniert, wenn tatsächliche Werte null sind, und extrem verzerrt, wenn sie nahe null liegen.
2. Asymmetrie. Bei nicht negativen Werten kann eine zu niedrige Prognose höchstens 100 % Fehler erzeugen, eine zu hohe dagegen beliebig viel. Ein auf den MAPE optimiertes Modell lernt deshalb, systematisch zu niedrig zu prognostizieren.
3. Keine Richtung. Der MAPE zeigt nicht, ob die Prognose zu hoch oder zu niedrig liegt. Für das Bilanzkreismanagement ist genau das die entscheidende Frage, deshalb gehört zum MAPE immer der Bias.
4. Intermittierende Zeitreihen. Reihen mit vielen Null- oder Fast-null-Phasen, etwa PV-Einspeisung oder der Verbrauch einzelner Kunden, lassen sich mit dem MAPE nicht sinnvoll bewerten.

Was ist ein guter MAPE?

Eine oft zitierte Einteilung geht auf Lewis (1982) zurück: unter 10 % sehr genau, 10–20 % gut, 20–50 % vertretbar, über 50 % ungenau. Entwickelt wurde sie allerdings für Absatz- und Unternehmensprognosen. Für PV- oder Windleistung mit vielen Werten nahe null sind diese Schwellen nicht aussagekräftig. Ein Vergleich mit einer einfachen Referenzprognose sagt mehr als jede feste Grenze.

Bessere Alternativen

• MAE und RMSE: der mittlere absolute Fehler und die Wurzel des mittleren quadratischen Fehlers, beide in der Einheit der Prognose (etwa MW). Der RMSE gewichtet große Fehler stärker, was oft ihren Kosten entspricht.
• nMAE und nRMSE: MAE oder RMSE bezogen auf die installierte Leistung. Das ist der Standard für PV und Wind, weil es Anlagen unterschiedlicher Größe vergleichbar macht und auch nachts definiert ist. So weisen wir unsere Benchmarks für PV und Wind aus.
• WAPE: die Summe der absoluten Fehler geteilt durch die Summe der tatsächlichen Werte. Wie der MAPE in Prozent, aber einzelne kleine Werte lassen ihn nicht explodieren. Gut geeignet für Last und Wärme.
• MdAPE: der Median statt des Mittelwerts der prozentualen Fehler. Robuster gegenüber Ausreißern, aber bei Nullwerten ebenfalls undefiniert.
• MASE: vorgeschlagen von Hyndman und Koehler (2006). Er setzt den MAE ins Verhältnis zum MAE einer naiven Prognose auf den Trainingsdaten; Werte unter 1 bedeuten, dass die Prognose die naive schlägt. Mit Nullwerten kommt er zurecht, solange die Reihe nicht konstant ist.
• Skill Score gegenüber einer Referenz: Wie viel besser ist die Prognose als Persistenz oder Klimatologie? In unserem Wind-Benchmark etwa steht ein nRMSE von 9,3 % gegen 18,9 % für eine Persistenzprognose.

Was das für die Praxis heißt

• Wählen Sie die Kennzahl nach Anwendungsfall: auf die Leistung normierte Maße für PV und Wind, MAE oder WAPE in MW für Last und Wärme.
• Geben Sie immer auch den Bias an und vergleichen Sie über denselben Zeitraum mit einer Referenzprognose.
• Wer blind auf den MAPE optimiert, bekommt systematisch zu niedrige Prognosen, und die werden direkt zu Ausgleichsenergie.

Wie man Prognosen insgesamt fair bewertet, beschreibt unser Leitfaden zur Bewertung von Prognosen in der Energiewirtschaft.

Literatur

1. Armstrong, J. S., Collopy, F. (1992): Error measures for generalizing about forecasting methods: Empirical comparisons. International Journal of Forecasting 8(1), 69–80. doi:10.1016/0169-2070(92)90008-W
2. Goodwin, P., Lawton, R. (1999): On the asymmetry of the symmetric MAPE. International Journal of Forecasting 15(4), 405–408. doi:10.1016/S0169-2070(99)00007-2
3. Hyndman, R. J., Koehler, A. B. (2006): Another look at measures of forecast accuracy. International Journal of Forecasting 22(4), 679–688. doi:10.1016/j.ijforecast.2006.03.001
4. Lewis, C. D. (1982): Industrial and Business Forecasting Methods. London: Butterworths.