Forecast Accuracy Score: Wie Controller Prognosequalität wirklich messen
Quelle: Hyndman & Koehler — Another look at measures of forecast accuracy, International Journal of Forecasting 22(4)·Veröffentlicht am 2006
„Der Forecast war zu 92 Prozent genau“ klingt präzise und sagt doch wenig. Wie gut eine Prognose ist, hängt von Fehlergröße, Richtung, Horizont, Aggregationsebene und dem Beitrag jeder Prozessstufe ab. Der Beitrag zeigt, welche Kennzahlen Controller kombinieren sollten, rechnet MAPE, WAPE und Bias an einem Beispiel durch und erklärt, wie eine belastbare Forecast-Scorecard aufgebaut wird.
Auf einen Blick
- Ohne eingefrorene Forecast-Version, festen Horizont und definierte Messebene ist jeder Genauigkeitswert manipulierbar.
- MAPE ist bei kleinen Ist-Werten instabil; WAPE und skalierte Fehler wie MASE sind für Controlling-Daten oft robuster.
- Bias zeigt die systematische Richtung des Fehlers, die MAE und MAPE verbergen.
- Forecast Value Added misst, ob Modell, Vertrieb und Management die Prognose gegenüber einer naiven Prognose tatsächlich verbessern.
Warum eine einzelne Prozentzahl nichts über Prognosequalität sagt
In vielen Controlling-Abteilungen wird Prognosegenauigkeit auf eine Zahl verkürzt: „Der Forecast des Vormonats war zu 92 Prozent genau.“ Ohne Angaben zu Formel, Aggregationsebene, Prognosehorizont und Forecast-Version hat diese Zahl wenig Aussagekraft. Auf Konzernebene kann der Umsatzfehler klein sein, während sich große positive und negative Fehler einzelner Produktlinien gegenseitig aufheben. Eine Prognose einen Monat im Voraus ist außerdem mit einer Prognose zwölf Monate im Voraus nicht vergleichbar.
Eine professionelle Messung beantwortet mindestens drei Fragen: Wie groß war der Fehler? Weicht die Prognose systematisch in eine Richtung ab? In welchem Werttreiber oder welcher Entscheidung ist der Fehler entstanden? Ein Forecast Accuracy Score hilft nur, wenn er Teil eines Messsystems ist. Die Definition des Ist-Werts, der Stichtag, an dem die Prognose eingefroren wird, die Messebene und der Umgang mit Sondereffekten gehören vor der ersten Berechnung festgelegt. Sonst lässt sich der Score durch eine geänderte Basis verbessern, ohne dass auch nur eine Entscheidung besser wird.
Forecast-Version und Horizont einfrieren
Fair vergleichen kann nur, wer die Forecast-Version (Vintage) festhält. Wird eine Prognose nach Monatsende in Kenntnis der Ist-Zahlen angepasst, ist der gemessene Fehler wertlos. Offizielle Snapshots, etwa Vormonat, Vorquartal und Budgetfreigabe, werden mit Datum, Verantwortlichem, Szenario und Horizont gespeichert und nie überschrieben.
Der Fehler wird nach Horizont ausgewertet. Ein Umsatz-Forecast für den nächsten Monat ist in der Regel genauer als einer für sechs Monate. Das liegt an der Unsicherheit und nicht unbedingt am Team. Eine Kurve der Genauigkeit nach Horizont zeigt, ab wann die Unsicherheit so stark steigt, dass Szenarioplanung einen Punktwert ablösen sollte. Ein Geschäftsbereich mit kurzfristigem Bestellgeschäft verhält sich statistisch anders als einer mit langfristigen Projektverträgen. Ein einheitlicher Zielwert für alle Bereiche setzt deshalb leicht falsche Anreize.
MAE, RMSE, MAPE und WAPE: was sie messen
Der MAE (Mean Absolute Error, mittlerer absoluter Fehler) ist der Durchschnitt der Beträge von Ist minus Prognose. Er wird in der Messeinheit ausgewiesen, etwa in Tausend Euro. Er ist leicht verständlich, und positive und negative Fehler heben sich nicht auf. Der RMSE (Root Mean Squared Error) quadriert die Fehler und bestraft große Ausreißer deshalb stärker. Das lohnt sich, wenn große Fehlschätzungen teuer sind. Beide Maße hängen von der Größenordnung ab und eignen sich nicht für Vergleiche zwischen großen und kleinen Reihen.
Der MAPE (Mean Absolute Percentage Error, mittlerer absoluter prozentualer Fehler) teilt den absoluten Fehler durch den Ist-Wert und mittelt die Quoten. Hyndman und Athanasopoulos weisen auf seine Schwächen hin: Bei einem Ist-Wert von null ist er nicht definiert, bei Werten nahe null explodiert er, und negative Fehler (Überschätzung) werden stärker bestraft als positive. Robuster ist für Controller häufig der WAPE (Weighted Absolute Percentage Error), also die Summe der absoluten Fehler geteilt durch die Summe der Ist-Werte. Große Positionen bekommen dabei automatisch mehr Gewicht. Für Reihen mit Nullen, sporadischer Nachfrage oder negativen Werten, etwa einzelne GuV-Positionen, empfehlen sich skalierte Fehler wie der MASE, der den Fehler am Fehler einer naiven Vergleichsprognose misst. Welches Maß passt, entscheiden die Datenlage und die Kosten einer Fehlentscheidung, nicht der schönste KPI.
Quelle: Hyndman/Athanasopoulos, Forecasting: Principles and Practice, Kap. 5.8
Bias: die systematische Verzerrung, die Durchschnitte verstecken
Zwei Prognosen können denselben MAE haben, obwohl die eine dauerhaft zu optimistisch ist und die andere zufällig um den Ist-Wert streut. Die systematische Verzerrung (Bias) macht die Richtung sichtbar. Die Vorzeichenkonvention muss im Unternehmen eindeutig geregelt sein. In diesem Beitrag gilt: Fehler = Ist minus Prognose, Bias in Prozent = Summe der Fehler geteilt durch die Summe der Ist-Werte. Ein positiver Bias bedeutet Unterschätzung, ein negativer Überschätzung. Oracle beschreibt Bias ebenso als Ergänzung zum MAPE.
Bias hat oft verhaltensbedingte Ursachen. Der Vertrieb meldet hohe Zahlen, um Kapazitäten zu sichern. Kostenstellenverantwortliche planen großzügig, um dem Budgetdruck zu entgehen. Die Zentrale legt nach der Konsolidierung noch einen Management-Overlay darüber. Deshalb sollten die statistische Prognose, die Meldung der Bereiche und der finale Management-Forecast als getrennte Versionen gespeichert werden.
Rechenbeispiel: ein Quartal, vier Produktlinien
Ausgangsdaten (Quartalsumsatz in Tausend Euro, finaler Management-Forecast)
- Linie A: Prognose 4.000, Ist 3.400 – Fehler −600, prozentualer Fehler 17,6 %
- Linie B: Prognose 3.000, Ist 3.300 – Fehler +300, prozentualer Fehler 9,1 %
- Linie C: Prognose 2.500, Ist 2.200 – Fehler −300, prozentualer Fehler 13,6 %
- Linie D (Nischenprodukt): Prognose 300, Ist 120 – Fehler −180, prozentualer Fehler 150,0 %
- Summe: Prognose 9.800, Ist 9.020 – Nettofehler −780
Kennzahlen
- Gesamtebene: |−780| / 9.020 = 8,6 % Fehler. Wer nur das berichtet, meldet „91 % Genauigkeit“.
- MAE: (600 + 300 + 300 + 180) / 4 = 345 T€; RMSE = √((600² + 300² + 300² + 180²) / 4) ≈ 378 T€.
- MAPE: (17,6 + 9,1 + 13,6 + 150,0) / 4 ≈ 47,6 %. Ohne Linie D wären es 13,5 %. Ein Umsatzanteil von gut 1 % bestimmt die Kennzahl.
- WAPE: 1.380 / 9.020 ≈ 15,3 %, also eine Genauigkeit von 84,7 % (1 − WAPE).
- Bias: −780 / 9.020 ≈ −8,6 %. Systematische Überschätzung, vor allem durch Linie A.
Forecast Value Added (WAPE je Prozessstufe, gleiche Daten)
- Naive Prognose (Ist des Vorquartals): 18,0 %
- Statistisches Modell: 13,1 %, also +4,9 Prozentpunkte Mehrwert gegenüber der naiven Prognose
- Finaler Management-Forecast: 15,3 %, also −2,2 Prozentpunkte. Die manuelle Anpassung hat die Prognose verschlechtert.
Interpretation: Je nach Kennzahl ist dieselbe Prognose „91 % genau“, „84,7 % genau“ oder „47,6 % daneben“. Aussagekräftig ist die Kombination: Ein WAPE von 15 % geht mit deutlicher Überschätzung einher, und der Overlay hat Genauigkeit gekostet. Die Begründungscodes könnten zeigen, dass bei Linie A ein Großauftrag ohne Wahrscheinlichkeitsgewichtung eingeplant wurde. Die Konsequenz ist nicht, alle Overrides zu verbieten. Pipeline-Stufen, Abschlusswahrscheinlichkeiten und Nachweise müssen verbindlich definiert werden. Im nächsten Quartal zeigt sich, ob Bias und Fehler in diesem Segment sinken.
Zahlen fiktiv, zur Veranschaulichung.
Forecast Value Added: Hat jede Stufe die Prognose verbessert?
Der Forecast Value Added (FVA) misst jede Stufe des Prognoseprozesses gegen einen Vergleichsmaßstab. Das kann eine naive Prognose sein, also das Ist der Vorperiode oder der Saisonwert des Vorjahres. Gemessen wird mit denselben Daten und derselben Kennzahl. Verschlechtert eine Stufe den Fehler dauerhaft, liefert sie negativen Mehrwert. Die Frage lautet dann nicht mehr, wer sich geirrt hat, sondern welche Stufe Information beigesteuert hat.
Die Ergebnisse sollten nach Segment ausgewertet werden. Bei stabilen Produkten kann das Modell am besten sein, bei Projektkunden das Wissen des Vertriebs. Begründungscodes für Overrides wie Preisänderung, neuer Vertrag, Kampagne, Lieferengpass oder Einschätzung ohne Beleg zeigen nach Eintritt des Ist-Werts, welche Begründungen tatsächlich ein Signal enthielten.
Aggregationsebene und Ursachenanalyse
Beim Aufsummieren gleichen sich gegenläufige Fehler aus, und die Gesamtzahl sieht besser aus als die Einzelpositionen. Für die Liquiditätsplanung kann die Gesamtebene genügen. Für Kapazitäts- und Beschaffungsplanung zählt der Fehler je Produkt oder Artikel. Die Kennzahl gehört auf dieselbe Ebene wie die Entscheidung, die sie unterstützt. Bewährt hat sich eine feste Hierarchie: Managementebene (Umsatz, EBITDA, Cashflow), Treiberebene (Menge, Preis, Personal) und operative Ebene. Neben dem Gesamtscore sollten die größten Fehlerverursacher ausgewiesen werden.
Die Abweichungsanalyse zerlegt den Fehler bis auf beeinflussbare Treiber: Menge, Preis, Mix, Timing, Wechselkurs, Kundenabwanderung oder Stückkosten. Dafür müssen Ist- und Prognoselogik zusammenpassen. Wurde der Umsatz aus Vertragszahl mal Durchschnittswert geplant, das Ist aber ohne Überleitung aus dem Hauptbuch gezogen, bleibt die Ursache unklar. Eine kleine Ursachensystematik hilft: Datenfehler, falsche Annahme, externes Ereignis, Timing, Verhaltensbias, Änderung des Konsolidierungskreises, Modellschwäche. Ein verfehltes Geschäftsziel bedeutet übrigens nicht automatisch einen schlechten Forecast, wenn die Prognose das Risiko rechtzeitig angezeigt hat.
Eine mehrdimensionale Scorecard für FP&A
Eine brauchbare Scorecard hat vier Dimensionen: Fehlergröße (MAE oder WAPE), Richtung (Bias), Stabilität (Verteilung der Fehler über mehrere Perioden) und Entscheidungsnutzen (etwa Vorlaufzeit von Warnsignalen). Ein Gesamtindex erleichtert Rankings, doch die Einzelwerte müssen sichtbar bleiben. Das Team soll nicht nur sehen, welchen Score es hat, sondern auch, warum.
Zielwerte leiten sich aus historischer Baseline, Horizont und Segment ab. „95 Prozent Genauigkeit für alle“ ist selten fundiert. In volatilen Märkten ist ein Konfidenzintervall oder eine Szenariobandbreite ehrlicher als ein Punktwert. Auch die Rechtzeitigkeit gehört in die Scorecard. Formeländerungen brauchen eine Freigabe.
KI und Predictive Planning: nur außerhalb der Stichprobe vergleichen
Machine-Learning-Modelle müssen out of sample bewertet werden. Wer die Genauigkeit an den Trainingsdaten misst, überschätzt sie. Hyndman und Athanasopoulos betonen, dass Residuen kein verlässlicher Indikator für echte Prognosefehler sind. Eine rollierende Auswertung mit wandernden Prognosezeitpunkten (Time-Series Cross-Validation) zeigt, wie das Modell sich im Echtbetrieb geschlagen hätte. Die naive Vergleichsprognose bleibt immer im Bericht. Ein komplexes Modell, das sie nicht schlägt, hat keinen nachgewiesenen Nutzen.
Zur Modellkontrolle gehören die Version der Trainingsdaten, die verwendeten Merkmale, der Trainingszeitpunkt, Parameter, bekannte Grenzen und die Güte je Segment. Das AI Risk Management Framework des NIST betont Risikomanagement, Messung und Überwachung über den gesamten Lebenszyklus. Für FP&A heißt das: KI-Ergebnisse fließen nur mit Verantwortlichem, Erläuterung und Override-Möglichkeit ins Budget. Menschliche Overrides werden ebenfalls protokolliert und ausgewertet.
Quelle: Hyndman/Athanasopoulos, Kap. 5 · NIST AI RMF
Grenzen und Einordnung
Keine einzelne Kennzahl ist „richtig“. WAPE gewichtet nach Volumen und kann margenstarke Kleinlinien oder liquiditätskritische Positionen unterbewerten. MAPE ist bei kleinen Ist-Werten instabil. MASE ist robust, für das Management aber schwerer zu vermitteln. Die Formeln zu Bias und WAPE sind in der Praxis nicht einheitlich. Softwarehersteller und Unternehmen verwenden teils andere Vorzeichen oder Nenner, und die Oracle-Dokumentation beschreibt die Maße nur verbal. Vergleiche mit Benchmarks anderer Unternehmen sind deshalb nur bei offengelegter Definition sinnvoll.
Das Rechenbeispiel ist fiktiv und vereinfacht. Ein FVA aus einem einzelnen Quartal ist kein Beleg; erst über mehrere Perioden wird ein Muster daraus. Prognosegenauigkeit taugt auch nur eingeschränkt als individuelles Leistungsziel: Wer nach Genauigkeit vergütet wird, hat Anreize zu vorsichtigen oder nachträglich „gemanagten“ Zahlen. Die Messung dient dem Lernen der Organisation und ist kein Instrument zur Beurteilung einzelner Personen.
Fazit
Prognosegenauigkeit lässt sich nicht mit einer einzigen Zahl beschreiben. MAE oder WAPE zeigen die Fehlergröße, der Bias die Richtung, der FVA den Beitrag jeder Prozessstufe und die Treiberanalyse die wirtschaftliche Ursache. Berechnet wird alles auf einer eingefrorenen Version, mit definiertem Horizont und auf der Aggregationsebene der jeweiligen Entscheidung. Eine Formel, die nach Sichtung der Ist-Werte geändert wird, ist kein Kontrollinstrument. Für Controller lautet die entscheidende Frage deshalb nicht, ob der Score gestiegen ist, sondern ob das Unternehmen früher und besser entschieden hat.
Fachbegriffe dieses Artikels
| Deutsch | English | فارسی |
|---|---|---|
| Prognosegenauigkeit | Forecast accuracy | دقت پیشبینی |
| Systematische Verzerrung (Bias) | Forecast bias | سوگیری جهتدار پیشبینی |
| Mittlerer absoluter prozentualer Fehler | Mean absolute percentage error (MAPE) | میانگین درصد خطای مطلق |
| Mittlerer absoluter Fehler | Mean absolute error (MAE) | میانگین خطای مطلق |
| Gewichteter absoluter prozentualer Fehler | Weighted absolute percentage error (WAPE) | درصد خطای مطلق وزنی |
| Rollierende Prognose | Rolling forecast | پیشبینی غلتان |
| Prognosehorizont | Forecast horizon | افق پیشبینی |
| Naive Prognose | Naïve forecast | پیشبینی ساده (Naïve) |
| Werttreiber | Value driver | محرک ارزش (Driver) |
| Abweichungsanalyse | Variance analysis | تحلیل انحراف |
| Szenarioplanung | Scenario planning | برنامهریزی سناریومحور |
| Ursachenanalyse | Root cause analysis | تحلیل علت ریشهای |
Die Begriffe sind direkt auf das Thema bezogen und für Berichte, Besprechungen und Dokumentation im Berufsalltag ausgewählt.
Quellen
Dieser Beitrag ist eine eigenständige fachliche Analyse auf Grundlage der genannten Primärquellen und keine Wiedergabe ihres Textes.
- Hyndman & Athanasopoulos — Forecasting: Principles and Practice (3. Aufl.), Kap. 5.8 Evaluating point forecast accuracy
- Hyndman & Koehler — Another look at measures of forecast accuracy, International Journal of Forecasting 22(4) · 2006
- Oracle — How You Measure Forecast Accuracy (Oracle Cloud 26B)
- NIST — AI Risk Management Framework
Quellen geprüft am: 21. Oktober 2026