Die Zahl zur KI-Prognosegenauigkeit lügt Sie an

Wenn ein Anbieter Ihnen erzählt, seine KI habe die Prognosegenauigkeit um 30 % verbessert, sagen Sie nicht „großartig". Stellen Sie drei Fragen: auf welcher Aggregationsebene, bei welchem Prognosevorlauf, und gemessen mit welcher Metrik. Die Schlagzeilenzahl löst sich fast immer bei einer davon auf.

Beginnen Sie bei der Metrik selbst. Mean Absolute Percentage Error, MAPE, der Branchenstandard, bricht bei niedrigen Volumina zusammen und ist asymmetrisch. Bei Artikeln mit sporadischer Nachfrage, bei denen die Hälfte der Perioden null ist, erzeugt eine Prognose von null in jeder Periode den niedrigsten Durchschnittsfehler, operativ absurd. Und MAPE und ihr gewichteter Cousin widersprechen sich bei denselben Daten drastisch: Ein durchgerechnetes Beispiel zeigt MAPE bei 36,7 %, während WAPE auf demselben Datensatz nur 5,9 % anzeigt, weil ein einzelner Tag mit niedrigem Volumen und 100 % Fehler den ungewichteten Durchschnitt aufbläht, während er den volumengewichteten kaum bewegt. Ein Anbieter, der „Genauigkeit" zitiert, sagt selten, welche er meint, und die Wahl kann die Zahl um das Sechsfache verschieben.

Dann die Aggregation, woher die meisten Fallstudienzahlen stammen. Die Prognosegenauigkeit auf Ebene SKU/Distributionszentrum/Woche treibt tatsächlich Fehlbestände und Überschüsse. Die Genauigkeit auf nationaler Monatsebene ist das, was in Vertriebspräsentationen auftaucht, weil Aggregation die Fehler wegmittelt. Eine national-monatlich 95 % genaue Prognose verbirgt routinemäßig 50 bis 60 % Fehler auf der Ebene, auf der tatsächlich jemand eine Nachbestellung auslöst.

Und dann der Bias, der Fehler, für den die Schlagzeilenzahl strukturell blind ist. Eine Prognose, die bei der Hälfte Ihrer SKUs +20 % und bei der anderen Hälfte −20 % liegt, kann eine schmeichelhafte aggregierte MAPE ausweisen und gleichzeitig Fehlbestände bei den unterprognostizierten Artikeln und Überbestände bei den überprognostizierten erzeugen. Symmetrische Genauigkeitsmetriken können das nicht erkennen. Anhaltender positiver Bias baut still chronische Überschüsse auf, anhaltender negativer Bias baut chronische Fehlbestände auf. So oder so ist die Bestandsfolge teuer und vorhersehbar, und die Genauigkeitszahl sagt Ihnen nichts darüber.

Das tiefere Problem ist der fehlende Benchmark. In einer Studie mit über 300.000 realen Prognosen von acht Unternehmen waren 52 % schlechter als ein naiver Random Walk. Mike Gilliland von SAS bietet die Faustregel für Praktiker: Wenn Sie den Prognosefehler gegenüber einem einfachen Modell um 10 bis 20 % reduzieren können, erreichen Sie wahrscheinlich ungefähr das Beste, was zu erwarten ist. Ein KI-Anbieter, der eine 30-prozentige Verbesserung behauptet, sollte diese Verbesserung gegen einen naiven Benchmark zeigen müssen, nicht gegen Ihren bisherigen, möglicherweise wertvernichtenden Prozess.

Was sollten Sie also stattdessen messen? Ein vertretbarer Stack hat fünf Ebenen: gewichteter Fehler auf der handlungsrelevanten Ebene SKU/Distributionszentrum, nicht aggregiert; Bias nach Hierarchie verfolgt, um Über- und Unterprognosen zu erkennen, bevor sie den Bestand erreichen; Forecast Value Added gegen einen naiven Benchmark bei jedem Prozessschritt, Engine, Analyst, Konsens, Führungsebene; und die tatsächlichen Ergebnisse, Servicegrad und Bestandsumschlag, denn Genauigkeit ist ein Mittel, kein Zweck. Eine probabilistische Sicht auf die Prognose liegt all dem zugrunde, denn Planungsentscheidungen werden unter Unsicherheit getroffen, nicht gegen eine einzelne Zahl.

Wenn der KI-Anbieter 30 % behauptet, ist die richtige Antwort keine Begeisterung. Sie lautet: Zeigen Sie mir Forecast Value Added gegen einen Random Walk auf Ebene SKU/Distributionszentrum/Woche, Bias nach Hierarchie, und das Bestands- und Servicegrad-Ergebnis über vier vollständige Planungszyklen. Das ist der Kennzahlensatz, der offenbart, ob die KI Wert schafft, oder nur wohlwollend gemessen wird.

Quellen

• Morlidge, S., zitiert in Gilliland, Tashman & Sglavo, Business Forecasting: Practical Problems and Solutions (Wiley, 2015).
• Gilliland, M. (2013). When do you stop trying to improve forecast accuracy? SAS Blogs.
• Gilliland, M. Forecast Value Added Analysis: Why and How. Institute of Business Forecasting (forecasters.org).
• Prospeo. (2026). Forecast Accuracy Metrics: Practitioner Guide. prospeo.io
• DemandPlan; OnePint. Forecast accuracy metrics and benchmarks. demandplan.io; onepint.ai