AI予測精度の数字は、あなたに嘘をついている

ベンダーが自社のAIが予測精度を30%改善したと言うとき、「素晴らしい」と言ってはいけない。三つの問いを投げかけよ。どの集計レベルで、どの予測ラグで、どの指標で測定したか。見出しの数字はほぼ常にそのいずれかの下で溶解する。

指標そのものから始めよう。Mean Absolute Percentage Error(MAPE)、業界のデフォルトは、低ボリュームで破綻し、非対称である。半分の期間がゼロである断続需要品目では、毎期ゼロと予測することが最も低い平均誤差を生み、それは運用上ばかげている。そしてMAPEとその加重版のいとこは、同じデータについて激しく食い違う。ある実例では、同一データセットにおいてMAPEが36.7%を示す一方、WAPEはわずか5.9%を示す。それは一つの低ボリュームの日が100%の誤差を持ち、非加重平均を膨張させる一方で、ボリューム加重平均をほとんど動かさないからだ。「精度」を引用するベンダーは、どちらを意味しているかをめったに伝えない。そしてその選択は数字を六倍も振れさせうる。

次に集計であり、これはほとんどのケーススタディの数字の出所である。SKU・DC・週レベルでの予測精度こそが、実際に欠品と過剰在庫を左右するものだ。全国・月次レベルでの精度はベンダーの資料に現れるものであり、集計が誤差を平均化してしまうからだ。95%精度の全国・月次予測は、誰かが実際に補充発注を行うレベルでは、しばしば50〜60%の誤差を隠している。

そしてバイアス、見出しの数字が構造的に見えない誤差がある。半数のSKUで+20%、残り半数で-20%走る予測は、同時に過小予測された品目で欠品を、過大予測された品目で過剰在庫を生み出しながら、見栄えのする集計MAPEを示しうる。対称的な精度指標はこれを見ることができない。持続的な正のバイアスは静かに慢性的な過剰在庫を築き、持続的な負のバイアスは慢性的な欠品を築く。いずれにせよ在庫への帰結は高くつき、予測可能であり、そして精度の数字はそれについて何も教えてくれない。

最も深い問題は、失われたベンチマークだ。8社にわたる30万件以上の実世界の予測を対象にした研究では、52%が単純なランダムウォークより悪かった。SASのMike Gillilandは実務家の経験則を提供している。単純なモデルに対して予測誤差を10〜20%削減できれば、あなたはおそらく期待できる最善に近いことをしている。30%の改善を主張するAIベンダーには、その改善を単純なベンチマークに対して示させるべきであり、あなたの以前の、おそらく価値を破壊していたかもしれないプロセスに対してではない。

では代わりに何を測定すべきか。擁護可能な指標のスタックには五つの層がある。集計されていない、実行可能なSKU・DCレベルでの加重誤差。階層別に追跡されたバイアスで、在庫に達する前に過大・過小予測を捉える。あらゆる工程ステップ、エンジン、アナリスト、コンセンサス、経営層で、単純なベンチマークに対するForecast Value Added。そして実際の成果、サービスレベルと在庫回転率であり、精度は手段であって目的ではないからだ。この全体の下に確率的な予測の見方があり、計画の意思決定は単一の数字に対してではなく、不確実性の下で行われるからだ。

AIベンダーが30%を主張するとき、正しい返答は熱意ではない。それはこうだ。SKU・DC・週レベルでランダムウォークに対するForecast Value Added、階層別のバイアス、そして四つの完全な計画サイクルにわたる在庫とサービスレベルの成果を見せてほしい。それが、そのAIが価値を加えているのか、それとも単に甘く測定されているだけなのかを明らかにする指標セットである。

Sources

• Morlidge, S. — cited in Gilliland, Tashman & Sglavo, Business Forecasting: Practical Problems and Solutions (Wiley, 2015).
• Gilliland, M. (2013). When do you stop trying to improve forecast accuracy? SAS Blogs.
• Gilliland, M. Forecast Value Added Analysis: Why and How. Institute of Business Forecasting (forecasters.org).
• Prospeo. (2026). Forecast Accuracy Metrics: Practitioner Guide. prospeo.io
• DemandPlan; OnePint. Forecast accuracy metrics and benchmarks. demandplan.io; onepint.ai