O número de precisão de previsão com IA está te enganando

Quando um fornecedor te disser que a IA dele melhorou a precisão de previsão em 30%, não diga "ótimo". Faça três perguntas: em qual nível de agregação, com qual defasagem de previsão, e medido com qual métrica. O número de destaque quase sempre se dissolve diante de uma delas.

Comece pela própria métrica. Erro Percentual Absoluto Médio, MAPE, o padrão da indústria, quebra em volumes baixos e é assimétrico. Em itens de demanda intermitente, onde metade dos períodos é zero, prever zero em todo período produz o menor erro médio, o que é operacionalmente absurdo. E o MAPE e sua prima ponderada discordam violentamente sobre os mesmos dados: um exemplo trabalhado mostra o MAPE em 36,7% enquanto o WAPE mostra apenas 5,9% no mesmo conjunto de dados, porque um único dia de baixo volume com 100% de erro infla a média não ponderada enquanto quase não move a ponderada por volume. Um fornecedor citando "precisão" raramente diz qual delas está usando, e a escolha pode mudar o número em até seis vezes.

Depois há a agregação, de onde vêm a maioria dos números de estudos de caso. A precisão de previsão no nível SKU–CD–semana é o que realmente causa rupturas de estoque e excessos. A precisão no nível nacional–mensal é o que aparece nas apresentações dos fornecedores, porque a agregação dissolve os erros na média. Uma previsão nacional-mensal com 95% de precisão frequentemente esconde 50 a 60% de erro no nível em que alguém de fato faz um pedido de reposição.

E depois há o viés, o erro para o qual o número de destaque é estruturalmente cego. Uma previsão rodando +20% em metade dos seus SKUs e −20% na outra metade pode apresentar um MAPE agregado lisonjeiro enquanto simultaneamente gera rupturas de estoque nos itens subprevistos e excesso nos superprevistos. Métricas de precisão simétricas não conseguem enxergar isso. Viés positivo persistente constrói silenciosamente excesso crônico; viés negativo persistente constrói rupturas de estoque crônicas. De qualquer forma, a consequência no estoque é cara e previsível, e o número de precisão não te diz nada sobre isso.

O problema mais profundo é o benchmark ausente. Em um estudo de mais de 300.000 previsões da vida real em oito empresas, 52% foram piores que um passeio aleatório ingênuo. Mike Gilliland, da SAS, oferece a regra prática do profissional: se você consegue reduzir o erro de previsão em 10 a 20% em relação a um modelo simples, provavelmente está fazendo mais ou menos o melhor que se pode esperar. Um fornecedor de IA alegando uma melhoria de 30% deveria ser obrigado a mostrar essa melhoria contra um benchmark ingênuo, não contra o seu processo anterior, possivelmente destruidor de valor.

Então o que você deveria medir em vez disso? Um conjunto defensável tem cinco camadas: erro ponderado no nível SKU–CD acionável, não agregado; viés rastreado por hierarquia, para pegar superprevisão e subprevisão antes que cheguem ao estoque; Valor Agregado da Previsão contra um benchmark ingênuo em cada etapa do processo, motor, analista, consenso, executivo; e os resultados reais, nível de serviço e giros de estoque, porque precisão é meio, não fim. Uma visão probabilística da previsão está por baixo de tudo isso, porque decisões de planejamento são tomadas sob incerteza, não contra um único número.

Quando o fornecedor de IA alegar 30%, a resposta certa não é entusiasmo. É: me mostre o Valor Agregado da Previsão contra um passeio aleatório no nível SKU–CD–semana, o viés por hierarquia, e o resultado de estoque e nível de serviço ao longo de quatro ciclos completos de planejamento. Esse é o conjunto de métricas que revela se a IA está agregando valor, ou apenas sendo medida com gentileza.

Fontes

• Morlidge, S., citado em Gilliland, Tashman & Sglavo, Business Forecasting: Practical Problems and Solutions (Wiley, 2015).
• Gilliland, M. (2013). When do you stop trying to improve forecast accuracy? SAS Blogs.
• Gilliland, M. Forecast Value Added Analysis: Why and How. Institute of Business Forecasting (forecasters.org).
• Prospeo. (2026). Forecast Accuracy Metrics: Practitioner Guide. prospeo.io
• DemandPlan; OnePint. Forecast accuracy metrics and benchmarks. demandplan.io; onepint.ai