Som du sikkert ved, kan man definere forecast-KPI’er på mange måder. Men hvilke bør man bruge?
Tre hovedtyper af KPI’er
Lad os kigge på tre hovedtyper, og diskutere hvornår du skal bruge hvad.
Bemærk at det følgende kun er relevant, hvis du bruger med punkt-forecasts, hvad de fleste gør. Men hvis du er mere avanceret og arbejder med sandsynlighedsfordelinger, skal du måle på anden vis.
Forecast accuracy (eller Forecast error)
Her ser vi på, hvor godt forecastet rammer ift. det faktiske tal. Regnes oftest i procent ift. det faktiske outcome. Men der er mange måder at måle det på, og vi vil ikke komme ind på alle detaljerne her.
Forecast accuracy er et udtryk for flere ting. For det første hvor let eller svært, det er at forudsige det rigtige udfald, dvs. hvor stor den underliggende usikkerhed er. Men det betyder også noget, hvor gode vi er til at forudsige det underliggende mønster.
Vi kan aldrig slå den underliggende usikkerhed. Hvis du skal forudsige antallet af øjne ved kast med en almindelig terning, så vil du over tid gætte rigtigt 1/6 af gangene, uanset hvilken metode du bruger.
Hvis du omvendt skal forudsige antallet af søndage i 2026, så er den underliggende usikkerhed 0. Men hvis ikke du gider checke om der er 52 eller 53 søndage i 2026, rammer du måske også lidt ved siden af. Og en marsbo, som ikke ved noget om uger og kalendere, kan ramme fuldstændig ved siden af.
Ultimativt vil vi gerne have en god forecast accuracy for at kunne planlægge bedst muligt.
Bias
Bias beskriver om vi konsistent over-forecaster eller under-forecaster. Afhængig af hvad vi skal bruge forecastet til, kan den ene bias være et større problem end den modsatte.
Når jeg lægger budget, har jeg for eksempel en tendens til at sætte min forventede indtægt lavt, så jeg har lille sandsynlighed, for at jeg pludselig har brugt flere penge end jeg har.
Generelt vil et godt forecast have nul (eller meget lille) bias. Og hvis man har brug for buffer, bør man tage højde for det i sin planlægning i stedet for at indføre bias i sit forecast.
Så i stedet for at estimere med en for lav indtægt burde give mit bedste bud, men når jeg beslutter, hvordan jeg bruger mine penge, kan jeg planlægge med at bruge færre penge. Dermed opnår jeg stadig mit mål om ikke at bruge for mange penge, og det bliver mere tydeligt, at det er en bevidst beslutning at have en buffer.
Forecast Value Added (FVA)
Forecast Value Added (FVA) er en måling af forecastprocessen og kan måle hvor gode to metoder er sammenlignet med hinanden. Med FVA sammenligner man forecasts fra to forskellige metoder, og måler forskellen i accuracy mellem de to.
Oftest vil den ene metode være en form for automatisk beregnet forecast, og den anden metode vil være det manuelt justerede forecast.
Det interessante er om den manuelle justering givet et bedre forecast, end den rent maskingenererede forecast. Ofte ser man, at det giver en negativ FVA at lade folk justere manuelt, dvs. at det faktisk giver et ringere forecast end hvis man blot brugte det statistiske forecast.
Hvad skal man med en FVA-måling? Man kan bruge FVA-målinger, hvis man har flere trin i sin forecast proces til at finde ud af om de enkelte trin gør forecastet bedre.
Hvis FVA for en manuel proces er negativ, er det nok ikke værd at udføre processen.
Er en positiv FVA for en manuel omvendt positiv? Måske. Hvis forbedringen er tilstrækkelig stor til at den har væsentlig og positiv betydning for planlægningen, så kan det jo være værd at gøre.
Omvendt kan man stille sig selv spørgsmålet, hvorfor det maskingenererede forecast ikke er bedre. Måske er det der man skulle bruge kræfterne.
Brug af KPI’er
Det kommer an på dit formål, hvilken KPI der er mest relevant at se på. Jeg mener, at følgende gælder:
Forecast Accuracy og Bias er de relevante inputs til planlægningen.
Forecast Value Added er input til forbedring af forecast processen.
Mulige faldgruber
Som med alle målinger skal KPI’erne ses i en kontekst. I det følgende vil vi se på udfordringer med de forskellige typer, ikke mindst i forhold til at bruge målingerne som udgangspunkt for bonus.
Det giver fx ikke mening at måle sine sælgere/demand plannere på forecast accuracy og give bonus til dem der har den bedste accuracy. Der kan jo være forskel på typen af varer og/eller markeder og dermed på den underliggende usikkerhed.
Men skal vi så give bonus ift. FVA? Man kan i hvert fald straffe en negativ FVA på manuelle justeringer. Der er ingen grund til at bruge ressourcer på ligefrem at gøre forecasts dårligere.
Men omvendt at differentiere efter forskellige niveauer af positiv FVA kan være lige så fejlbehæftet som at give bonus efter forecast accuracy.
Hvis et statistisk forecast er det bedst mulige forecast, som det kan være for stabile produkter, så vil en manuel justering aldrig kunne gøre det bedre. Mens en anden kategori af varer, hvor salget fx er projektdrevet, formentlig kan forbedres betragteligt med manuelt input om projektet.
Og inden du bliver grebet af stemningen og bruger en masse ressourcer på at forbedre jeres forecast, kan du også overveje dette:
Skal vi bruge flest kræfter på et lidt bedre forecast eller på at gøre os i stand til at reagere hurtigere på ændringer?