Analiza trafności

Analiza wyników backtestu, obejmującego 12 modeli, 396 miast i 90 dni, z prawdą ustaloną na podstawie reanalizy ERA5, wskazuje na zróżnicowaną dokładność. Najniższy średni błąd bezwzględny (MAE) wśród pojedynczych modeli osiągnął MET/yr.no (NO) z wartością 0,2°C, co przekłada się na 98% prognoz w zakresie ±2°C. Model AI ECMWF AIFS uplasował się na czwartym miejscu z MAE 0,95°C, przewyższając 8 z 11 modeli fizycznych, co świadczy o jego solidności, choć nie jest on liderem w ogólnym rankingu.

Wśród analizowanych metod agregacji, nasza publikowana metoda M5, oparta na MOS i obserwacjach, wykazała MAE na poziomie 0,27°C oraz RMSE 0,47°C. Metoda ta osiąga 99% trafności w zakresie ±2°C oraz 95% w zakresie ±1°C. Jest to wynik lepszy niż pozostałe metody zespołowe, takie jak mediana zespołu (0,59°C) czy średnia zespołu (0,63°C), a także mediana ważona (BMA) z MAE 0,31°C.

Decyzja o wyborze metody M5, mimo że pojedynczy model MET/yr.no (NO) osiąga niższy MAE (0,2°C), wynika z priorytetu niezawodności. Metoda M5 zapewnia wyższą powtarzalność trafności w zakresie ±2°C (99% w porównaniu do 98% dla MET/yr.no), co jest kluczowe dla naszej marki. Należy również zaznaczyć, że błędy prognoz dla krótkiego horyzontu czasowego (dziś/jutro) mogą być optymistyczne, co jest naturalną cechą tego typu analiz.