Analiza trafności
Który model trafia najlepiej — i jak łączymy je w jedną prognozę
Sprawdzamy 12 modeli na 396 miastach w oknie 90 dni (807 840 par miasto-godzina), na realnym wyprzedzeniu ~doby, względem reanalizy ERA5. Poniższy ranking to średni błąd bezwzględny (MAE) — mniej znaczy celniej. Naszą publikowaną prognozę składa metoda M5; metody zespołowe trafiają w ±2°C częściej niż każdy pojedynczy model — stawiamy na niezawodność.
Ranking modeli pogodowych · MAE
| # | Model | MAE °C | Błąd — mniej lepiej |
|---|---|---|---|
| 1 | MET/yr.no (NO)najniższy błąd | 0,64 | |
| 2 | ECMWF (EU) | 0,65 | |
| 3 | AIFS ✦AI (ECMWF)model AI | 0,86 | |
| 4 | ICON (DE) | 0,89 | |
| 5 | UKMO (UK) | 0,94 | |
| 6 | HARMONIE (NL) | 1,07 | |
| 7 | AROME (FR) | 1,08 | |
| 8 | DMI (DK) | 1,09 | |
| 9 | GEM (CA) | 1,13 | |
| 10 | GRAPES (CN) | 1,21 | |
| 11 | JMA (JP) | 1,29 | |
| 12 | GFS (US) | 1,33 |
Jak łączymy modele · 5 metod
Pięć metod dotyczy trzech dób, bo dalej trafność gaśnie — zmierzyliśmy to na dziesiątkach tysięcy par prognoza–pomiar i opisaliśmy we wpisie o prognozie na 7 i 14 dni.
| Metoda | Sposób złożenia | MAE °C | RMSE °C |
|---|---|---|---|
| M1 | średnia zespołu | 0,66 | 0,85 |
| M2 | mediana zespołu | 0,64 | 0,84 |
| M3 | mediana ważona (BMA) | 0,6 | 0,78 |
| M4 | krzywa harmoniczna | 1,26 | 1,65 |
| M5publikowana | MOS + obserwacje | 0,59 | 0,77 |
Odczyt analityka
Przeprowadzony backtest objął 12 modeli w 396 miastach w 90-dniowym oknie pomiarowym, co dało 807840 godzin zweryfikowanych na wyprzedzeniu około doby względem reanalizy ERA5. Wśród pojedynczych modeli najniższy błąd uzyskał MET/yr.no z MAE 0,64° i wynikiem 96% w przedziale ±2°C, wyprzedzając ECMWF z MAE 0,66°. Model AIFS zajął dokładnie miejsce #3 z 12 z MAE 0,87°, okazując się lepszy od 9 z 11 modeli fizycznych, co potwierdza jego wysoką użyteczność, ale bez przewagi nad czołówką tradycyjną.
Do wdrożenia wybraliśmy metodę M5, czyli korektę o bieżące obserwacje stacji, która osiągnęła MAE 0,59, RMSE 0,77 oraz 98% w przedziale ±2°C i 83% w przedziale ±1°C. Choć model norweski notuje znakomity wynik jednostkowy, to właśnie metoda M5 wygrywa powtarzalnością i rzadszym występowaniem większych odchyleń. Należy uczciwie odnotować metodyczne ograniczenie tego zestawienia: punktem odniesienia była reanaliza ERA5 przy wyprzedzeniu rzędu doby, a nie bezpośrednie odczyty ze stacji pomiarowych.
Trafność temperatury wobec pomiarów IMGW
Trafność naszej publikowanej prognozy wobec dwóch niezależnych referencji — pomiaru IMGW (twarda kotwica) i reanalizy ERA5 (pełne pokrycie miejscowości).
Rozliczenie bywa też dla nas lekcją: jak jedna źle sparowana stacja psuła wyniki, opisuje postmortem błędu parowania stacji w Brzegu.
Sprawdzalność prognozy opadów
Rzetelność naszego prawdopodobieństwa opadu (PoP z ensemble, 102 członki) wobec realnego deszczu — deszczomierz IMGW i opad ERA5. Brier i FAR: mniej = lepiej.
Pytania o sprawdzalność prognozy
Która prognoza pogody jest najdokładniejsza?
Nie oceniamy cudzych serwisów — rozliczamy własną prognozę z pomiarami stacji IMGW i publikujemy wynik co dzień: w ostatnich 137 dób 93% prognoz temperatury maksymalnej trafionych co do 2 °C na dziś i 91% na jutro. Najcelniejszy pojedynczy model ma średni błąd 0,64 °C, ale publikowana prognoza powstaje ze złożenia wszystkich i trafia częściej niż każdy z osobna.
Jaka jest sprawdzalność prognozy pogody na 3 dni?
Wobec pomiarów IMGW: dziś 93%, jutro 91%, pojutrze 86% prognoz temperatury maksymalnej trafionych co do 2 °C (ostatnie 137 dób). Dlatego publikujemy trzy doby — dalej trafność spada szybciej, niż da się na niej polegać.
