Analiza trafności
Który model trafia najlepiej — i jak łączymy je w jedną prognozę
Sprawdzamy 12 modeli na 396 miastach w oknie 90 dni (807 840 par miasto-godzina), na realnym wyprzedzeniu ~doby, względem reanalizy ERA5. Poniższy ranking to średni błąd bezwzględny (MAE) — mniej znaczy celniej. Naszą publikowaną prognozę składa metoda M5; metody zespołowe trafiają w ±2°C częściej niż każdy pojedynczy model — stawiamy na niezawodność.
Ranking modeli pogodowych · MAE
| # | Model | MAE °C | Błąd — mniej lepiej |
|---|---|---|---|
| 1 | ECMWF (EU)najniższy błąd | 0,74 | |
| 2 | MET/yr.no (NO) | 0,75 | |
| 3 | AIFS ✦AI (ECMWF)model AI | 0,92 | |
| 4 | ICON (DE) | 0,96 | |
| 5 | UKMO (UK) | 1 | |
| 6 | GEM (CA) | 1,16 | |
| 7 | HARMONIE (NL) | 1,2 | |
| 8 | GFS (US) | 1,21 | |
| 9 | DMI (DK) | 1,23 | |
| 10 | AROME (FR) | 1,28 | |
| 11 | GRAPES (CN) | 1,28 | |
| 12 | JMA (JP) | 1,47 |
Jak łączymy modele · 5 metod
Pięć metod dotyczy trzech dób, bo dalej trafność gaśnie — zmierzyliśmy to na dziesiątkach tysięcy par prognoza–pomiar i opisaliśmy we wpisie o prognozie na 7 i 14 dni.
| Metoda | Sposób złożenia | MAE °C | RMSE °C |
|---|---|---|---|
| M1 | średnia zespołu | 0,73 | 0,96 |
| M2 | mediana zespołu | 0,72 | 0,95 |
| M3najlepsza w teście | mediana ważona (BMA) | 0,67 | 0,9 |
| M4 | krzywa harmoniczna | 1,11 | 1,47 |
| M5publikowana | MOS + obserwacje | 0,67 | 0,89 |
Odczyt analityka
Przeprowadzony backtest objął 12 modeli w 396 miastach w 90-dniowym oknie pomiarowym, co odpowiada około 808 tysiącom godzin weryfikowanych względem reanalizy ERA5 przy wyprzedzeniu około doby. Wśród pojedynczych rozwiązań najniższy błąd osiągnął model ECMWF ze średnim błędem MAE wynoszącym 0,74 stopnia. Model AIFS zajął dokładnie miejsce #3 z 12 z błędem MAE 0,92 stopnia, wyprzedzając 9 z 11 modeli fizycznych, co potwierdza jego solidną jakość bez konieczności przeceniania samej technologii.
Wdrożona metoda M5, oparta na korekcie o bieżące obserwacje stacji, osiągnęła MAE na poziomie 0,67 stopnia oraz RMSE równe 0,89 stopnia, mieszcząc się w przedziale błędu do dwóch stopni w 97% przypadków wobec 95% dla pojedynczego modelu ECMWF. Nasz wybór stawia na niezawodność zespołu zamiast pojedynczego rekordu, przy czym należy pamiętać, że badanie odnosi się do reanalizy siatkowej ERA5, a nie bezpośrednich punktowych wskazań stacji.
Trafność temperatury wobec pomiarów IMGW
Trafność naszej publikowanej prognozy wobec dwóch niezależnych referencji — pomiaru IMGW (twarda kotwica) i reanalizy ERA5 (pełne pokrycie miejscowości).
Rozliczenie bywa też dla nas lekcją: jak jedna źle sparowana stacja psuła wyniki, opisuje postmortem błędu parowania stacji w Brzegu.
Sprawdzalność prognozy opadów
Rzetelność naszego prawdopodobieństwa opadu (PoP z ensemble, 102 członki) wobec realnego deszczu — deszczomierz IMGW i opad ERA5. Brier i FAR: mniej = lepiej.
Pytania o sprawdzalność prognozy
Która prognoza pogody jest najdokładniejsza?
Nie oceniamy cudzych serwisów — rozliczamy własną prognozę z pomiarami stacji IMGW i publikujemy wynik co dzień: w ostatnich 92 doby 93% prognoz temperatury maksymalnej trafionych co do 2 °C na dziś i 90% na jutro. Najcelniejszy pojedynczy model ma średni błąd 0,74 °C, ale publikowana prognoza powstaje ze złożenia wszystkich i trafia częściej niż każdy z osobna.
Jaka jest sprawdzalność prognozy pogody na 3 dni?
Wobec pomiarów IMGW: dziś 93%, jutro 90%, pojutrze 85% prognoz temperatury maksymalnej trafionych co do 2 °C (ostatnie 92 doby). Dlatego publikujemy trzy doby — dalej trafność spada szybciej, niż da się na niej polegać.
Trafna Pogoda na iPhone’a i Androida
