Trafna Pogoda
PolskaAnaliza trafności
weryfikacja · MAE/RMSE

Analiza trafności

ranking modeli · metody · „jak nam wyszło"
Trafność ±2°C
99%
±1°C: 95%
Najlepsza metoda
M5
MOS + obserwacje · MAE 0,32°
Najlepszy model
0,25°
MET/yr.no (NO)
Model AI (AIFS)
#4
z 12 · lepszy od 8/11 fiz.
Weryfikacja · metoda

Który model trafia najlepiej — i jak łączymy je w jedną prognozę

Sprawdzamy 12 modeli na 200 miastach w oknie 90 dni (436 800 godz.) względem reanalizy ERA5. Poniższy ranking to średni błąd bezwzględny (MAE) — mniej znaczy celniej. Naszą publikowaną prognozę składa metoda M5, która stawia na niezawodność: trafia w ±2°C częściej niż każdy pojedynczy model.

Ranking modeli · MAE
backtest 90 dni · vs ERA5
#ModelMAE °CBłąd — mniej lepiej
1MET/yr.no (NO)najniższy błąd0,25
2ECMWF (EU)0,47
3ICON (DE)0,85
4AIFS ✦AI (ECMWF)model AI0,94
5UKMO (UK)0,95
6AROME (FR)0,97
7GEM (CA)0,98
8HARMONIE (NL)1,13
9GFS (US)1,15
10DMI (DK)1,16
11JMA (JP)1,37
12GRAPES (CN)1,39
Model AI ECMWF AIFS jest #4 z 12 — lepszy od 8 z 11 modeli fizycznych. Najniższy błąd ma pojedynczy MET/yr.no, ale nasza siła to złożenie wszystkich (patrz metody niżej). Błędy krótkiego leadu są optymistyczne.
Jak łączymy modele · 5 metod
M1 → M5
MetodaSposób złożeniaMAE °CRMSE °C
M1średnia zespołu0,620,82
M2mediana zespołu0,570,79
M3mediana ważona (BMA)0,370,56
M4krzywa harmoniczna1,121,5
M5publikowanaMOS + obserwacje0,320,5
Publikujemy M5 (MOS + obserwacje): MAE 0,32° i RMSE 0,5°. Choć pojedynczy MET/yr.no (NO) ma niższy MAE (0,25°), zespół M5 trafia w ±2°C 99% — częściej niż najlepszy model (97%). Stawiamy na niezawodność, nie na jeden rekord.
Odczyt analityka
interpretacja

Analiza wyników backtestu, obejmującego 12 modeli na 200 miastach w okresie 90 dni, wskazuje na zróżnicowaną skuteczność prognoz. Model MET/yr.no (NO) osiągnął najniższy błąd średni bezwzględny (MAE) na poziomie 0,25°C, a za nim uplasował się ECMWF (EU) z MAE 0,47°C. Model AI ECMWF AIFS, z MAE 0,94°C, zajął czwarte miejsce, przewyższając osiem z jedenastu modeli fizycznych, co potwierdza jego solidność, lecz nie pozycjonuje go jako lidera.

Nasza publikowana metoda, M5 (MOS + obserwacje), charakteryzuje się MAE 0,32°C i RMSE 0,5°C. Kluczowe jest jej wysokie pokrycie dokładności, z 99% prognoz mieszczących się w zakresie ±2°C i 95% w ±1°C. Choć pojedynczy model MET/yr.no osiągnął niższy MAE (0,25°C), metoda M5 zapewnia wyższą niezawodność, trafiając w zakres ±2°C częściej (99% vs 97%). Ta strategia podkreśla nasze zaangażowanie w dostarczanie stabilnych i precyzyjnych prognoz, stawiając na niezawodność zespołu ponad rekordy pojedynczych modeli.

Należy zaznaczyć, że błędy dla krótkich horyzontów czasowych (dziś/jutro) mogą być optymistycznie zaniżone ze względu na specyfikę backtestu. Weryfikacja prognoz na podstawie realnych pomiarów IMGW, niezależnych od reanalizy ERA5, zostanie wkrótce uruchomiona, co dostarczy dodatkowych danych do oceny.

Dla użytkownika oznacza to dostęp do prognoz charakteryzujących się wysoką i potwierdzoną niezawodnością, co przekłada się na stabilną dokładność w codziennym użytkowaniu.
„Jak nam wyszło" · temperatura
IMGW + ERA5 · 200 miast

Ten licznik pokazuje, jak nasza publikowana prognoza wypada wobec dwóch niezależnych referencji: realnego pomiaru IMGW i reanalizy ERA5 — nie wobec samych modeli. Dzięki temu werdykt obejmuje komplet 200 miast, a nie tylko te ze stacją. Licznik ruszy po 3 rozliczonych dobach.

1 / 3 dób
Pomiar IMGW · 142 miast

Twarda kotwica — realny pomiar ze stacji (synop + meteo ≤15 km). Nie każde miasto ma stację.

Reanaliza ERA5 · 200 miast

Siatka ~9–11 km — pełne pokrycie 200 miast, niezależne od IMGW. Domyka tam, gdzie stacji brak.

Weryfikujemy prognozę na dziś i na jutro — dla naszej publikacji oraz każdego modelu, na obu referencjach. Jedna kiepska stacja nie decyduje o werdykcie.
Trafność opadów
PoP · rzetelność

Opad jest trudniejszy i mniej pochlebny niż temperatura — dlatego prawie nikt tego nie publikuje. My sprawdzamy nasze prawdopodobieństwo opadu (PoP) wobec realnego deszczu: czy gdy mówimy „60%", pada w ~60% przypadków (rzetelność, Brier), i czy trafiamy „deszcz / bez" (POD/FAR). Licznik ruszy po 3 rozliczonych dobach.

1 / 3 dób
Deszczomierz IMGW · 48 miast

Realny pomiar opadu (stacje synop). Najlepsza jakość, ale tylko część miast.

Satelita GPM IMERG · 200 miast

Satelita NASA ~10 km — pełne pokrycie 200 miast, łapie opad tam, gdzie stacji brak (np. w górach).

Metryki: Brier (rzetelność PoP), trafność deszcz/nie, POD (wykrywalność), FAR (fałszywe alarmy). Próg „mokrej doby": 0,2 mm.
← wróć do mapy kraju