Jak powstał system weryfikacji prognoz w Trafnej Pogodzie

W Trafnej Pogodzie od samego początku kierujemy się zasadą, że zaufanie buduje się na transparentności. Naszą marką jest trafność, dlatego sercem serwisu jest autorski system weryfikacji prognoz, który codziennie publicznie rozlicza nas z dokładności. Ten system nie powstał w jeden dzień. Rozwijał się organicznie, krok po kroku, razem z całym serwisem. W niniejszej kronice przedstawiamy historię jego powstania w pierwszych, kluczowych dniach lipca 2026 roku. Zapraszamy do lektury o fundamentach, na których opiera się nasza strona główna.

Jakie były początki systemu weryfikacji?

Fundamenty pod system weryfikacji zostały wylane 1 lipca. Tego dnia uruchomiliśmy dwa kluczowe komponenty: codzienny dziennik prognoz dla wszystkich 396 miast oraz kolektor, który automatycznie pobiera dane pomiarowe z oficjalnych stacji Instytutu Meteorologii i Gospodarki Wodnej. Równocześnie przeprowadziliśmy historyczny test (backtest) naszych prognoz na danych z ostatnich 90 dni, aby od razu mieć punkt odniesienia dla ich jakości.

Już dwa dni później, 3 lipca, rozszerzyliśmy dziennik o prognozy z dłuższym wyprzedzeniem – od dwóch (D+2) do pięciu (D+5) dni. Był to niezbędny krok, aby w przyszłości móc rzetelnie ocenić, z jaką dokładnością przewidujemy pogodę nie tylko na jutro, ale i na kolejne dni tygodnia. Zbieranie tych danych od samego początku pozwoliło na budowę solidnej bazy do przyszłych analiz.

Kolejnym etapem, wdrożonym 6 lipca, było udostępnienie wyników weryfikacji bezpośrednio na podstronach poszczególnych miast. Każdy użytkownik mógł od tego dnia sprawdzić, jak historycznie nasze prognozy sprawdzały się dla jego lokalizacji. Wstępna weryfikacja opierała się na porównaniu z danymi z globalnej reanalizy ERA5, która jest uznanym standardem w modelowaniu klimatu i pogody.

Od ręcznego zapisu do zautomatyzowanej bazy danych

Ręczne analizowanie rosnącej ilości danych szybko stałoby się niewykonalne. Dlatego 8 lipca był dniem przełomu technologicznego. Wdrożyliśmy dedykowaną bazę danych SQLite, która zaczęła gromadzić całą historię prognoz i pomiarów. Umożliwiło to nie tylko bezpieczne przechowywanie, ale przede wszystkim wykonywanie złożonych zapytań i analiz statystycznych na ogromnym zbiorze danych.

Tego samego dnia uruchomiliśmy dwa inne ważne narzędzia. Pierwszym był kalibrator progów dla etykiet siły wiatru i intensywności opadu, który miał pomóc w precyzyjnym dopasowaniu opisów słownych do wartości liczbowych. Drugim było zadanie uzupełnienia bazy danych (backfill) o wszystkie zebrane dotychczas informacje historyczne.

Najważniejszą zmianą widoczną dla użytkowników było jednak pojawienie się na stronie głównej paska z komunikatem „Wczoraj sprawdziliśmy się”. Od 8 lipca serwis Trafna Pogoda codziennie, w sposób zautomatyzowany i publiczny, rozlicza się z trafności prognozy na miniony dzień w oparciu o twarde dane pomiarowe z sieci IMGW. To nasza codzienna deklaracja transparentności.

Uczciwość danych ponad wszystko: filtr „stacji-zombie”

Wiarygodna weryfikacja wymaga wiarygodnych danych pomiarowych. 10 lipca stanęliśmy przed wyzwaniem, które nazwaliśmy problemem „stacji-zombie”. Zauważyliśmy, że niektóre stacje meteorologiczne potrafią zawiesić się i przez całą dobę raportować identyczną, niezmienną wartość, na przykład temperatury. Rozliczanie prognozy z takim błędnym pomiarem byłoby nieuczciwe i prowadziłoby do sztucznego zaniżenia wyniku.

Wprowadziliśmy więc specjalny filtr: jeśli odczyt z danej stacji jest identyczny przez 24 godziny, miasto to jest tymczasowo wyłączane z podsumowania trafności. Uczciwiej jest pominąć wątpliwy pomiar, niż rozliczać się z błędu aparatury. Efekt był natychmiastowy. Wynik weryfikacji dla 9 lipca, przeliczony po wdrożeniu filtra, poprawił się z 95% do 97% trafień z dokładnością do 2°C. Średni błąd bezwzględny temperatury (MAE) spadł z 0,91°C do zaledwie 0,79°C.

Tego samego dnia zakończyła się praca wspomnianego wcześniej kalibratora progów wiatru. Po przeanalizowaniu 3941 par prognoza-pomiar, system wydał werdykt: dotychczasowe progi (wiatr porywisty od 55 km/h, silny od 70 km/h) są dobrze skalibrowane. Ustaliliśmy, że mediana prognoz z naszego zespołu modeli trafniej oddaje rzeczywistość niż próby „gonienia” za najbardziej skrajnymi wartościami z pojedynczych modeli.

Jak sprawdzają się prognozy długoterminowe?

Jednym z najczęstszych pytań, jakie otrzymujemy, jest to o sprawdzalność prognoz długoterminowych. Zgodnie z naszą filozofią otwartości, postanowiliśmy odpowiedzieć na nie w oparciu o dane. W nocy z 10 na 11 lipca na stronie z metodologią i rankingiem modeli pojawiła się nowa sekcja: karta wyników (scorecard) dla prognoz z wyprzedzeniem od D+2 do D+5.

Pierwsze opublikowane liczby jasno pokazały trend, którego spodziewa się każdy meteorolog: im dalej w przyszłość, tym prognoza jest trudniejsza i obarczona większą niepewnością. Prognoza na pojutrze (D+2) osiągała trafność na poziomie 90% (z dokładnością do 2°C) przy średnim błędzie 1,09°C. Jednak dla prognozy na pięć dni naprzód (D+5) trafność ta wynosiła już 62%, a błąd wzrastał do 1,92°C. Nie ukrywamy tych liczb – wręcz przeciwnie, pokazujemy je, aby nasi użytkownicy mieli pełen obraz możliwości i ograniczeń współczesnej meteorologii.

Dbałość o szczegóły, czyli weryfikacja języka

Liczby to jedno, ale równie ważne jest to, jak o nich opowiadamy. 11 lipca wdrożyliśmy ostatni, ale bardzo istotny element lipcowej ofensywy: system walidacji semantyki w tekstach generowanych automatycznie. Chcieliśmy mieć pewność, że zdania, które piszą się same na podstawie danych, są nie tylko gramatycznie poprawne, ale i logicznie ścisłe.

Prosty przykład: system musi rozumieć, że „trafność na poziomie 97%” nie oznacza, że prognoza sprawdziła się w 97 miastach, lecz że 97% zweryfikowanych par prognoza-pomiar spełniło określone kryterium (np. błąd temperatury poniżej 2°C). Taka dbałość o detale pozwala unikać nieporozumień i buduje zaufanie. To ten sam rodzaj precyzji, który stosujemy przy rozliczaniu konkretnych zjawisk, co pokazaliśmy na przykładzie analizy lipcowej wichury.

Historia tych kilkunastu dni lipca pokazuje, że system weryfikacji Trafnej Pogody jest żywym organizmem, który stale doskonalimy. Od prostego dziennika po zaawansowane filtry danych i publiczne karty wyników, każdy element został zbudowany z myślą o maksymalnej uczciwości i transparentności. Wierzymy, że tylko przez otwarte przyznawanie się nie tylko do sukcesów, ale i do nieuniknionych pomyłek, możemy dostarczać prognozę, której naprawdę można zaufać. Zapraszamy do śledzenia naszych kolejnych analiz na blogu.