MeteoVerdict

Tahle stránka vysvětluje prostě, jak MeteoVerdict zjišťuje, který model předpovídá nejlépe, jak z toho skládá vlastní předpověď a kde jsou hranice. Technické podrobnosti jsou v dokumentaci na GitHubu.

Otázka

Pro každé místo v Česku (stanici, okres, kraj, celou zemi) a každou veličinu (teplota, vítr, srážky): jak blízko skutečnosti byla předpověď vydaná před jedním až pěti dny? „Skutečnost“ je měření stanic ČHMÚ.

Z čeho vycházíme

• Měření: otevřená data ČHMÚ (licence CC BY 4.0), asi 470 automatických stanic (teplota a vítr, srážky po hodinách) a asi 280 ručních srážkoměrů (denní úhrn). Hodnoty, které ČHMÚ označí jako pochybné nebo chybějící, vyřazujeme. Posledních pár dní ČHMÚ ještě nezkontroloval; po kontrole se skóre přepočítají.
• Předpovědi: z Open-Meteo (Previous Runs API) pro 19 modelů, mimo jiné ALADIN z ČHMÚ, ICON z DWD, ECMWF IFS a AIFS, GFS, ARPEGE, AROME. U každého bereme to, co model předpovídal pro danou hodinu 24, 48 … 120 hodin předem (D+1 až D+5). Nehodnotíme tedy model „zpětně s vědomím výsledku“, ale tak, jak ho uživatel viděl dopředu.

Jak se skóruje model

• Pro každou stanici si od Open-Meteo vyžádáme předpověď v jejích souřadnicích a nadmořské výšce a porovnáme ji s tím, co stanice naměřila. Nic se předem nepočítá jako průměr přes okres.
• Míra je průměrná absolutní chyba (MAE): průměr z rozdílů předpověď minus měření. Menší je lepší. Vedle ní uvádíme i systematickou chybu (zda model hřeje nebo chladí) a u srážek zásahy, plané poplachy a zmeškané události.
• Každá stanice a každý den mají stejnou váhu. Okres s deseti stanicemi tedy nemá větší slovo než okres se třemi, jen má jistější výsledek.
• Teplota a vítr se hodnotí v {@00}, {@06}, {@12} a {@18} h, tedy v hodinách, kdy má každý model vlastní výstup. Hodnoty mezi nimi někteří poskytovatelé jen dopočítají a my bychom pak hodnotili dopočet, ne model. Srážky se hodnotí jako součty za období, která model sám počítá, a jako denní úhrny.
• Každý horizont (D+1 až D+5) má své pořadí. Na D+1 může vyhrát jiný model než na D+3. Modely s krátkým dosahem (například ICON-D2 jen do D+1) soutěží jen tam, kam dosáhnou.

Společný vzorek: férové srovnání

V jednom srovnání (okres, veličina, horizont, období) se porovnávají jen dny a stanice, pro které mají předpověď všechny porovnávané modely. Model, kterému chybí část archivu, tak nemůže vyhrát na jiných dnech než ostatní. Model, který má záznam kratší než 80 % období (typicky nově přidaný), do pořadí zatím nevstupuje a je uvedený zvlášť, aby ostatním nezkrátil vzorek.

Okres se hodnotí nejméně ze tří stanic. Má-li méně vlastních, půjčí si nejbližší stanice sousedních okresů (nejdál 30 km za hranicí) a mapa říká, kolik jich je půjčených. Pro zhruba třetinu okresů tedy skóre částečně popisuje i okolí.

Remíza „≈“: kdy nevyhlásit vítěze

Rozdíl mezi dvěma modely může být jen náhoda několika dní. Proto celé dny 1 000× náhodně převzorkujeme a pro rozdíl chyby oproti nejlepšímu modelu spočítáme 95% interval. Pokud interval zahrnuje nulu, model je označen „≈“ (stejně dobrý jako nejlepší). Jasný vítěz je jen tehdy, když není nikdo „≈“. Na krátkém období je proto „≈“ u mnoha modelů normální a čestný výsledek, ne chyba.

Naše předpověď: jak se skládá

Předpověď MeteoVerdict pro okres bere aktuální předpovědi všech modelů a váží je podle toho, jak přesně se v tomto okrese trefovaly v posledních 90 dnech. U teploty a větru se navíc odečítá jejich typická chyba (podle denní doby a nadmořské výšky). Váhy a opravy se každý den přepočítají. U srážek se váží, ale neopravuje; pravděpodobnost deště se kalibruje zvlášť.

Spolehlivost jsme zkusili ověřit zpětným testem: pro každý den jen s tím, co jsme v ten den mohli vědět. Za 26 podzimních dnů vycházela skládaná předpověď pro teplotu a vítr o zhruba 0,1 až 0,3 °C a 0,2 až 0,35 m/s lepší než nejlepší jediný model pro celé Česko (statisticky jistě). U srážek je výhoda menší a u delších horizontů není jistá. Je to podzimní test na krátkém vzorku, ne konečný verdikt; test běží denně a výsledek se může změnit.

Rozpětí kolem teploty. Na stránce podrobné předpovědi je kolem naší teploty šedý pruh, rozpětí 80 %: v osmi případech z deseti by měla naměřená teplota ležet uvnitř. Nepočítá se z neshody modelů (ta je příliš úzká, uvnitř by ležela jen v 56 % případů), ale z chyb naší vlastní předpovědi: pro okres, předstih a hodinu dne ({@00}, {@06}, {@12}, {@18} h; mezi nimi se dopočítává) bereme chyby za posledních 30 dní a z nich dolní a horní hranici (7. a 93. percentil, okres se tahá k celostátní hodnotě, protože jeho vzorek je malý). Ve zpětném testu (jen pro to, co bylo známo v den vydání, 26 podzimních dnů) leželo měření uvnitř v 82 % případů na D+1, 79 % na D+2 a 77 % na D+3; v noci a na horách je to o 2 až 6 bodů méně. Prosté 10. a 90. percentil drželo jen 70 až 75 %, protože podzimní chyby posledního měsíce jsou menší než chyby dnů příštích; šíře je proto dosazena na tomto vzorku a je třeba ji ověřit v zimě.

Předpověď pro obce (6 258): modely se čtou v místě a výšce obce a kombinují se s vahami a opravami jejího okresu. Jak přesná je v místech bez stanice, ukazuje test s vynechanou stanicí.

Co metodika neumí

• Krátké období. Pořadí vychází z posledních týdnů a měsíců (okno 90 dní, roční období, celá historie od roku 2024; ALADIN až od června 2026). Za jiného počasí se pořadí může obrátit.
• Bod, ne plocha. Stanice měří jeden bod, model počítá průměr za buňku sítě (od 1 do 25 km). Hrubé modely tím ztrácejí v bouřkách, údolních inverzích a kopcích. Odpovídá to zkušenosti uživatele v bodě, ale není to čistá míra kvality modelu.
• Zpracování Open-Meteo. Výběr buňky, přepočet na výšku a dopočet hodin dělá Open-Meteo, ne model sám. Nejvíc to ovlivňuje horské stanice.
• Stanice. Jen oficiální síť ČHMÚ, žádné amatérské stanice. Ruční srážkoměry zachycují v silném větru a při sněžení méně, takže modely mohou v zimě vypadat vlhčeji.
• Statistika. Interval „≈“ nebere v úvahu, že po sobě jdoucí dny jsou si podobné, takže je mírně příliš úzký. Při mnoha srovnáních budou některé „jasné vítězné“ modely jen náhoda.
• Události. Skóre pro silný déšť (nad 20 mm) a tropické dny (nad 30 °C) stojí na málo případech.
• Hlášení chyb. Najdete-li v metodice chybu nebo nejasnost, napište nám přes Kontakt. Zveřejňujeme i experimenty, které nevyšly.

Data: ČHMÚ (CC BY 4.0), Open-Meteo.com a poskytovatelé modelů; skóre CC BY-SA 4.0.