Modell-Kalibrierung erklärt
Was ist Modell-Kalibrierung? Kalibrierung misst, ob man den Zahlen eines Wahrscheinlichkeitsmodells trauen kann: Ein gut kalibriertes Modell liegt bei etwa 70% der Ereignisse richtig, die es mit 70% bewertet, und bei etwa 40% derjenigen, die es mit 40% bewertet — es beansprucht weder mehr noch weniger, als es verdient. Diese Seite erklärt, warum Kalibrierung mehr aussagt als jede einzelne Genauigkeitszahl, wie man ECE (Expected Calibration Error) und Brier-Score liest und wie der 0-10-Vertrauensscore von 11Stat aus diesen Daten abgeleitet wird. Das ist Fußball-Datenanalyse, keine Wettberatung.
Was Kalibrierung bedeutet: Sind 70% wirklich 70%?
Dass ein Modell "70%" sagt, ist für sich genommen keine Information; die eigentliche Frage lautet: Wenn das Modell in der Vergangenheit 70% sagte, wie oft hatte es recht? Liegt die Antwort bei etwa 70%, ist das Modell kalibriert — seine Zahlen sprechen dieselbe Sprache wie die Realität. Liegt sie bei 55%, ist das Modell übermütig; bei 85% zu zaghaft.
Kalibrierung ist damit ein Ehrlichkeitsmaß: Sie trennt Kühnheit von Richtigkeit. In einem varianzreichen Sport wie Fußball lässt sie sich nicht an einem Spiel testen; Hunderte Prognosen müssen in Wahrscheinlichkeitsbänder gruppiert und jedes Band mit seiner realisierten Häufigkeit verglichen werden. Die gesamte Wahrscheinlichkeitskette von 11Stat durchläuft diesen Test; die Details stehen auf der Methodik-Seite.
Warum eine einzelne Genauigkeitszahl in die Irre führt
"Unser Modell liegt zu 68% richtig" klingt beeindruckend und sagt fast nichts. Ein stumpfes Modell, das in jedem Spiel den Favoriten markiert, erreicht eine ähnliche Zahl — es sammelt Treffer, ohne Information zu erzeugen. Eine Genauigkeitszahl ignoriert sowohl die Schwierigkeit jeder Prognose als auch die Wahrscheinlichkeit, die das Modell ihr zugewiesen hat.
Kalibrierung füllt genau diese beiden Lücken: Sie prüft die 55%-Behauptungen und die 85%-Behauptungen getrennt und zeigt, ob das Vertrauen des Modells auf jeder Stufe verdient ist. Zwei Modelle können dieselbe Genauigkeit teilen, während eines kalibriert und das andere leichtsinnig ist — und langfristig lässt sich nur mit den Zahlen des kalibrierten Modells solide argumentieren. Dieselbe Unterscheidung ist beim Lesen des simulierten ROI entscheidend.
Wie man ein Reliability-Diagramm und den ECE liest
Ein Reliability-Diagramm ist das Röntgenbild der Kalibrierung: Prognosen werden in Wahrscheinlichkeitsbänder gruppiert (50-60%, 60-70%, …), und für jedes Band wird die mittlere Behauptung des Modells (x-Achse) gegen die realisierte Häufigkeit (y-Achse) aufgetragen. Perfekte Kalibrierung liegt auf der 45-Grad-Diagonale; Punkte darunter entlarven Übermut, Punkte darüber übertriebene Vorsicht.
Der ECE (Expected Calibration Error) verdichtet dieses Bild zu einer Zahl: die mittlere Abweichung pro Band, gewichtet nach der Anzahl der Prognosen je Band. Ein ECE nahe 0 sagt, dass man die Zahlen wörtlich nehmen kann; ein wachsender ECE, dass sich die Sprache des Modells von der Realität entfernt. Weil keine Kennzahl allein genügt, berichtet 11Stat den ECE zusammen mit dem Brier-Score und der Stichprobengröße.
Brier-Score und Log-Loss: strikt korrekte Bewertungsregeln
Der Brier-Score quadriert die Lücke zwischen jeder ausgesprochenen Wahrscheinlichkeit und dem realisierten Ausgang (1 oder 0) und mittelt sie: näher an 0 ist besser. Er belohnt und bestraft Kalibrierung und Trennschärfe zugleich. Der Log-Loss bestraft übermütige Fehlgriffe weit härter: Ein Modell, das 95% sagt und danebenliegt, zahlt teuer.
Beide sind "proper scoring rules": Die beste Strategie des Modells besteht darin, seine wahre Überzeugung ehrlich auszusprechen — durch Aufblähen oder Drosseln der Zahl lassen sich keinerlei Punkte gewinnen. Diese Eigenschaft ist das mathematische Fundament einer Kalibrierungskultur: Die ehrliche Wahrscheinlichkeit ist per Spieldefinition die lohnendste Aussage. Die Begriffe sind auch im Glossar definiert.
Wie der 0-10-Vertrauensscore von 11Stat entsteht
Der Vertrauensscore von 0 bis 10 auf einer Analysekarte ist nicht das Bauchgefühl einer Engine, sondern die Zusammenfassung einer kalibrierten Kette: Der Konsensgrad von 12 unabhängigen Engines, die Wahrscheinlichkeit nach der Kalibrierungsschicht und die historische Zuverlässigkeit des Markts verschmelzen zu einer Skala. Wie viele Engines in dieselbe Richtung zeigen ("N-von-M-Konsens"), wird daneben angezeigt.
Ein hoher Score bedeutet keine Gewissheit; er bedeutet: "Laut historischem Zeugnis ist das Modell bei dieser Art von Einschätzung konsistenter." Selbst Scores über 7 liegen keineswegs selten daneben — in einem kalibrierten System müssen sie das, sonst wären die Zahlen aufgebläht. Die Bestandteile des Scores erklärt die Seite Wie es funktioniert Schritt für Schritt.
Wie sich 11Stat selbst nachkalibriert
Kalibrierung ist keine Aufgabe, die man einmal erledigt; wenn sich Ligen, Saisons und Kader ändern, verschiebt sich auch die Sprache des Modells. 11Stat führt deshalb einen rollierenden Kalibrierungsspeicher pro Liga und pro Markt: Jedes abgerechnete Spiel aktualisiert die betreffende Kurve, und wächst die Abweichung, werden die Korrekturkoeffizienten gestrafft.
Zwei weitere Sicherungen greifen: Märkte mit degradierender Kalibrierung werden automatisch deaktiviert, und sämtliche historischen Fenster — auch die schlechten — erscheinen in den Berichten der simulierten Metriken. Das Ziel ist nie, "immer richtig auszusehen", sondern die Bedeutung der Zahlen zu schützen: Wo 70% steht, sollte die lange Frist tatsächlich etwas nahe 70% zeigen.
Häufig gestellte Fragen
Garantiert ein gut kalibriertes Modell richtige Prognosen?
Nein, es garantiert keine einzelnen Ergebnisse. Kalibrierung sichert die Ehrlichkeit der Wahrscheinlichkeiten: Rund 30% der Ereignisse, die es mit 70% bewertet, gehen weiterhin anders aus — und genau das ist das Zeichen, dass das System funktioniert. Kein statistisches Modell kann den Ausgang eines Fußballspiels sicher machen.
Ist ein Vertrauensscore von 10/10 ein sicherer Tipp?
Nein, so etwas gibt es nicht, und 11Stat präsentiert keine Ausgabe auf diese Weise. Ein hoher Score sagt nur, dass Engine-Konsens und historische Konsistenz hoch sind; in einem kalibrierten System liegen selbst Spitzenscores regelmäßig daneben. 11Stat gibt keine Wettberatung.
Was ist ein guter ECE-Wert?
Das hängt vom Kontext ab; in einem verrauschten Feld wie Fußball gelten Werte unter 0.05 meist als gesund, alles über 0.10 verdient eine Untersuchung. Entscheidend ist nicht eine Momentaufnahme, sondern der Verlauf des ECE über die Zeit und die Stichprobengröße der Messung.
Kann ein Modell treffsicher und trotzdem schlecht kalibriert sein?
Ja, das kommt häufig vor. Ein Modell, das stets den Favoriten wählt, kann eine hohe Trefferquote sammeln und dabei seine Wahrscheinlichkeiten auf 90%-artige Behauptungen aufblähen — seine Zahlen taugen dann nicht als Entscheidungsgrundlage. Auch das Umgekehrte existiert: Ein bescheiden treffendes Modell mit verlässlichen Zahlen ist für die Analyse weit wertvoller.
Worin unterscheiden sich Brier-Score und ECE?
Der ECE misst nur die Kalibrierung — die Übereinstimmung zwischen ausgesprochener Wahrscheinlichkeit und realisierter Häufigkeit. Der Brier-Score erfasst zusätzlich die Trennschärfe: wie mutig und wie berechtigt sich das Modell vom 50-50 entfernt. Zusammen gelesen zeigen sie Ehrlichkeit und Informationskraft des Modells.
Wie oft kalibriert 11Stat seine Modelle nach?
Laufend: Jedes abgerechnete Spiel aktualisiert die Kalibrierungskurven pro Liga und Markt, und Märkte mit wachsender Drift werden automatisch deaktiviert. Periodische Backtests prüfen zusätzlich die gesamte Kette von Ende zu Ende; die Ergebnisse werden einschließlich der negativen Fenster veröffentlicht.