Simüle ROI Nedir? (Gelecek Kazanç Vaadi Değildir)

Simüle (kâğıt üstünde) ROI tam olarak nedir?

Simüle ROI, finanstaki "paper trading" kavramının futbol analitiğine uyarlanmış hâlidir: modelin geçmişte ürettiği her analiz, sanki her birine sabit bir birim ayrılmış gibi kaydedilir, ardından maçların gerçekleşmiş sonuçlarıyla karşılaştırılır. Ortaya çıkan yüzde, tamamen varsayımsal bir muhasebedir; kimse bir şey yatırmamış, kimse bir şey kazanmamış veya kaybetmemiştir.

Bu yüzden simüle ROI bir gelir rakamı değil, model kalite metriğidir. Aynı ailenin diğer üyeleri isabet oranı (analizlerin yüzde kaçının tutması) ve kalibrasyon hatasıdır. Üçü birlikte tek bir soruyu yanıtlar: "Bu model geçmişte gerçeğe ne kadar yakındı?" Gelecek hakkında söz vermezler; verilerin izin verdiği tek şey geçmişin dürüst bir karnesidir.

11Stat backtest'i nasıl çalıştırır: point-in-time ve sızıntısız

Bir backtest'in dürüst olması için modelin yalnızca maç başlamadan önce bilinebilecek verileri görmesi gerekir. 11Stat bu yüzden "point-in-time" (o âna sabitlenmiş) walk-forward testler kullanır: her geçmiş gün için model, o günün sabahında elinde olan form, kadro ve lig verisiyle yeniden çalıştırılır; sonucu daha sonra açıklanan gerçek skora karşı puanlanır.

En sinsi hata olan ileriye bakma sızıntısı (look-ahead leakage) — modelin fark etmeden gelecekten bilgi görmesi — ayrı bir korumayla engellenir. Sonuçlar pazar bazında (maç sonucu, gol sayısı, en olası skor vb.) ayrıştırılır; zayıf kalan pazarlar otomatik olarak devre dışı bırakılır. Yöntemin tamamı metodoloji sayfasında açıktır.

Geçmiş simülasyon performansı geleceği neden göstermez?

Üç yapısal neden vardır. Birincisi varyans: futbol düşük skorlu ve yüksek şanslı bir oyundur; birkaç yüz maçlık pencerede bile iyi bir model kötü, vasat bir model parlak görünebilir. İkincisi rejim kayması: takımlar, teknik direktörler, hakem yorumları ve sezon dinamikleri değişir; geçmişte işleyen bir örüntü sessizce bozulabilir.

Üçüncüsü aşırı uyum (overfitting): bir model geçmiş veriye ne kadar ince ayar çekilirse, geleceğe o kadar kötü genellenebilir. Bu üçlü yüzünden hiçbir geçmiş ROI eğrisi ileriye taşınamaz; 11Stat de simüle sonuçlarını bir teşhis aracı olarak sunar, gelecekteki performansın göstergesi olarak değil. Geçmiş performans, gelecekteki sonuçların garantisi değildir — bu cümle sayfanın süsü değil, matematiğin kendisidir.

İsabet oranı, ROI ve kalibrasyon: hangisi ne söyler?

Tek başına isabet oranı yanıltıcıdır: hep en olası sonucu seçen bir model yüksek isabetle övünebilir ama hiçbir bilgi katmaz. Tek başına ROI gürültülüdür: birkaç uç sonuç bütün eğriyi savurur. En dayanıklı metrik kalibrasyondur: modelin %60 dediği olayların gerçekten yaklaşık %60 sıklıkla gerçekleşip gerçekleşmediği.

11Stat bu yüzden üçünü birlikte, pencere ve örneklem boyutuyla etiketleyerek raporlar. Bir metriğin tek başına parladığı yerde önce diğer ikisine bakmak gerekir; üçünün hikâyesi tutarlıysa model hakkında gerçekten bir şey öğrenilmiştir. Kavramların ayrıntısı için model kalibrasyonu sayfasına ve sözlüğe bakabilirsiniz.

11Stat neden tüyo değil kalibrasyon raporlar?

Sektörün alışıldık dili "bugünün kuponu" iken 11Stat bilinçli olarak başka bir şey yayınlar: olasılıklar, güven skorları ve bunların geçmiş karnesi. Negatif geçen backtest pencereleri de yayınlanır; çünkü yalnızca iyi haftaları gösteren bir grafik, ölçüm değil pazarlamadır.

Bu şeffaflığın pratik bir karşılığı da vardır: zayıflayan pazarlar otomatik kapatılır, 0-10 güven skoru kalibrasyon verisinden türetilir ve her analiz kartı hangi motorların katıldığını gösterir. Kullanıcının eline geçen şey bir söz değil, denetlenebilir bir ölçüm sistemidir. 12 motorun nasıl uzlaştığını nasıl çalışır sayfası adım adım anlatır.

Bir ROI rakamını sorumlu şekilde okuma rehberi

Nerede görürseniz görün, bir ROI iddiasına şu soruları sorun:

• Örneklem kaç maç? Birkaç düzine maçlık pencere istatistiksel olarak neredeyse hiçbir şey söylemez.
• Dönem nasıl seçilmiş? Yalnızca en iyi ayın gösterilmesi klasik bir seçim yanlılığıdır.
• Veri sızıntısı sorgulanmış mı? Maç sonrası bilinen bilgi teste karışmışsa rakam geçersizdir.
• Simüle mi, gerçek mi? Kâğıt üstündeki getiri, gerçek dünyadaki sürtünmeleri (zamanlama, fiyat kayması) içermez.
• Negatif dönemler de gösteriliyor mu? Hiç kötü pencere göstermeyen bir sistem, ölçüm yapmıyor demektir.

11Stat'in yayınladığı her simüle metrik bu beş soruya dayanacak şekilde tasarlanır — ve yine de yalnızca geçmişi anlatır.