ROI จำลองคืออะไร (ไม่ใช่การรับประกันกำไร)

ROI จำลอง (แบบกระดาษ) คืออะไรกันแน่?

ROI จำลอง คือการนำแนวคิด "paper trading" จากโลกการเงินมาปรับใช้กับการวิเคราะห์ฟุตบอล: การวิเคราะห์ทุกชิ้นที่โมเดลเคยสร้างในอดีตจะถูกบันทึกราวกับได้รับหน่วยคงที่หนึ่งหน่วย จากนั้นนำไปให้คะแนนกับผลจริงที่จบไปแล้วของแมตช์เหล่านั้น เปอร์เซ็นต์ที่ได้เป็นเพียงบัญชีสมมุติล้วน ๆ — ไม่มีใครลงเงิน ไม่มีใครได้หรือเสียอะไร

ดังนั้น ROI จำลองจึงเป็นเมตริกคุณภาพของโมเดล ไม่ใช่ตัวเลขรายได้ พี่น้องของมันคืออัตราการเข้าเป้า (สัดส่วนการวิเคราะห์ที่ถูกต้อง) และค่าความคลาดเคลื่อนของการปรับเทียบ ทั้งสามตอบคำถามเดียวเท่านั้น: "ในอดีต โมเดลนี้ใกล้ความจริงแค่ไหน?" พวกมันไม่สัญญาอะไรเกี่ยวกับอนาคต สิ่งเดียวที่ข้อมูลให้ได้คือสมุดพกที่ซื่อสัตย์ของประวัติศาสตร์

11Stat รัน backtest อย่างไร: ตรึงเวลาจริงและไร้การรั่วไหลของข้อมูล

backtest ที่ซื่อสัตย์ต้องให้โมเดลเห็นเฉพาะข้อมูลที่รู้ได้ก่อนเสียงนกหวีดเริ่มเกมเท่านั้น 11Stat จึงใช้การทดสอบแบบ walk-forward ที่ตรึงเวลา (point-in-time): สำหรับแต่ละวันในอดีต โมเดลจะถูกรันใหม่ด้วยข้อมูลฟอร์ม ผู้เล่น และลีกที่มีอยู่จริงในเช้าวันนั้น แล้วนำผลลัพธ์ไปให้คะแนนกับสกอร์จริงที่ประกาศภายหลัง

ความผิดพลาดที่แนบเนียนที่สุด — การรั่วไหลจากอนาคต (look-ahead leakage) ที่โมเดลเผลอเห็นข้อมูลหลังจบเกม — ถูกกันด้วยชั้นป้องกันเฉพาะ ผลลัพธ์ถูกแยกตามตลาด (ผลการแข่งขัน จำนวนประตู สกอร์ที่น่าจะเป็นมากที่สุด ฯลฯ) และตลาดที่อ่อนแอต่อเนื่องจะถูกปิดโดยอัตโนมัติ ขั้นตอนทั้งหมดบันทึกไว้ในหน้าระเบียบวิธี

ทำไมผลงานจำลองในอดีตจึงบอกอะไรแน่นอนเกี่ยวกับอนาคตไม่ได้

มีเหตุผลเชิงโครงสร้างสามข้อ ข้อแรก ความแปรปรวน: ฟุตบอลเป็นเกมประตูน้อยและพึ่งดวงสูง แม้ในหน้าต่างหลายร้อยนัด โมเดลที่ดีอาจดูแย่ และโมเดลธรรมดาอาจดูเปล่งประกาย ข้อสอง การเปลี่ยนแปลงของบริบท: ขุมกำลัง ผู้จัดการทีม มาตรฐานการตัดสิน และพลวัตของฤดูกาลเปลี่ยนไปเรื่อย ๆ รูปแบบที่เคยได้ผลอาจพังลงเงียบ ๆ

ข้อสาม overfitting: ยิ่งจูนโมเดลให้เข้ากับข้อมูลอดีตละเอียดเท่าไร โมเดลอาจยิ่งใช้กับอนาคตได้แย่ลง เพราะสามปัจจัยนี้ เส้นโค้ง ROI ในอดีตจึงฉายไปข้างหน้าไม่ได้ 11Stat นำเสนอผลจำลองเป็นเครื่องมือวินิจฉัย ไม่ใช่ตัวชี้วัดผลงานในอนาคต ผลงานในอดีตไม่ใช่หลักประกันของผลลัพธ์ในอนาคต — ในหน้านี้ประโยคนั้นไม่ใช่ข้อความทางกฎหมายประดับหน้า แต่คือคณิตศาสตร์ล้วน ๆ

อัตราการเข้าเป้า, ROI และการปรับเทียบ: แต่ละตัวบอกอะไร

เพียงลำพัง อัตราการเข้าเป้าหลอกตาได้: โมเดลที่เลือกผลที่น่าจะเกิดที่สุดเสมอ สามารถอวดตัวเลขความแม่นสูงโดยไม่ได้เพิ่มข้อมูลอะไรเลย เพียงลำพัง ROI ก็เต็มไปด้วยสัญญาณรบกวน: ผลสุดขั้วไม่กี่ครั้งเหวี่ยงทั้งเส้นโค้งได้ เมตริกที่ทนทานที่สุดคือการปรับเทียบ: เหตุการณ์ที่โมเดลบอกว่า 60% เกิดขึ้นจริงราว ๆ 60% ของเวลาหรือเปล่า

11Stat จึงรายงานทั้งสามตัวพร้อมกัน พร้อมป้ายบอกช่วงเวลาและขนาดกลุ่มตัวอย่าง ตรงไหนที่เมตริกตัวเดียวโดดเด่น ให้ดูอีกสองตัวก่อน เมื่อทั้งสามเล่าเรื่องเดียวกันเท่านั้น เราจึงได้เรียนรู้อะไรจริง ๆ เกี่ยวกับโมเดล อ่านแนวคิดเพิ่มเติมได้ที่การปรับเทียบโมเดลและอภิธานศัพท์

ทำไม 11Stat จึงรายงานการปรับเทียบ ไม่ใช่ทีเด็ด

ภาษามาตรฐานของวงการคือ "ทีเด็ดวันนี้" แต่ 11Stat ตั้งใจเผยแพร่สิ่งอื่น: ความน่าจะเป็น คะแนนความเชื่อมั่น และสมุดพกย้อนหลังของทั้งคู่ หน้าต่าง backtest ที่ติดลบก็ถูกเผยแพร่ด้วย เพราะกราฟที่โชว์แต่สัปดาห์ที่ดีคือการตลาด ไม่ใช่การวัดผล

ความโปร่งใสนี้มีผลจริงในระบบ: ตลาดที่อ่อนแรงถูกปิดอัตโนมัติ คะแนนความเชื่อมั่น 0-10 ถูกคำนวณจากข้อมูลการปรับเทียบ และการ์ดวิเคราะห์ทุกใบแสดงว่าเอนจินใดมีส่วนร่วม สิ่งที่ผู้ใช้ได้รับไม่ใช่คำสัญญา แต่คือระบบวัดผลที่ตรวจสอบได้ อ่านวิธีที่ 12 เอนจินหาฉันทามติทีละขั้นได้ที่หน้าวิธีการทำงาน

วิธีอ่านตัวเลข ROI อย่างมีความรับผิดชอบ

ไม่ว่าพบคำกล่าวอ้างเรื่อง ROI ที่ไหน ให้ตั้งคำถามเหล่านี้:

• กลุ่มตัวอย่างกี่นัด? หน้าต่างไม่กี่สิบนัดแทบไม่บอกอะไรทางสถิติ
• เลือกช่วงเวลาอย่างไร? การโชว์เฉพาะเดือนที่ดีที่สุดคืออคติการคัดเลือกฉบับตำรา
• ตัดการรั่วไหลของข้อมูลหรือยัง? ถ้าข้อมูลหลังจบเกมปนเข้ามาในการทดสอบ ตัวเลขนั้นเป็นโมฆะ
• จำลองหรือของจริง? ผลตอบแทนบนกระดาษไม่รวมแรงเสียดทานในโลกจริง เช่น จังหวะเวลาและการเคลื่อนของราคา
• โชว์ช่วงติดลบด้วยไหม? ระบบที่ไม่เคยแสดงหน้าต่างแย่ ๆ เลย ไม่ได้กำลังวัดอะไรอยู่

เมตริกจำลองทุกตัวที่ 11Stat เผยแพร่ถูกออกแบบให้ผ่านคำถามทั้งห้าข้อนี้ — และถึงอย่างนั้นก็ยังบรรยายได้เพียงอดีตเท่านั้น