BackTesting and Data-mining bias(Systematic Trading)

เมื่อคืนได้พูดถึงกระบวนการทดสอบระบบเทรด เพื่อทำให้เกิดความมั่นใจก่อนนำไปใช้งาน ประเด็นสำคัญที่ต้องระวังคือเรื่องของ Data-mining bias หรือการพยายามจะปรับ optimize ตัว algorithm เพื่อให้เกิดค่าที่ดีเกินจริงจากการ Over fitting กับข้อมูลที่นำมาทดสอบ

หลักการประยุกต์เหมือนที่ได้แนะนำไปมีหลากหลายวิธี เช่นการใช้การสร้างใช้ Bootstrapping จำลองข้อมูล,การทำ WFA, การทำ stress testing (จำแนกการทดสอบระบบกับจุดภาวะตลาดไม่ปกติ) สิ่งสำคัญควร focus ไปที่โอกาสของการขาดทุนและความเสี่ยงที่จะเกิดให้มาก เพราะตรงจุดนี้จะช่วยทำให้เราเตรียม tactic หรือแผนรับมือเสริมประกอบเพื่อช่วยลดผลกระทบจากการเทรดจริงได้

ดังกล่าวไปเรื่องของการ BackTesting และกระบวนการพัฒนาระบบเทรดไม่ใช่เรื่องใหม่ มี paper วิชาการที่นำเสนอเทคนิคต่างๆให้เราอ่านเยอะมากเลย ตั้งแค่ขั้นพื้นฐาน ยันขั้นสูง ลองเข้าไปดูเบื้องต้นได้จากใน link ข้างล่าง ผมคัด paper ที่ผมใช้งานประจำมาให้น้องๆได้เตรียมตัวศึกษาก่อนแข่งกัน

-Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2308659
-What to Look for in a Backtest
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2308682
-Backtesting
https://papers.ssrn.com/sol3/Papers.cfm?abstract_id=2606462
-Backtest Overfitting in Financial Markets
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2731886
-The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2460551
-Online Tools for Demonstration of Backtest Overfitting
https://papers.ssrn.com/sol3/Papers.cfm?abstract_id=2597421
-All that Glitters Is Not Gold: Comparing Backtest and Out-of-Sample Performance on a Large Cohort of Trading Algorithms
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2745220
-Stock Portfolio Design and Backtest Overfitting
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2739335
-The Probability of Backtest Overfitting
https://papers.ssrn.com/sol3/Papers.cfm?abstract_id=2326253
-Systematic Testing of Systematic Trading Strategies
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3132229
-Portfolio Construction and Systematic Trading with Factor Entropy Pooling
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=1742559
-Statistical Overfitting and Backtest Performance
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2507040
-Optimal Trading Rules Without Backtesting
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2502613