基于 CSCV 框架计算三组量化研究案例的回测过拟合概率
本文基于组合对称交叉验证(CSCV)框架,以三组量化研究为案例展示
回测过拟合概率(PBO)的计算流程,发现两组多因子选股模型的 PBO
较低,择时模型的 PBO 较高。案例 1 为 7 种机器学习模型的多因子选股
策略,指数增强组合 PBO 大多在 15%~50%,“ XGBoost 表现最佳”的结
论大概率不是回测过拟合。案例 2 为 6 种交叉验证方法的多因子选股策略,
多空组合 PBO 在 20%~50%,“分组时序交叉验证表现最佳”的结论大概
率不是回测过拟合。案例 3 为双均线 50ETF 择时策略,PBO 在 50%~90%,
“参数组合[11,30]和[11,24]表现最佳”的结论可能为回测过拟合。
过拟合可分为两个层次:训练过拟合和回测过拟合
华泰人工智能系列多项研究探讨过拟合。过拟合可分为训练过拟合和回测
过拟合两个层次。训练过拟合是机器学习语境下偏狭义色彩的过拟合,是
指机器学习模型在训练集表现好,在测试集表现差,产生原因是模型超参
数选择不当或者模型过度训练,解决方案是采用合理的交叉验证方法选择
模型超参数或迭代次数。回测过拟合是量化研究语境下偏广义色彩的过拟
合,是指量化模型在回测阶段表现好,在实盘阶段表现差,产生原因是市
场规律发生变化,或者对回测期数据噪音的过度学习。回测过拟合难以根
除,相对合理的解决方案是借助量化指标检验回测过拟合程度。
核心思想是计算“训练集”夏普比率最高的策略在“测试集”的相对排名
CSCV 框架下回测过拟合概率的核心思想是:计算“训练集”夏普比率最
高的策略,在“测试集”中的相对排名,如果相对排名靠前,代表回测过
拟合概率较低,反之则代表回测过拟合概率较高。“训练集”和“测试集”
的划分基于组合的思想,将全部回测时间划分成 S 份,任取其中 S/2 份拼
接得到“训练集”,剩余 S/2 份拼接得到“测试集”,分别计算各条策略的
夏普比率,进而得到相对排名,并重复多次,将相对排名大于 50%即排在
后一半的概率视作回测过拟合概率。回测过拟合概率的计算相对简单,不
仅适用于机器学习策略,还能推广到其它类型的量化策略。
探讨回测过拟合概率计算过程中的各项细节
回测过拟合概率的计算过程中包含多项细节。将长度为 T 的全部回测时间
划分成 S 份,每份回测时间长度为 T/S。T/S 越小,组合次数越大,计算
时间开销越大;T/S 越大,组合次数越小,策略排名结果受偶然性因素影
响更大,实际使用时建议采用较小的 T/S 比。对策略进行排名时一般采用
夏普比率,也可以根据实际需要选择其它评价指标,例如本文的指数增强
组合采用信息比率进行排名更为合理。
风险提示:多因子选股和择时等量化模型都是对历史投资规律的挖掘,若
未来市场投资环境发生变化,则量化投资策略存在失效的可能。回测过拟
合概率是将历史回测表现的时间序列经过简单打乱重排计算得到,忽略回
测的路径依赖特性,存在过度简化的可能。
评论0
最新资源