來源丨AI科學投資（ID：AItraders）
關於回測，很多人是完全不相信的。這也很好理解，回測有太多的細節，甚至策略研發者本人可能都發現不了回測過程中可能存在的問題。但是回測對策略研發者又是如此重要，它不僅可以幫助你更好的評測策略的可行性，評估風險和收益，甚至策略研發者對自己的評估，對自己的信心，對未來的憧憬和規劃都是建立在自己的量化系統的回測的基礎之上。
在我過去十多年做量化投資系統研發的過程中，也是走過很多很多彎路，踩過很多坑，也放過不少“衛星”。下面我就把我的一些經驗跟大家分享一下。
一 別給我看短線趨勢擇時回測，對不起，我已經不信了
我是2007年開始做量化策略研發的，一開始我主要是做指數增強類的阿爾法策略，後來我對擇時策略也有些興趣，但是一直沒有頭緒，直到2009年的某一天，有個同行朋友跟我說，用周線的macd就可以很好的對股市擇時，我一看，果真！07年的頂，08年的底 用macd看都不錯，比宏觀經濟學家們靠譜多了，自那之後我在短線趨勢擇時策略上可沒有少花時間。後來，我才慢慢發現，這是一條錯誤的道路，策略寫的越複雜，就越容易過擬合， 回測效果再好，樣本外執行起來都沒有底兒。 因為業內還有很多朋友在做這種策略，洩氣的話就不多說了，我只能說別給我看短線趨勢擇時回測，對不起，我已經不信了。簡單的只說一句，這種策略不是基於大數定律的策略，樣本量太少。
二 未來數據、未來函數很容易放衛星，但也很容易檢測出來
一般情況下，策略中包含了未來數據或未來函數，回測結果經常會給你一個天文級的驚嚇。 這個時候未來函數和未來數據的問題，還是比較容易發現的，但有些時候未來數據和未來函數的應用卻是完全無意識之間的，而且還不容易察覺，但是很容易檢測出來。檢測的方法也很簡單，以日頻策略為例，就是把測試數據中第t日的數據去掉和不去掉兩種情況下，t-1日的計算結果是不是相同，如果完全相同，就可以判斷沒有未來數據和未來函數。
當然，有些時候，未來數據不是藏在時間序列數據裡，而是你取的截面數據裡，比如股票的名稱，帶*可能是後來才知道帶*的。這些也要小心，有時候你會覺得影響不大，但是實際上卻影響不小。為了規避未來數據的影響，我們的股票選股系統中是不用一致預期數據的，怕數據商用了未來數據
三 忽視了策略的流動性問題
有些策略的回測收益率非常高，但是它的成交方式，決定了買不上量，衝擊成本也高，所以回測過程中，一定要注意資金容量的問題，特別是一些日內高頻類的策略。怎麼評估選股系統的資金容量問題，請參考本公眾微信號文章《人工智能股票投資系統的組合管理方法及資金容量測算》，裡面介紹了本人原創的量化投資策略資金容量測算方法。
2016年有段時間，我在朋友圈裡曬的回測阿爾法策略圖，年化阿爾法超過了60%，就是忽略了流動性問題，我本意是做一個固定100只股票的組合，但是中間某段時間因為股災時流動性的問題，選不出100只股票，後面組合中的股票數量就小於100只，只有二三十隻，結果收益率超高，而我當時還不自知，以為策略效果提升了不少。所以，現在大家在本公眾微信號菜單AI實驗室-智能投資系統子菜單下，看到的回測結果中，有統計每天股票組合中持倉的股票數量。
四 防止過擬合和過度優化
過擬合和過優化是一個老生常談的問題。 前面第一條，我就提到了過擬合和過度優化的問題，那如何避免過擬合和過優化呢？我建議至少有這麼五點需要注意。
第一，測試的樣本數量要足夠多，被選出的股票或者交易的次數也要足夠多。這是大數定律的要求。
第二，測試的時間要足夠長，時間足夠長，暴露的風險才會足夠多。
第三，保持策略的一致性，絕不能以時間為軸，劃分時段，這在這段時間，這個因子多，那個時段用這個策略。
第四，不要有太多選擇性和判斷性的條件，即使有也要是很寬泛的條件，不能搞成蘿蔔招聘似的。
第五，可以藉助可視化的分析方法。 如下圖，橫軸是打分的排名，縱軸是五日後表現的排名。從下圖看明顯兩者呈正相關性，而且在尾部位置效果更加明顯。
五 ，忽視可交易性
比如股票不在漲跌停板附近買賣，低價股價差成本高，有些個股流動性差等。
大概就這麼多吧，對於回測，我們還是很認真的，一套好的回測系統，對量化策略的研發是至關重要的，錯誤百出的回測系統，無異於盲人騎瞎馬，我們的股票回測系統，自2015年中開始打造，一直在不斷完善，在實盤和wind模擬盤上都有對比，除了上面的幾條肯定規避了之外，還可以肯定的是淨值沒有算錯在本公眾微信號菜單AI實驗室-智能投資系統子菜單下，可以查看系統的最新回測結果。
聲明：本文僅代表作者個人觀點，版權歸作者所有；我們尊重版權，轉載不用於任何商業用途，若以上未能體現作者和原始出處，還望見諒；如有侵權，我們會在確認後第一時間刪除。多謝！
閱讀更多 陸家嘴私募基金研究院 的文章
