在期貨交易中，如何避免交易系統的過度擬合？
目前在國內越來越多的投資者開始瞭解到程序化交易的概念並願意研究使用程序化交易系統進行期貨交易，這一方面是國內程序化交易研究的氛圍導致，另一方面也說明國內投資者的研究素質在逐漸提高。因而如何開發一套程序化交易系統，並利用這個系統走上穩健獲利
目前在國內越來越多的投資者開始瞭解到程序化交易的概念並願意研究使用程序化交易系統進行期貨交易，這一方面是國內程序化交易研究的氛圍導致，另一方面也說明國內投資者的研究素質在逐漸提高。因而如何開發一套程序化交易系統，並利用這個系統走上穩健獲利的投資道路，就成為眾多交易者追求的目標。
從開發一個優秀的程序化交易系統，到使用該系統獲得一定的利潤是一個複雜的過程，在此過程中會遇到很多問題。比如，經常有投資者在實際使用交易策略前，因為策略的歷史測試收益曲線圖平滑向上，對策略的盈利能力非常自信。而實盤之後，資金曲線卻 拐頭向下，不盡人意。出現這種現象的一個重要原因是過度擬合。所謂過度擬合，指的是對於樣本數據，描述的準確度很高，而對於樣本外數據，描述的準確度卻很差。具體到程序化交易中，就是歷史行情效果很好，而在未來行情中卻失效。本文嘗試解釋造成過度擬合的原因，並提出避免過度擬合的幾種方法。
什麼是過度擬合
程序化交易系統的設計過程包括兩個部分，這兩個部分都有可能造成過度擬合。交易系統設計的第一部分是形成一個完整的交易規則體系。形成交易規則一般有自上而下和自下而上兩種方法：自上而下的方法是基於對市場行情的長期觀察總結出來規律，再在規律的基礎之上形成數量化的交易策略，這一過程需要長時間交易經驗的積累；自下而上的方法是從市場數據出發，進行統計分析得出市場特徵而形成的交易策略。程序化交易的出現以及電腦技術的發展，使得自下而上的方法得到廣泛採用，交易者可以將開發出來的交易系統用歷史數據進行快速測試統計，以觀察系統在歷史行情中的表現，形成新交易系統的速度得到極大提升。在測試交易系統的過程中，往往會根據測試結果對交易規則進行重新訓練形成新的交易規則，或者對這些規則進行組合，這樣產生的交易系統很容易是對市場數據的擬合。第二部分是將這些交易規則通過數量化的方法實現。在數量化實現交易系統的過程中，一般會採用參數來描述系統。設計者會通過增加參數個數和優化這些參數，尋找出最佳的交易系統。如果參數個數較多或過度優化參數，往往就會產生對歷史行情的完美過度擬合，而未來的績效卻大打折扣。
怎樣避免過度擬合
設計交易系統的目標是在未來實盤的行情中可以產生利潤，而不是為了追求一條漂亮的歷史測試曲線，過度擬合的交易系統是一個“美麗的陷阱”。如何逃離這個陷阱呢？我們認為可以從交易規則的形成和交易系統開發兩大方面著手。
現代數學對金融市場的數據分析表明，時間價格序列包括兩個部分：第一部分是確定項,可以從中找出一定的規律；第二部分是隨機項，沒有確定性的規律可言，出現某一現象只是概率性的。當我們從市場歷史行情中提取交易規則時，需要分析規則的邏輯性和規律性，交易規則需要能夠反映市場的規律性，具有一定的合理性。同時交易規則的數量不宜過多，過多的交易規則如同對一個事物的描述加上太多的定語，而非事物本質的反映，如果事物的表象發生變化，描述就失效了，只有對事物本質的描述才是事物本身的定義。交易規則同樣必須抓住市場的本質。總而言之，我們需要的是簡單而有效的交易系統，系統越簡潔，生命力就越強，適應的市場範圍越廣。
當交易者通過各種途徑形成交易規則後，在具體的交易系統設計過程中，需要注意如下問題：
第一，增加歷史測試數據樣本容量，避免交易次數過少。如果歷史測試數據量較少，雖然設計的系統在樣本內效果良好，但是較短時間段的測試不具有說服力，系統未來的表現很難預期。而較少的交易次數往往是由於增加過多的交易規則限制，對虧損的交易進行了強過濾，是一種典型的過度擬合行為。
第二，在測試時，將測試的數據樣本分為樣本內和樣本外，設計系統的時候採用樣本內數據，然後用樣本外數據測試得出的系統，如果效果大大降低，那麼這種系統極有可能是擬合的。
第三，核心參數不宜過多，參數過多的系統是一個多自由度系統，在優化多個參數之後總會得出一個漂亮的系統，但這種系統的可靠性是令人懷疑的。
第四，在對系統的參數進行優化時，我們需要對最優參數附近的參數進行考察。如果附近參數系統的性能遠差於最優參數的性能，那這個最優參數有可能是一個過度擬和的結果，數學上稱為奇點解，是不穩定的。如果市場的特徵稍微發生變化，最優參數可能會成為最差參數。
第五，將交易系統用於其他品種，觀察其效用。萬能的交易系統是少見的，但是在一個品種上表現優秀的系統，在別的品種上至少可以獲利。如果在別的品種上不能盈利，在使用該系統的過程中就應該注意其有效性，即是否過度擬合某一品種的特殊行情。
閱讀更多 牛股王彭師傅 的文章
