Walk-Forwardとモンテカルロが「保証しないこと」

自動売買ツールにはたいてい Walk-Forward 分析(WF)とモンテカルロ検証(MC)が付いていて、これを通ると「頑健性が確認できた」と感じます。ただ、この2つが実際に確かめているものは、思っているより狭い範囲です。

この記事は「WF/MCを使うな」という話ではありません。通ったときに何を言えて、何を言えないのかの線引きです。

結論

**WFもMCも、新しいデータを作らない。**どちらも同じ1本の履歴を組み替える手続き
WFが作るのは「疑似的な未使用期間」。窓の設計を変えて再実行した回数は、そのまま試行回数に加算される(多重比較の記事)
トレードを並べ替える型のMCは、トレード同士が独立という仮定を置いている。この仮定は多くの戦略で成り立たない
MCが出す破産確率やドローダウン分布は、「観測された優位性が本物である」という条件付きの数字。優位性が偶然なら、MCはその偶然を前提に未来を描く
したがって「WFを通した」「MCを回した」は、それ自体では合格の根拠にならない

Walk-Forwardが保証しないこと

WFは、期間を区切って「前半で最適化 → 後半で検証」を繰り返し前進させる手法です。時間順序を守るので、素朴なバックテストよりずっとマシなのは確かです。ただ次の点は保証されません。

**独立した検証データを作るわけではない。**市場の歴史は1本しかありません。WFが生成するのは、その同じ1本のパスに沿った疑似的な未使用期間であって、新しい標本ではありません。

窓の設計自体がパラメータ。「インサンプル2年・アウトオブサンプル6ヶ月で駄目だったので、3年・3ヶ月にした」——これは試行1回の追加です。窓設計を10通り試して一番良かったものを採用したなら、その結果は10回の選抜を経ています。

**結果を見て何かを変えた時点で、その未使用期間は汚染される。**López de Prado (2018) の表現を借りれば「バックテストの影響下で調査をしてはならない」。一度見てしまった期間は、もう未使用ではありません。

**時間順序を守るだけではデータの漏れを防げない。**保有期間がバーの間隔より長い場合、インサンプル末尾とアウトオブサンプル冒頭で同じ値動きが二重に使われることがあります。これを防ぐには、境界付近のデータを訓練側から除去する処理(パージング、エンバーゴ)が別途必要になります。

モンテカルロが保証しないこと

MCはトレードやリターンを並べ替え・再抽出して、成績のばらつきや破産確率を推定します。ここにも前提があります。

単純な並べ替えは、系列依存を壊す。ブートストラップ法の原典であるEfron (1979)の手法は、データが独立同分布であることを前提としています。トレード同士に依存関係がある場合(トレンド相場で連勝が固まる、といった性質)、この前提は成り立ちません。依存を保つための工夫(ブロック単位で再抽出する方法)もありますが、今度はブロックの長さという新しい任意パラメータが入り込み、その選択が結果を左右します。

**MCは新しい相場を作らない。**再抽出のもとになるのは観測された標本だけです。標本に含まれていないレジームやギャップは、何回試行しても出てきません。「10万回シミュレーションした」は、10万通りの並べ替えを見ただけで、未経験の相場を10万通り見たわけではありません。

**MCは多重比較の問題を一切扱わない。**ここが最も誤解されやすい点です。MCが答えるのは「この戦略の優位性が本物だとしたら、運の振れ幅はどれくらいか」であって、「この優位性は本物か」ではありません。数万本から選び抜いた1本にMCを掛けても、選抜バイアスは何も補正されません。

**並べ替えは順序が持っていた情報を捨てる。**同じトレード集合でも、順序が変われば最終資産も最大ドローダウンも変わります。それを見るのがMCの目的ではあるのですが、裏を返せば「実際に起きた順序」という情報を意図的に捨てているということでもあります。

では何のために使うのか

限界を並べましたが、使い道はあります。否定するための道具として使うのが実務的です。

WFで成績が崩れる → その戦略は少なくとも安定していない。落とす根拠にはなる
MCで破産確率が許容できない → 資金管理が破綻している。落とす根拠にはなる

逆方向、つまり「通ったから採用してよい」という推論には使えません。統計的な検証手法の多くは、悪いものを弾く力は強く、良いものを保証する力は弱いという非対称性を持っています。

記録すべきこと

WF/MCの結果を残すときは、数字と一緒に前提を書いておかないと、後から自分でも解釈できなくなります。

WF: 窓の設計(IS長・OOS長・ステップ幅・再最適化の頻度)と、何パターン試したか
MC: どの型か(トレード並べ替え/リターン再抽出/ブロック単位か)、試行回数、置いた仮定
両方: その戦略が何本の候補から選ばれたものか(多重比較の記事)

最後の項目が抜けている検証結果は、WF/MCを通っていても解釈できません。

出典

Bradley Efron, “Bootstrap Methods: Another Look at the Jackknife,” The Annals of Statistics, Vol. 7, No. 1 (1979)
Hans R. Künsch, “The Jackknife and the Bootstrap for General Stationary Observations,” The Annals of Statistics, Vol. 17, No. 3 (1989)(従属データ向けのブロックブートストラップ)
Dimitris N. Politis, Joseph P. Romano, “The Stationary Bootstrap,” Journal of the American Statistical Association, Vol. 89, No. 428 (1994)
Marcos López de Prado, Advances in Financial Machine Learning (Wiley, 2018), Ch. 7(パージングとエンバーゴ)および Ch. 11
Robert Pardo, The Evaluation and Optimization of Trading Strategies, 2nd ed. (Wiley, 2008)(Walk-Forward分析)

※本記事は情報提供を目的としたもので、特定の取引や手法を推奨するものではありません。