たくさん試して一番良いのを選ぶと、なぜ嘘の好成績が生まれるのか

自動売買では、数千・数万の戦略を生成して成績上位を選ぶ、という作業をします。このとき見落とされがちな事実があります。優位性がまったくない戦略の集団からでも、試行回数を増やすだけで「優秀に見える戦略」は機械的に生まれます。

この記事は、その仕組みと、成績を読むときに何を併記しなければ解釈できないのかの整理です。

結論

• 大量に生成して上位を選ぶ工程は、統計的には多重比較(データスヌーピング)そのもの
• 試行回数が増えるほど、偶然だけで到達できる成績の水準が上がる。良い数字が出たこと自体は、優位性の証拠にならない
• したがって成績指標の生の値は、試行回数を明示しない限り解釈できない
• 補正の手法は複数あるが、どれも「試行回数を正しく数えられている」ことが前提。問題の本体は補正式の選択ではなく、数え方
• そしてどの補正も、その優位性が将来も続くことは保証しない

仕組み: 偶然の最大値は試行回数とともに上がる

まず単純な例から。ある検定を有意水準5%で行うとき、本当は何の効果もないのに「効果あり」と誤って判定してしまう確率は5%です。これを独立に N 回繰り返すと、少なくとも1回誤判定が出る確率は 1 − 0.95^N になります。

試行回数 N	少なくとも1件の誤判定が出る確率
1	5.0%
10	40.1%
100	99.4%
1,000	ほぼ100%

100回試せば、中身が全部無意味でも「有意な結果」はほぼ確実に手に入ります。

戦略開発ではp値ではなく成績指標(シャープレシオなど)で選ぶことが多いので、同じ話を成績の側から見たほうが実感が湧きます。Bailey, Borwein, López de Prado & Zhu (2014) は、真の優位性がゼロの戦略群から N 個の構成を試したとき、その中の最良成績がどこまで上がるかを試行回数の関数として示しました。試行回数を増やせば、狙った水準の成績は計算上いくらでも達成できてしまいます。

同じ論文が示す帰結のうち、実務にいちばん刺さるのはバックテスト期間との関係です。原文の例をそのまま引くと、

5年分のデータしかないなら、独立なモデル構成は45個までしか試してはならない。さもなければ、年率のインサンプル・シャープレシオが1でありながら、アウトオブサンプルの期待シャープレシオがゼロである戦略を、ほぼ確実に作り出すことになる。

**45個です。**自動生成なら数分で超える数字です。数万本を生成して上位を選んでいるなら、その成績が偶然の産物でないと言うためには、桁違いに長い期間か、別の根拠が要ります。

「試行回数」として何を数えるべきか

ここが実務上いちばん難しく、そして補正のすべてが依存する部分です。数えるべきなのは生成した戦略の本数だけではありません。

• パラメータの組み合わせを総当たりした回数
• 結果を見てブロック構成やルールを変更し、やり直した回数
• 検証の窓の設計(インサンプル何年、アウトオブサンプル何ヶ月)を変えて再実行した回数
• 複数の評価指標を見て、良く見えたものを採用した回数

**「結果を見て何かを変えて、もう一度回した」はすべて試行1回です。**この数え方を誤ると、どんな補正を掛けても補正が過小になります。補正を通したという事実は、申告した試行回数が正しいことを保証しません。

実測との接続

私自身の検証でも、これと整合する結果が出ています。ビルディングブロックの記事に書いたとおり、生成に使う部品を8個から445個へ、条件の複雑度も広げて探索空間を約10万倍にしたことがありますが、未使用期間で測った歩留まりは0.96→0.99で、1.0を超えませんでした。

「もっと広く探せばお宝が見つかる」という期待が外れる理由は、この記事の理屈で説明がつきます。探索を広げるという行為は、良い戦略を見つける力と同じだけ、偶然良く見えるものを見つける力も上げてしまうからです。インサンプルの成績は上がりますが、それは選抜バイアスの分だけ上がっているのであって、未来に持ち越せる部分が増えたわけではありません。

補正手法は何を保証しないか

多重比較への対処は昔から研究されていて、Šidák補正やBonferroni補正のような古典的なもの、偽発見率(FDR)を抑えるBenjamini-Hochberg法、金融向けにはWhite (2000)のReality Check、Bailey & López de Pradoのデフレーテッド・シャープレシオなどがあります。

ただし、どれも次のことは保証しません。

• 偽陽性がゼロであること。「少なくとも1件の誤りが出る確率」や「誤りの割合の期待値」を抑えるだけです
• **試行回数を過小申告した場合の妥当性。**補正の強さは申告された回数の関数です
• **データ側の欠陥の補正。**生存バイアス、先読み、約定価格の楽観、コストの過小見積もりは多重比較とは別問題で、多重比較補正では検出できません
• **将来も優位性が続くこと。**補正が答えるのは「この結果は偶然で説明できるか」であって、「この優位性は続くか」ではありません

最後の点を象徴する結果があります。Sullivan, Timmermann & White (1999) は、1897〜1986年のデータで最良の取引ルールがデータスヌーピングを考慮した精査に耐えたことを示しました。ところが同じ研究が1987〜1996年の10年で行った検証では、その優越性は再現されず、結果は反転しています。統計的な精査を通ることと、その後も機能することは、別の話です。

実務でどう使うか

閾値の話はここではしません(「シャープレシオがいくつ以上なら合格」といった基準は、自分の運用方針として、戦略の結果を見る前に決めるべきものだからです)。かわりに、記録として残すべきものを挙げます。

• 試行回数: 生成本数、パラメータ探索の規模、やり直した回数
• 有効ブロック数(SQXなら): どの部品箱から生まれた戦略か
• 窓設計を変えた履歴: 何パターン試したか
• 見た指標: 後から都合の良い指標に乗り換えていないか

これらが無い成績は、良い数字であっても解釈できません。逆に言えば、この4つを併記できる検証は、それだけで大半の「バックテスト自慢」より信頼できます。

出典

• David H. Bailey, Jonathan M. Borwein, Marcos López de Prado, Qiji Jim Zhu, “Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance,” Notices of the American Mathematical Society, Vol. 61, No. 5 (May 2014), pp. 458–471. 著者サイトのPDF
• Halbert White, “A Reality Check for Data Snooping,” Econometrica, Vol. 68, No. 5 (2000)
• Ryan Sullivan, Allan Timmermann, Halbert White, “Data-Snooping, Technical Trading Rule Performance, and the Bootstrap,” Journal of Finance, Vol. 54, No. 5 (1999)
• Yoav Benjamini, Yosef Hochberg, “Controlling the False Discovery Rate,” Journal of the Royal Statistical Society Series B, Vol. 57, No. 1 (1995)
• 探索空間を広げた実測: SQXのビルディングブロックとは(当サイトの検証)

※本記事は情報提供を目的としたもので、特定の取引や手法を推奨するものではありません。