サンプルを増やしたら、かえって間違えた — 集計軸が動いているときに起きること

「サンプルが多いほど信頼できる」——統計の基本として、そう教わります。

先日、それで間違えました。

3年分・2億2,218万ティックで集計した結果が、1ヶ月分で測った結果より不正確だったのです。原因が分かってみれば当たり前でしたが、気づくまで自分の数字を信じていました。

同じ罠は時刻を扱う検証で普通に起きるので、再現手順つきで書き残しておきます。

結論

サンプルを増やすと精度が上がるのは、測る対象が動かない場合に限られる
対象が集計軸の上を動いていると、期間を延ばすほど像がぼやける。平均を取ることが、動きをならすことになるため
実例: スプレッドの拡大倍率を3年分で集計したら2.0倍。正しくは8.2倍だった。4分の1に潰れていた
1ヶ月分で測ったときは正しい値が出ていた。短いほうが正確だった
見分け方は単純で、期間を分けて集計し、結果が一致するかを見るだけ

何が起きたか

為替のスプレッドが時間帯でどう変わるかを測っていました。3通貨ペア・3年分のティックを集計して、こういう表を作りました。

日本時間	中央値
18時〜翌4時	0.5〜0.6銭
5時	0.6〜0.7銭
6時	1.1銭
7時	1.2銭
8時	0.8銭

「朝方に開く」という通説どおりです。最も狭い時間帯の2.0倍でした。

数字としてはもっともらしく見えます。でもこれは間違いでした。

気づいたきっかけ

引っかかったのは、6時と7時の両方が広いことでした。

スプレッドが開く原因は、ニューヨーク17時のロールオーバー——決済日が切り替わる瞬間です。イベントは1つなのに、なぜ2時間にまたがるのか。

そこで期間を分けて集計し直しました。

日本時間	米国夏時間の中央値	米国冬時間の中央値
18時〜翌4時	0.5銭	0.6銭
5時	0.7銭	0.6銭
6時	4.1銭	0.8銭
7時	1.0銭	3.6銭
8時	0.7銭	0.9銭

別物でした。

ニューヨーク17時は、米国が夏時間ならUTC21時、冬時間ならUTC22時です。日本時間に直すと6時と7時。同じイベントが、季節によって別の時刻に現れていたわけです(この切替そのものの実測はサマータイムで検証は1時間ずれるにまとめました)。

3年分をまとめて集計するということは、その2つを足し合わせて2で割るということでした。鋭い山が2つの時間帯に塗り広げられ、どちらも「そこそこ広い」という平坦な姿になっていたのです。

倍率は2.0倍ではなく8.2倍でした。実際の4分の1しか見えていなかったことになります。

短いサンプルのほうが正しかった

いちばん効いたのは、この事実です。

**最初に1ヶ月分だけで試したとき、約9倍という値が出ていました。**そのときは「1ヶ月では偏っているのだろう、3年で測り直そう」と考えました。そして3年で2.0倍という値を得て、1ヶ月版のほうが誇張だったと結論づけました。

**逆でした。**1ヶ月は片方の季節に収まるので、山がぼけません。短いほうが正確だったのです。

「サンプルを増やせば正確になる」という思い込みが、正しい結果を捨てさせました。

なぜこうなるのか

平均や中央値は、同じものを繰り返し観測しているという前提で成り立ちます。同じ的を何度も撃つなら、当たりの中心は撃つほど正確になります。

**的が動いていると話が変わります。**動いている的に何度も撃って、着弾点を平均すれば、出てくるのは「的があった場所の真ん中あたり」です。的は一度もそこに無かったかもしれません。

今回の場合、集計の軸は「日本時間の何時か」でした。**測りたかったイベントは、その軸の上を年2回移動していました。**軸を固定して平均すれば、移動したぶんだけ像がにじみます。期間を延ばすほど、両方の位置が均等に混ざって、にじみは強くなります。

見分け方

難しいことは要りません。期間を分けて集計し、結果が一致するかを見るだけです。

全期間で集計する
前半と後半に分けて集計する
山の位置が同じかどうかを見る

山の高さが違うだけなら、単なるばらつきかもしれません。**山の位置がずれていたら、軸の上を対象が動いています。**その場合、全期間の集計は使えません。

今回は「夏時間」「冬時間」という切り方でしたが、切り方は対象によります。ポイントは分けてみることです。分けずに全期間で集計した数字を、そのまま信じないことです。

検証でこれが起きる場面

時刻に紐づく条件を持った検証は、すべて候補です。

時間帯フィルタを持つ戦略。「日本時間9時〜15時だけ取引する」のような条件は、基準時刻が動けば実際に取引する局面が変わります
**経済指標を避けるフィルタ。**指標の発表時刻は発表国の現地時間で固定されていて、その国の夏時間で動きます
**日足・4時間足を参照する戦略。**バーの区切りが動けば、高値・安値・始値・終値そのものが変わります

時刻以外にも同じ構造は起きます。取引時間が変わった銘柄、上場市場が移った銘柄、仕様が改定された商品——どれも「軸の上で対象が動いた」ケースです。

実務でどう使うか

**全期間の集計を出したら、必ず期間を分けてもう一度出してください。**手間は倍ですが、これで防げます
**「サンプルが少ないから信用できない」と切り捨てる前に、多いほうが正しいという根拠があるか確かめてください。**今回は少ないほうが正しかったのです
期間を延ばすかどうか迷ったら、延ばす前に、対象が期間中に動いていないかを先に考えてください。動いているなら、延ばすほど悪くなります
検証記録には集計した期間の切り方を残してください。「3年分」だけでは、後から検証できません

この失敗から出た副産物

にじみの原因を追ううちに、イベントがいつ移動するのかを実測で特定できました。3通貨ペア×6回の米国夏時間切替、18回すべてで移動し、欧州の切替では一度も動きませんでした。

間違いを潰しにいったら、元の目的より強い結果が出たわけです。分けて集計するのは、防御策であると同時に、それ自体が測定にもなります。

まとめ

サンプルを増やして精度が上がるのは、対象が動かない場合だけ
動いているなら、期間を延ばすほど像はぼやける
実例では8.2倍が2.0倍に潰れた。1ヶ月版のほうが正しかった
見分け方は「期間を分けて、山の位置が同じか見る」だけ
全期間の集計をそのまま信じない

「サンプルが多いほど良い」は、条件つきの話です。その条件が満たされているかを確かめるほうが、サンプルを増やすより先です。

出典

実測の経緯と数値: 当サイトのスプレッド計測(スプレッドが開くのは1日1時間)。2023年8月25日〜2026年8月23日、3通貨ペア合計2億2,218万ティック
探索と多重比較の問題(関連する落とし穴): たくさん試して一番良いのを選ぶと、なぜ嘘の好成績が生まれるのか(当サイト)
検証手法が保証しないこと: Walk-Forwardとモンテカルロが「保証しないこと」(当サイト)

※本記事は情報提供を目的としたもので、特定の手法を推奨するものではありません。