8回だまされた。小さなサンプルで見つけた優位は、たいてい消える
いちばん派手に外した例
「買い目の1着を分散させる」というルールがあります。 3連単を4点買うとき、同じ艇を1着にした買い目ばかりだと、 その艇が飛んだ瞬間に全滅します。だから1着を散らすべきだ——という考えです。
3,305レースで測ったとき、はっきり差が出ました。
| 3,305レースでの実測 | 回収率 |
|---|---|
| 1着を分散させる | 88.2% |
| 分散させない | 79.3% |
| 差 | +8.9ポイント |
8.9ポイントは大きな差です。理屈も通っていました。 実際わたしたちはこれを採用し、しばらく使っていました。
その後、サンプルを91,673レースまで増やして測り直しました。
| 91,673レースでの実測 | 回収率 |
|---|---|
| 1着を分散させる | 76.9% |
| 分散させない | 78.4% |
| 差 | −1.5ポイント |
符号が逆になりました。+8.9ポイントの優位は存在せず、 むしろわずかに損をする選び方でした。
8回、同じことが起きた
これは特別な失敗ではありません。同じ形で消えた「発見」が、記録しているだけで8つあります。
| 見つけたと思ったもの | 小さいサンプル | 大きいサンプル |
|---|---|---|
| 期待値で買い目を選ぶ | 101.0%(405) | 64.2%(3,305) |
| 1着を分散させる | +8.9pt(3,305) | −1.5pt(91,673) |
| 本命艇が市場と食い違うレースを買う | 99.7%(342) | 76.0%(1,712) |
| 市場から意図的にずらす | 90.6%(狙い撃ち層) | 77.8%(無作為標本) |
| 展示映像から取った指標 | 通過(501) | 反転(705) |
最後の映像の例は、特に厄介でした。501レースの時点で、 前半で決めた補正が後半でも効き、後半で決めた補正が前半でも効く—— という両方向の検証を通っていました。それでも204レース足したら反転しました。
なぜ消えるのか
1. 3連単は当たらない
当サイトの3点買いは的中率が約24%です。3,305レースでも的中は800回弱。 そのうえ配当は数百円から数万円まで大きく散らばります。 1回の万舟が当たったかどうかで、回収率が数ポイント動きます。
つまり数千レースという数字は多そうに見えて、 このばらつきに対してはまったく足りていません。 必要なサンプルを計算すると、5%の優位を検出するのに約13,600点が要ります。
2. 試した数だけ、偶然の当たりが出る
映像の指標では、5つの候補と3つの組み合わせ、計8通りを試していました。 8通り試せば、そのうちどれかが偶然に基準を通ります。 そして通ったものだけを見て「本物だ」と判断していました。
「両方向の検証を通った」こと自体が、8通り試した結果として選ばれたという
事実に気づいていませんでした。
基準を厳しくしても、試す回数を数えていなければ意味がありません。
3. 母集団が混ざる
「本命艇が市場と食い違うレース」の99.7%は、比べ方が間違っていました。 食い違いが起きるのは特定の種類のレースに偏っているのに、 比較対象にはあらゆるレースを混ぜていました。 違う集団どうしを比べていたことになります。 同じ集団の中で測り直したら、優位は消えました。
いま守っていること
8回だまされたぶん、決まりごとが増えました。
- 信頼区間を必ず出す。点推定だけを見ると、存在しない優位を追いかけます。 「回収率101%」は、区間が67.7〜141.6なら何も言っていないのと同じです
- ベースラインを必ず併記する。比較対象があると、おかしさに気づけます。 実際、ラベルと処理が食い違っているバグを、ベースラインの異常値で見つけました
- 前半で決めて、後半で確かめる。しかも両方向で行います (後半で決めて前半で確かめても同じ結論になるか)
- 試した回数を数える。8通り試して1つ通ったなら、それは通ったうちに入りません
- 比べる集団を揃える。層をまたいで平均しません
- ルールは古いデータで決める。新しい期間は評価だけに使い、そこで戦略を選びません
それでも、ここに書いた8回のうち何回かは、これらの決まりを作った後で起きています。 決まりごとがあっても、なお引っかかります。
なぜこれを公開するのか
予想サイトが「外れた検証」を書くことは、まずありません。当たった話のほうが売れるからです。
ただ、わたしたちが売っているのは買い目ではなく読み筋です。 どういう根拠で、どこまで分かっていて、どこから分かっていないのか—— それを示さずに数字だけ出しても、確かめようがありません。
そして正直に言えば、この記録は自分たちのためでもあります。 「3,305レースで+8.9ポイント」を見つけたときの高揚は本物でした。 同じ高揚が次に来たとき、この記録が歯止めになります。
実績は全件そのまま公開しています。 当たった日も外れた日も、後から書き換えることはしません。 検証で分かったことも、都合の悪いものを含めてここに残します。
この検証について
本稿の数字はすべて、実際の払戻金で清算した実測値です。 買い目は結果を見る前に確定させる順序をプログラムで強制しています。