確実に思える出来事が、これほど頻繁にはずれるというのは、理解しがたいかもしれない。しかし、当たる確率が98パーセントなら、50回に1回ははずれる。当たる確率が90パーセントなら10回に1回、80パーセントなら5回に1回ははずれだ。したがって、予測市場の結果は──そしてどんな予測の結果も──たまには間違いでなければ、正確とはいえない。予測された確率が100パーセントでもないかぎり、その事象が発生する確証はないのだ。そして100パーセントなら、市場を運営する意味はまったくない。
2008年のニューハンプシャー州の大統領予備選挙を考えてみよう。有権者に調査を行なった12の世論調査会社の選挙前の最終集計では、バラク・オバマがこの州で勝利する確率は67パーセントだったが、実際にはヒラリー・クリントンがオバマを破った。テレビの専門家はみなオバマを選んだ。それから数日間、新聞のコラムニストたちは、世論調査と専門家の予想がはずれた理由を書き立てた(選挙日に、予想以上に年配の有権者が投票に出かけたというのがその理由だった)。
市場の結果を理解する上でのもうひとつの問題は、時間に関するものだ。2008年のアメリカ大統領選挙に関するイントレードの予測市場では、ジョン・マケインの勝率が一時は52パーセントに達した。これは間違いではない。52パーセントというのは、その日と選挙当日の間にいっさい条件が変わらなかった場合の最終結果を予測したものだったからだ。選挙のシナリオは、候補者の失言、副大統領の選出、候補者の過去の失態に関する懸念の噴出などによって、刻々と変わっていった。それと同時に、イントレード市場の数値も変化した。つまり、イントレード市場は、その時点でのマケインの勝率について、忠実な予測をしていたのだ。
「その時点」の唯一の例外は、選挙戦最終日の最後の数時間だ。このころになると、投資家たちはリードを許している政党が残りの時間で逆転する確率を過大評価することが多い。この「終わるまでは終わりではない」というバイアスを、統計学者は「ヨギ・ベラ・バイアス」と呼んでいる(訳注/ヨギ・ベラはアメリカの元野球選手。「言ったことをすべて言ったわけじゃない」「匿名の手紙には返信するな」など、矛盾とユーモアを含んだ独特の言葉は「ヨギイズム」と言われている)。
では、選挙市場の正確性はどう評価するのか? 選挙前日の夜6時の予測確率を評価基準とするのだ。そのころには、投資家があらゆる情報を市場に反映させている。これを翌日の選挙結果と比較して、市場の結果を評価するわけだ。
予測市場の成功を評価するには、市場が発生確率20パーセントと予測した出来事が、本当に20パーセントの割合で起きているかを調べる。シカゴを拠点とする予測市場会社インクリングは、自社の市場がこのテストをどの程度満たしているかを発表している。インクリングのアナリストは、自社のプラットフォームを用いた7000の市場を調べ、市場で発生確率が20パーセントと予測された出来事の数を数えた。その結果、全体のおよそ20パーセントの出来事が実際に発生していたことが判明した。