新型コロナワクチンの臨床試験に学ぶ、データを正しく読む方法意思決定の質を高めるための3つの教訓

教訓3
予測と「後づけ」を区別する

　モデルナの報道発表から1週間後の11月23日、英国のアストラゼネカは、1万1000人以上の参加者を対象にした臨床試験の中間解析結果を公表した。それによると、同社が英国オックスフォード大学と開発中のワクチンに70％の有効性が確認されたとのことだった。

　この数値は、ほかのワクチン候補より低い。しかし、この日の発表には、注目すべき情報が含まれていた。この臨床試験では、ワクチンの接種量を2通り試していた。そして、接種量を半分に留めたグループ（2741人）の場合、ワクチンの有効性は90％だったというのだ。これは、本稿で言及したほかのワクチン候補とほぼ同等の数値だ。

　このデータをどのように解釈すべきなのか。

　そう、サンプルの規模を検討する必要がある。アストラゼネカは、この臨床試験全体で131人が発症したと発表した。同社はその時点で内訳を明らかにしていなかったが、のちの発表によれば、接種量半分のグループの有効性が90％という結果は、33人の発症者に基づく数値だとのことだった（ワクチン接種群が3人、プラセボ接種群が30人）。

　このデータは、同社のワクチンが有効だと判断するには十分だが、接種量半分のほうがより有効性が高いと結論づけるには不十分だ。ワクチン接種群の中で、接種量の異なる2つのグループを緻密に比較するには、発症者数の絶対数が少なすぎるのだ。

　問題は、それだけではない。接種量の違いは、実験に関わった発注先業者のミスの産物だったのである。しかも、アストラゼネカはのちに、両グループの臨床試験（片方は英国で実施された実験、もう片方はブラジルで実施された実験だった）の設計に違いがあったことを認めた。

　このようなミスは珍しくない。アカデミズムの世界でもビジネスの世界でも、同様のミスは後を絶たない。データをもとに質の高い意思決定を行うためには、予測（プレディクション）といわば「後づけ」（ポストディクション）をはっきり区別すべきだ。

　予測とは、まず仮説を立てて、それを検証するためにデータを収集して分析することを言う。それに対し、データを集めて分析したあとで仮説をつくるのが、ポストディクションだ。このようなアプローチを採用すると、擬陽性の確率が大幅に高まり、意思決定に壊滅的な打撃が及ぶ。

　このような状況を考えてみてほしい。あるマーケティング・アナリストがA/Bテストを行ったあと、こう報告してきた。「全体として見れば、貴社の広告を見た消費者の購買率は、広告を見なかった人と変わりがありませんでした。でも、50歳超の女性に対しては、広告がきわめて有効でした。この層は、広告を見たあとの購買率がなんと30％以上高まったのです」

　有益な情報に思えるかもしれない。この情報に基づいて、マーケティング上の意思決定を行いたいという誘惑に駆られる人もいるだろう。しかし、このデータを過大評価することは避けるべきだ。

　それはポストディクションでしかない。アストラゼネカがやったのとほぼ同じことだ。データを好きなように切り取ることが許されれば、何かしらの大きな違いが見つかるものだ。その中には、純粋に偶然の結果により、統計的に有意な違いが生じているケースもある。

　では、どうすればこの問題を避けられるのか。

　データアナリストに、検証する仮説を事前に示すよう求めればよい。また、データを集めたあとにはじめて導き出した分析結果を報告する場合は、そのことをはっきりと伝えるよう指示すべきだ。統計的に有意な結果を示された時は、報告されていない実験がほかに何件行われたのかを把握するようにしよう。