第2の調査では、真相を探るにあたり、CDCの驚くべき結果が不注意や悪意に由来するのか否かを明らかにすることを目指した。
研究者は参加者に対し、CDCのアンケートと同じ質問をした後、注意力をテストするために単語連想の課題を仕上げてもらった(語句一覧の中で無関係なものを丸で囲む)。これらの課題は、基礎的な英語読解力があって集中力を注いでさえいれば、誰にでもごく簡単に解けるようつくられている。
次に、悪意ある回答者をターゲットにするために、研究者は「リアリティチェック」の質問をした。たとえば「あなたは心臓発作で死にましたか」「インターネットを使ったことがありますか」(アンケートはオンラインで配布された)など、論理的な答えが一つしかない問いである。
最後に、データの精度を管理する追加措置として、家庭用化学製品を飲んだかという質問に「はい」と答えた全員に対し、一連の補足質問が与えられた。自分が意図的に「はい」を選んだことを確認したうえで、化学製品を飲んだ時の状況についてさらなる詳細を提示しなければならない。
さて、研究者は何を突きとめたのか。合計688人の参加者からデータを集めた。このうち55人(8%)は、3つの家庭用化学製品(消毒剤、石鹸、漂白剤)のうち少なくとも一つを飲んだと答えた。CDCの報告書と似たような結果だ。
ところが、この55人のうち、基本的な精度管理の質問群をクリアしたのは12人のみであった。つまり、有毒な化学製品を飲んだと申告した回答者の約80%(55人中43人)は、単純な関連語句を正しく特定できなかったり、リアリティチェックの問いにまったく非現実的な答えを提示したりしたのだ。
こうして精度管理の質問をクリアし、化学製品を飲んだことが明白である回答者は12人残った。彼らは本当に漂白剤を飲んだのだろうか。もしそうであれば、割合はサンプルのわずか1.7%となるが、それでもなお数百万人の米国民に相当する。
家庭用化学製品を本当に飲んだか確認するよう求められた段階で、12人のうち11人が、「はい」の選択肢を誤って選んだと答えた。
残る一人の参加者、つまり意図的に「はい」を選んだことを確認した人は、さらなる詳細を尋ねる質問に「Yxgyvuguhih」と回答した。そしてほかの回答事項には、20歳、4人の子どもがいる、体重860キロ、身長「100」などがあった(単位は未記入だが、インチでもセンチでも信憑性は低い)。
これらの回答によって、最後に残ったこの参加者のデータは正当性が疑われることになったのは言うまでもない。
では、何人の米国民が実際に、新型コロナを予防するために漂白剤を飲んだのだろうか――。確かなことはわからない。この問いに信頼性のある答えを出すにはもっと調査が必要だ。とはいえ、データの精度に関する基本的な問題に対処した後、その割合が4%から0%に減ったという事実を踏まえれば、報道の見出しが告げる人数よりも実際には大幅に少ない可能性が濃厚だ。
家庭用化学製品を飲んだ米国民に関する
CDCの報告書を取り上げたニュース
「米国民は新型コロナ予防で漂白剤を誤用 CDC報告書」(クリックオーランド・ドットコム 元記事はCNN)
「新型コロナ予防法に関するCDC報告書 漂白剤でうがいの事例も 非常に危険」(NBCニュース)
「漂白剤でうがい? 米国民は新型コロナ予防に消毒剤を誤用」(ロイター)
「漂白剤でうがいし、家庭用洗浄剤を飲んで新型コロナを予防する米国民 CDC報告書」(ニューヨーク・デイリーニュース)
誤解のないように記しておくが、ここでの教訓は「アンケート調査のデータは全部がらくた」ということではない。しかし、社会に大きく影響する主張を裏付けるためにそのデータが使われる場合は特に、基本的な精度管理の措置――本稿で挙げた注意力とリアリティのチェックなど――を講じて、結果の正当性を確認することは不可欠である。
CDCの調査ではそれを怠ったことで(そして過剰にも思える一部の報道も相まって)、研究者とメディアと世間は、漂白剤を飲んだ米国民が最大1200万人もいると信じるに至った。この報告書はおそらく間違っているだけでなく、潜在的に有害である。結果的にこれらの危険行為の正常化、つまり本当に実行する人の増加を招いた可能性があるからだ。
化学者や物理学者は、測定ツールがしっかり調整されているよう万全を期す必要がある。同様に社会科学者も、誤解を招く結論に至ることを避けるためにデータの精度を担保しなければならない。それを実現する完璧な方法はないが、基本的な精度管理を多少なりとも行えば、自己申告データの正確性と信頼性を検証するうえで大いに役立ちうる。
同時に、責任の一端はジャーナリスト側にもある。ファクトチェックを行い、調査研究について正しく伝え、扇情的な表現を避けなくてはならない。
そして当然ながら、いかなるコンテンツに関しても最後の門番は読者、つまりあなた自身である。今後、あまりに非常識で真実とは思えない内容を目にしたら、その直感は正しいかもしれないと認識しておこう。結局のところ、私たちの誰もが批判的思考を働かせ、自分で調べ、その情報源が信頼に足るか否かを判断すべきなのだ。
“Did 4% of Americans Really Drink Bleach Last Year?” HBR.org, April 20, 2021.