『ヤバい統計学』の著者でマーケティング分析のプロ、カイザー・ファングの記事をお届けする。グーグルのインフルエンザ予測モデルが失敗した事例を基に、ビッグデータの現状と課題を考える。本誌2014年5月号（4月10日発売）特集、「アナリティクス競争元年」の関連記事第6回。
2013年に出版されベストセラーとなった『ビッグデータの正体』（邦訳は講談社）の第1章の冒頭で、共著者のビクター・マイヤー＝ショーンベルガーとケネス・クキエはGoogleインフルトレンド（GFT：Google Flu Trends）を取り上げている。そこでは、グーグルがいかにして数千億回の検索を含む5年分のウェブ上のログをマイニングしてアルゴリズムを組み立てたか、そして「どうしても報告に遅れが生じる政府の統計データよりも、有効でタイムリーなインフルエンザ指標であると実証済みの」45個の検索ワードを用いたインフルエンザ予測モデルを構築したのかを説明している。
残念ながら、GFTはそれほど有効ではなかった。問題の最初の兆しは2009年、GFTの立ち上げ後間もない頃に生じた。豚インフルエンザの大流行をまったく予測できなかったのだ。そして2013年2月に『ネイチャー』誌で発表された報告によれば、GFTは2012年の年末に起きたインフルエンザの流行を実際よりも50％過大に予測した。さらに2014年の3月、GFTの開始以来最も不都合な検証結果が発表された。ハーバード大学の研究チームが『サイエンス』誌に寄稿した調査結果によれば、GFTは過去108週のうち100週において、インフルエンザの流行率を過大評価していたのだ（記事の基となる論文の英文PDFはこちら）。2011年8月から誤った予測を出し続けていたという。同記事はさらに、もっと単純な予測モデル――近年の気温データに基づく今後の気温予測と同じ程度に単純な方法――のほうが、GFTよりも正確にインフルエンザの流行を予測できたのではないかと指摘している。
要するに、ビッグデータなどなくても、Googleインフルトレンドよりよい結果を出せるのだ。何とも痛い話である。
GFTの実績がよくないことは、私を含めビッグデータやGFTを関心の対象としている者にとっては周知の事実である。そしてこれは、ビッグデータ事業をめぐる議論の的となっている、大きな問題にもある意味つながっている――つまり「データの有効性は常に過大評価されている」という問題だ。ハーバードの研究者たちは、次のように警鐘を鳴らす。「注目を集めるビッグデータの多くは、科学的分析に適した有効で信頼に足るデータの生成を目的に開発された装置から得られたものではない。これが最大の課題である」
