あなたの会社はA/Bテストを実施しすぎていないか
Alexander Spatari/Getty Images
サマリー：A/Bテストは、データに基づく意思決定の「ゴールドスタンダード」とされてきた。しかし現実には、統計的有意性を過度に重視するあまり、意思決定を遅らせ、成長機会を逃している企業は少なくない。こうした従来型のアプローチは、医薬品開発のようにミスが致命的となる分野には適していても、スピードと価値創出が求められるビジネスの現場とは必ずしも噛み合わない。本稿では、過剰なデータ収集に依存せず、より速く、より戦略的な判断を可能にするアプローチを紹介する。

A/Bテストのやりすぎに注意

　A/Bテストは、実験のゴールドスタンダードである。その目的は、データに基づき、より早くより優れた意思決定を行えるようにすることである。ところが、往々にして逆効果となる。会議は楽観的に始まり、新たな価格設定案や、広告レイアウト、登録画面などがA/Bテストされることになる。数週間待った後にデータ分析チームから返ってくるのは、p値、95％の信頼基準、そして「さらなるデータが必要です。証拠不十分のため統計的に有意であるとはいえません」というお馴染みの結果である。

　データが「十分」に揃うまで待つことは安全なように感じるが、時間とエンゲージメントが失われ、成長が阻まれる。これには理由がある。一般的な統計手法（つまり有意性検定）は、無行動を助長する。それは、あらゆる判定を、偽陽性が致命的であるかのように扱うからである。医薬品試験には適しているが、プロダクトチームにとっては不幸である。ビジネスにおいて致命傷となるのは、小さなミスを犯す危険ではなく、機会を逸することなのである。

　ジェフ・ベゾスは、「情報が90％揃うのを待っていたら、それはおそらく遅すぎる」と言い切る。データ分析チームに教科書通りにA/Bテストをやらせたら、95％に達するまで待つことになる。A/Bテストは本来、意思決定の向上が目的だが、分析チームが戦略的意思決定から切り離された「門番」に成り下がってしまったのも無理はない。他の研究でも、ウェブページのデザインや広告の最適化、顧客維持プログラム、ターゲティングメールマーケティングなど、現実のさまざまな分野における大きな損失を伴う失敗が報告されている。こうした事例が企業により優れたデータ駆動型の意思決定を行うことを妨げている。

　問題はデータそのものではなく、データに対して投げかける問いにある。ベゾスは、「軌道修正が得意ならば、間違えても損失はさほど大きくならない。出遅れるほうが確実に高くつく」と述べている。マーケティングと統計学の新たな意思決定フレームワークでは、ベゾスの直感が実践に反映され、「p値の示す時ではなく、価値がリスクを上回った時が実施すべき時」である。

　本稿では、古いパラダイムが意思決定を停滞させる理由を説明し、経営陣やデータ分析リーダー向けの4ステップの実践的な行動指針を紹介する。社内のデータインフラの再構築や、分析チームに馴染み深いワークフローの再設計なしに、即座にこの戦略を導入する方法を示したい。

データ分析チームが「待て」と言い続ける理由

　分析チームとの軋轢は見当がつく。A/Bテストはほとんどの企業で同じ方法で行われている。まず新しいキャンペーンや製品デザイン、製品機能が主要なビジネス成果（顧客当たり利益など）をどれだけ変化させるかを推測する。分析チームはその推測値をp値として算出し、お馴染みの閾値（いきち）0.05と比較する。新機能の効果を評価する十分な証拠があれば、つまり5％の有意水準（いわゆる魔法の「p値のハードル」〈p-value bar〉）をクリアすれば実施に踏み切る。理屈は合っているように見える。