ビジネスの仮説は実験で検証すべきだが、どう実施すればよいのか。ランダム化対照実験の基本を、改めて知っておこう。
仕事で賢明な意思決定を行うには、データが必要だ。そのデータをどこから入手し、いかに分析するかは、多くの要因によって変わってくる。分析結果を基に何をしたいのか、どの程度正確な結果を必要としているのか、予算はどれくらいか、等々だ。
そして分析のためにマネジャーが実施できる実験にも、さまざまな種類がある。手早くできる簡易的なもの、パイロット（試験的）実験、フィールド実験、実験室での実験。なかでも構造化された手法の1つとして、ランダム化対照（コントロール）実験（randomized controlled experiment）がある。
それはどのようなものであり、ビジネスでどう利用できるのか。理解を深めるために、私はトーマス・レッドマンと話をした。彼は『戦略的データマネジメント』の著者であり、データの管理、活用、品質向上について企業に助言を提供している。
●ランダム化対照実験とは何か
この用語からは、臨床試験を思い浮かべる人がほとんどだろう。1つのグループに治療薬を与え、もう一方にはプラセボ（偽薬）を与えるといった方法だ。しかしこの手の実験を利用しているのは、製薬会社や医学者だけではない。あらゆる種類の企業・ビジネスにおいて実行できるうえ、必ずしも高い費用や多くの時間がかかるものでもないのだ。
必要なのは、「コントロール」され、「ランダム化」の要素が含まれていることである。
では、まずは「実験」という言葉から掘り下げてみよう。レッドマンの言によれば、「実験とは、この世界の何かについて知識を得るために行う、計画的な活動」である。たとえば2歳児は、始終実験をしているという。「『もし自分が泣き叫べば、ママは駆けつけてくるだろう』という考えがあるわけです。幼児はこの世界に関するデータを収集しているのです。コントロールはされていませんが、はっきりとした目的を持ってやっています」
ビジネスに関連した例で考えてみよう。あなたが油井を掘削する仕事に就いているとする。ここに、新しいドリルビット（ドリルの刃）がある。人工知能のプログラムで駆動し、回転時の圧力と速度が自動で調節される。この新しくより高価なドリルビットが、今使っているものとどう違うのかを知りたいため、両方を比較する実験を行うことにした。
そこで、油井30ヵ所を選び、うち15ヵ所を既存のドリルビットで掘削し、残りの15ヵ所を新型のもので掘削する。これが実験という行為であり、ここで知りたい変数の例は、「いかに効率よく油井を掘削したか」である。
このケースでは、油井（標本）の数はかなり少ないことに注意してほしい。たとえば、潜在顧客1000人に新たなマーケティングキャンペーンを試すような場合とはずいぶん異なる。標本の数が多ければ多いほど、統計的に有意な結果を得られる可能性は高い。だが一方で、実験の費用についても現実的に考える必要がある。油井1ヵ所を掘削するには数百万ドルもの費用がかかることをふまえれば、この実験は少数の油井で行われる可能性が高いだろう。
実験で求めたい変数（観測される効果）を、「従属変数」と呼ぶ（実際の実験では従属変数が複数あるかもしれないが、本記事では説明を簡略にするために1つとする）。そして、従属変数に影響を及ぼしうる要因（推定される原因）が多数存在し、これらは「独立変数」と呼ぶ。「1つの実験では通常、1つかせいぜい2、3の独立変数を知ろうとしますが、他の数多くの要因がその妨げとなる可能性があります」（レッドマン）
あなたが知りたい結果（従属変数）は、「どちらのドリルビットのほうが優れているか」だ。しかし諸々の要因（独立変数）、たとえば油井の規模、深さ、掘り進む地質などが、掘削の効率性に影響を及ぼし、新しいドリルビットの評価を難しくする。同様に臨床試験では、患者の年齢、全般的な健康状態、運動療法、血圧など多数の要因が影響する。したがって、実験の結果が本当に薬によるものか、それとも別の要因の影響を受けているのかを見極めるのが困難になる。
ここで「コントロール」という言葉が登場する。この言葉は統計学者の間で、複数の概念に対して用いられるため、ややこしい。「まったく単純な概念をわかりにくくする仕事は、統計学者にまかせておきましょう」とレッドマンは皮肉る。
