偽りの実験
真実の実験

　マネジャーたちは来る日も来る日も、裏づけとなる証拠もないまま、新しいアイデアを実行するため、たとえば製品やサービスに手を加えてみたり、さまざまな流通チャネルを試してみたり、仕事のやり方を変えてみたりと、あれこれ策を講じている。しかも、たいてい「きっとこうなるだろう」「自分はそう思う」といった具合に、直感や常識らしきものに従って行動している。

　さらにやっかいなことに、自分の判断を科学用語で味つけし、すでに証明されているといった幻想を生み出してしまう場合もある。彼ら彼女らが言うところの「実験」を、額面どおりに受け取らないほうがよい。なぜなら、調査としての厳密さに欠けるからだ。そこから派生した推測が間違っている可能性もある。最悪なのは、その過程で学べるものがほとんどないことだ。

　ある大手リテール銀行が顧客サービスの改善に取り組んだ例を紹介しよう。同行はそのためのプログラムに取り組み、それは科学的なものとして期待された。いくつかの支店を「実験室（ラボラトリー）」と呼び、この新しいアプローチは「実験」として知られることになった。しかし残念なことに、言葉とは裏腹に、その手法は厳密なものではなかった。

　この銀行は、さまざまなアイデアを試そうとして、これら実験室で一度にさまざまな改革に取り組んだ。そのため、改善の成果をもたらした要因が何かを特定するのは、まったく不可能ではないにしろ、困難になってしまった。実験群となった店舗と対照群である既存店舗を比較しなかったため、「実験室で確認された成果は改革の賜物である」と断言できる者はいなかった。

　経営陣は批判をかわそうと、一つの実験を試みた。それは、「ビデオを設置してテレビのニュースを流せば、顧客が感じる待ち時間を短縮できるかどうか」について調べるというものだった。ところが、実験群と対照群を見比べるのではなく、一つの実験店舗と一つの対照店舗を比較しただけだった。これでは、統計的に見て妥当な結論を出すにはおよそ十分とはいえない。

　実験店舗では、たしかに「待ち時間が短く感じられる」という結果が出たが、対照店舗では何の変更も加えていないにもかかわらず、顧客は待ち時間を以前に増して長く感じていた。このように混乱させるようなデータのせいで、結論には至らなかったが、この結果がそのまま経営陣に報告されることもなかった。

　ただし、こうなるとは限らない。そのための新しいソフトウエアが普及したおかげで、社内研修にある程度投資すれば、科学的に妥当性のある実験に基づいて、重要な意思決定を下せるようになった。