新たな施策の勝算を、直感や前提や経験則で正当化していないだろうか。そして、成果が上がらなかった原因を理解できずに終わっていないだろうか。こうした事態を減らすには、事前に「実験による評価」をすることが望ましい。本記事ではビジネス実験における7つの基本的な原則を示す。
昨今普及しつつある実験評価という手法は、組織の意思決定を変革する可能性を秘めている。経済学者は「フィールド実験」とも呼ぶが、新たな洞察を得るためのこの手法は、製品設計から人材マネジメント、公共政策まで幅広い分野に適用できる。ランダム化評価に注力する企業は、まったく新しい優位性を得られるかもしれない。
とはいえ、企業（特にテクノロジー系）でこうした実験の取り組みが急増してはいるものの、その方法が誤っているケースが非常に多く見られる。計画が適切であっても、実施の段階で回避できるはずのミスがしばしば生じる。その結果、多くの組織は科学的実験がもたらす本来のメリットを得られずに終わってしまう。
本記事では、実験を成功させるための7つのステップを紹介したい。これらの原則の根拠となっているのは、フィールド実験に関する学術研究に加え、我々がイェルプ（Yelp）からイギリス政府に至るさまざまな組織と協働してきた経験である。
1．問いの焦点を絞る
実験すべきテーマを立てる際、つい「広告は費用対効果に見合っているか」「年間ボーナスを減らす（または増やす）べきか」というように考えたくなる。たしかに、まず広範な目標をふまえるのは悪いことではない。しかし、その答えがたった1つの実験で導かれると思うのは間違いである。このような大局的な問いには、複数の要素が関連するからだ。
「広告は費用対効果に見合うか」という問いを例に取ってみよう。それはどんな形式の広告で、対象製品はどれか。どれほどの期間、どの媒体に展開するのか。設定する問いは検証可能でなくてはならず、的を絞って明確に定義する必要がある。たとえば、「グーグルのアドワーズで自社ブランドを宣伝したら、月間売上高はどれだけ増加するか」といったものだ。これは実験によって答えが得られる実証的な問いであり、最終的に解明したい問題（広告の費用対効果）へとつながっていく。
実際にイーベイの研究者らは、こうした実験で次のような事実を発見した。グーグルの広告サービスを活用したイーベイのブランド広告戦略は、購買顧客のサイト訪問率に影響を及ぼさなかったという（英語論文）。
2．変更は明白な形で試す
企業は、何が最も有効なのかを見出せない時に実験を行う。そんな不透明な状況下では、物事を混乱させないよう取り組みを小さく始めたほうが無難だと考えがちだ。しかしここでの目的は、試みようとしている施策、つまり新しい変更が顧客にどう効果を及ぼすのかを確かめることだ。そのためには、変更を十分に明白な形で行うことが不可欠だ。
たとえばある食料品店が、主な仕入れ先が地元の農家であることを顧客に伝えるために、商品にラベルを貼ることを検討しているとしよう。ラベルはどのくらいの大きさで、どこに貼ればいいだろうか。
この場合、大きなラベルをパッケージの前面に貼ることをお勧めしたい。ラベルが小さかったり、パッケージの裏面に貼ったりして、効果が見られなかったら（小さな変更にはよくあることだが）どうなるか。単に顧客がラベルを見落としたのか（ラベルが小さすぎた）、それとも仕入れ先など気にとめないのか（この場合、ラベルの効果はない）。それが判断できず、店のマネジャーは途方に暮れるだろう。
最初に変更を目立つ形で試すことで、顧客が地元産にこだわっているかどうかを把握できるのだ。パッケージの前面に大きなラベルを貼っても効果がなければ、店はその戦略を諦める以外にない。反対に手応えがあれば、望ましい形状にラベルを順次改良すればよいのだ。
3．必要となるデータを決める
試したい施策を決めたら、参考にするデータを選ばなければならない。施策に関連するすべての内部データをリストアップし、それらをいつ測定するかも記入する。リストには、施策によって変えたいこと、変えたくないこと両方に関するデータを含めるとよい。想定外の結果に備えるためだ。新たな視点を与えてくれそうな外部データの情報源についても検討しよう。
たとえば化粧品の新商品発売にあたり、どんなパッケージが高い顧客ロイヤルティと顧客満足につながるかを知るために、複数の地域でランダム化比較試験を実施するとしよう。リピート注文率や、ヘルプセンターへの顧客のフィードバックといった内部データの測定のみならず、アマゾンのカスタマーレビューや、州によって異なる顧客の特徴といった外部データも調べるとよい。
