限られる実験の担い手

　アマゾン・ドットコム、アルファベット、メタ・プラットフォームズ、マイクロソフト、ネットフリックスなどの先進的テクノロジー企業は長年、オンライン実験によってイノベーションを加速させてきた。これらの企業に、新しいアイデアの迅速なテストと洗練化、プロダクト機能の最適化、ユーザー体験のパーソナライゼーション、競争優位性の維持を可能にしたのは、オンライン実験に他ならない。今日では実験ツールが広く普及し、低コストで利用できるようになったため、テクノロジー業界以外の企業も含め、ほとんどの企業がオンライン実験を行っている。

　しかしながら、多くの企業は、慎重に選択した一握りのプロジェクトにのみオンライン実験を用いている。テストを設計・実施・分析できる者が、データサイエンティスト以外にいないからである。これではオンライン実験のアプローチを拡大できないが、実は拡大こそが重要なのだ。

　マイクロソフトの研究から、多くのテストを行う企業やチームは、わずかなテストしか行わない企業やチームに比べて、高い業績を挙げることがわかっている（他の企業でも同様の結果が導き出されている）。その理由は2つある。一つは、アイデアのほとんどにポジティブな効果がなく、どのアイデアが成功するかを予想するのも難しいため、企業は大量のテストを行わなければならないからである。もう一つは、AI、特に生成AIの発展により、デジタルプロダクト体験の創造が容易かつ低コストになったため、企業は競争力を維持するために、実験の実施件数を大幅に増やして数百、あるいは数千もの実験を行わなければならないからだ。

　実験の拡大は、データサイエンティスト中心のアプローチと決別し、プロダクト、マーケティング、エンジニアリング、オペレーションの各部門の従業員全員（プロダクトマネジャー、ソフトウェアエンジニア、デザイナー、マーケティングマネジャー、検索エンジン最適化の専門家など）が実験を行えるようにエンパワーするアプローチへの移行を前提とする。しかし、これは難しい課題だ。

　筆者らは、エアビーアンドビー、リンクトイン、Eppo、ネットフリックス、オプティマイズリーなどの先進的組織との協働やコンサルティングの経験を持ち、それらに基づいて、企業の競争優位性の向上に実験を活用するためのロードマップを提供している。それは、（1）1年間に数百あるいは数千ものアイデアをテストできるセルフサービスモデルへ移行すること、そして、（2）個々の実験からの学びと実験総体からの学びの両者によって仮説駆動型イノベーションに注力し、顧客のフィードバックに基づく戦略的選択を推進することである。

　この2つの取り組みを並行して進めることで、組織は競合企業よりも素早くイノベーションと学習を行って、AI時代に成功を収める体制を整えることができる（本稿で表明された意見は筆者らのものであり、言及された企業の意見を表すものではない）。

現在の状況

　実験の基本構造は単純である。A/Bテストの実施には、主に3つの段階がある。（1）現状とは異なるチャレンジャー（あるいはバリアント）の作成、（2）ターゲットとする母集団（テストの対象となる顧客の部分集合）の定義、（3）結果の評価に使用する指標（プロダクトエンゲージメントやコンバージョン率など）の選択である。

　具体例を挙げよう。筆者らの一人であるティングレーが、2019年後半にネットフリックスの実験プラットフォームチームを率いている時、ネットフリックスはあるテストを実施した。ユーザーインターフェースにTOP10リストの列（チャレンジャー）を追加して、会員（ターゲットとする母集団）に対して自国で最も人気のある映画やテレビ番組を表示した場合、ネットフリックス上での視聴エンゲージメント（結果の指標）によって測定されるユーザー体験が向上するかどうかのテストである。