奨励金計算プログラムが、各営業担当者の受け取る金額を推測する場合、その推測額はほぼ信頼できる。また、営業マネジャーが生成AIシステムを使ってミーティングの要約を作成する場合も、その内容はよい叩き台になる可能性が高い。これらは決定の重要度が中程度で、モデルの信頼性が高い場合だ。

　では、意思決定の重要度がさらに高かったり、モデルの信頼性が低かったりする場合はどうか。

　あるAIベースのモデルは、営業職の求人について、リンクトインから採用候補者をピックアップして、そのプロフィールを採点する。このモデルのインサイトは有用だが、信頼性は中程度だ。リンクトインのプロフィールは本人が作成しているため、バイアスが入っていて完成度が低いと考えられるからである。

　AIベースのシステムが、ある顧客に対する営業アプローチを助言する場合、その助言を実行に移す前に、十分な精査と監督の下、採用するか、退けるか、修正するかを決める必要がある。こうしたモデルの基礎を成すデータは完全ではない上に、たいてい過去のデータをもとにしているからだ。

　さらに複雑な例を考えてみよう。あるAIモデルが、営業チームの規模や組織構造について勧告するとしよう。これは恒久的なインパクトをもたらし、すぐに元に戻すのは難しい。このようなAIモデルのインプット（顧客になる可能性の予測など）は不正確だ。AIモデルが示す未来のシナリオも、不確実である。決定の重要度は高く、モデルの信頼性はまずまずだが完璧ではない。そのようなモデルは、インサイトをもたらしてくれるが、監督と評価が重要になる。

データ主導によるインサイトの信頼性を評価する

　データ主導のインサイトの信頼性を評価する戦略は、いくつかある。それは、そのようなインサイトにどのくらい注意を払うべきかに大きな影響を与える。

嗅覚で検査をする

　そのインサイトは合理的に見えるか。自分の経験や外部のベンチマークを使って、そのインサイトが賢明なものかどうか確認しよう。たとえば、データとAIモデルに基づく分析が、営業チームの規模を現在の2倍の300人にするよう提案している場合、同規模の競合他社の営業チームもそのくらいの規模か調べることで、合理性を評価できる。

推奨事項にきちんとした裏付けがあるか調べる

　AIモデルがクラウドのクロスセルを推奨する場合、その理由が説明されていると説得力が増す。たとえば、「同業界、同規模、そして同等の状況にある企業は、このソリューションを頻繁に採用しているため」といった説明だ。また、営業チームの規模と体制に関するAIモデルの推奨であれば、プロジェクトチームがAIの提案を精査していると明確にすること。そして、新しい規模と組織構造が特定の顧客グループの対応率にどのような影響を与えるかや、その結果予想される売上高などの詳細情報を添えてAIの勧告を支持することを明らかにすれば、その推奨の信頼性が高まるだろう。

データの質を把握する

　AIモデルに使われたデータは相応の関連性があり、正確で、完全で、タイムリーだろうか。リンクトインのプロフィールに基づいて、採用すべき人材が推奨されている場合、意図的か否かにかかわらず、そのデータが不正確または不完全である可能性があることは、誰でも知っているだろう。

　ある営業担当者が1日に複数の顧客を訪問する時、アルゴリズムがそのルートを計画するような場合は、基礎となるデータ（GPS座標、交通状況、顧客との約束の時間など）は正確かつ最新だろう。データがタイムリーかどうかは、重要なポイントだ。データがおおむね過去のものである場合、その推奨が将来も当てはまるかどうか見極める必要がある。タイムリーな情報源としては、CRM（顧客関係管理）データ、顧客との対話データ、マーケットインテリジェンス、ソーシャルメディアモニタリングなどがある。一方、適時性の低い情報源としては、顧客のポテンシャルに関する市場調査や1年前の競争情報などがある。

モデルの質についてインサイトを得る

　これは困難かもしれないが、AIモデルの質を評価することもできる。極めて複雑な状況では、同じデータを与えられても、人（モデラー）によって異なるアウトプットを示すことがある。モデラーの業界や営業職での経験や知識が、モデルの設計や成果に大きな影響を与える。モデル構築は一種のアートなのだ。

　データに基づく決定で重要なのは、データやモデルを使って、過去の自分の決定を確認することだけではない。自分の考えをサポートするデータばかり選んで、そうではない情報を無視する態度は逆効果をもたらす。

　バイアスがかかった決定を下してしまうリスクを低下させるためには、データ主導のアプローチを活用する能力を磨くと同時に、直感とは相容れないインサイトの価値を認めることが重要になる。

　営業にAIベースのシステムを導入すると、2年後には推奨事項の採用率が40％から80％に上昇することが多い。モデルが改良されると、ユーザーももっとうまく使いこなせるようになる。急速に変化するデジタル時代においては、AIモデルのインサイトと評価を慎重に組み合わせると、どちらか一方だけを用いるよりも優れた結果がもたらされるだろう。


"When Analytics Should Drive Sales Decisions - and When They Shouldn't," HBR.org, December 21, 2023.