AIで成果を出せる人と、出せない人の決定的な違い
Yaorusheng/Getty Images
サマリー：企業はAI導入を急ぐ一方、その効果をどう測定すべきかに苦慮している。使用頻度やプロンプト数では、高度な活用の実態を評価できないからだ。KPMGとテキサス大学は、2500人、140万件超の生成AI利用を分析し、成果につながる活用法を研究した。モデルの戦略的切り替えや構造化された推論など、優秀なユーザーに共通する行動指標を特定している。本稿では、AIを単なる効率化の道具ではなく、真の協働パートナーとして活用するための具体的な枠組みを紹介する。

AIの効果的な活用を定義する

　企業は、AIツールを従業員の手元に置くために迅速に対応してきた。だが、それだけ投資したにもかかわらず、多くのリーダーは現状の評価に苦しんでいる。AIは従業員の仕事の質やスピード、高い目標に挑戦する意欲を、測定できるほど向上させているのか。プロフェッショナルの判断力を強化しているのか。どのような人がAIによって成果を上げているのか、それを可能にしているものは何か。そもそも、成果の上がる使い方とはどのようなものなのか。

　従業員の成果を定性的に把握するツールや枠組みは、まだ広く普及していない。そのため、ほとんどの企業は、AIにプラスの効果があるかどうかを示す明確な行動ベースの指標を持っていない。そうした指標がないと、リーダーは最も数えやすいものを基準にしてしまう。たとえば、使用頻度、作業時間、プロンプト数、トークンの使用量、自己評価によるスキルレベルなどを、進歩の指標の代わりにする。だが、これらは活動の測定であって、AIの高度な活用や効果を測定しているわけではない。

　当然ながら、パフォーマンスの向上にはばらつきがある。リーダーは、従業員がAIを使ってパフォーマンスを向上させる方法について、具体的な指針を提供することに苦戦している。適切な測定基準がなければ、どの行動を強化し、どれを教え、どれを脱却すべきかを見極めることはできない。

　日常的なAI使用と、人間とAIの高度な協働を分ける要因を明らかにするために、KPMGはテキサス大学オースティン校と提携して、研究に取り組んだ。KPMGまたはテキサス大学に所属する筆者らは、KPMGの従業員約2500人が8カ月間で生成した140万件以上のAIプロンプトと回答を共同で分析した。そして、この分析を通して、「高度な活用」の定義を整理した。それは、プロンプトエンジニアリングを土台としながら、明確なプロンプトだけでなく、意図的に戦略を適用することを重視した活用方法を指している。また、モデルを切り替えて使うことや、整理された形で最初のプロンプトを書くことなど、ハイレベルな活用を予測する、低コストで観察可能な指標も発見した。これらの知見は、KPMGの人材・学習・パフォーマンスシステムに取り入れられている。そして、従業員のより高度なAI活用を促進・測定しようとする、すべての企業が利用できる枠組みの提供につながる。

優秀なAIユーザーはどこが違うのか

　本プロジェクトの開始時点で、KPMGはすでにAI導入の成熟した段階に入っていた。従業員の約90％が普段からAIを使用し、アクセスするツールもますます増えていた。だが使用頻度は測定できても、効果的または高度な活用とは実際にどのようなものかという明確な定義がなく、測定方法も存在しなかった。それが問題だった。そこが明確にならないと、同社が導入期の段階を超えることは難しかった。もし「優れた」活用を定義して測定できれば、高度で効果の高いAI活用を、社内全体に意識的に促進できると、筆者らは考えた。

　本研究では、さまざまな職能、役職、経験レベルのプロフェッショナルの習慣を分析した。前述のように、筆者らは8カ月間にわたって、従業員2500人が生成した合計140万件のプロンプトと回答すべてをアーカイブ化した。そして、この規模と期間のデータセットのおかげで、ある一日の従業員のAI使用を切り取るだけでなく、問題の設定、推論の導き方、アウトプットの評価、さまざまな業務でのAI活用のパターンが、時間の経過につれて、どのように進化し分岐するかを観察できた。

　このデータを分析するために、筆者らはオープンAIの「思考モデル」の一つであるチャットGPTモデルo1に、プロンプトと回答の両方を含めた個々の対話を評価するよう求めた。そして、ユースケースの種類、プロンプトエンジニアリング戦略、その他のAI使用の行動尺度など、何らかの特徴が見られるかどうかを判定させた。膨大な計算時間を要したこの分析によって、50以上の変数が生成され、筆者らはそれをさらに精緻化した。

　こうした指標を入手して、筆者らは次の問いを立てた。どうすれば、この指標を要約して、人々をより効果的な活用に導けるだろうか。また、本研究のような高コストの計算処理をしなくても、スーパーユーザーを特定できるだろうか。その結果、次のことが明らかになった。

高度な活用を分析する

　社内で最も高度な活用をするユーザーを特定すると、役割や勤続年数に大きなばらつきがあることがわかった。だが、明らかな共通点も浮かび上がってきた。高度なユーザー全員に共通していると思われる、4つの特徴的な行動パターンがある。

・AIを活用することに意欲的に取り組んでいる。高度なAI活用は、使用量だけではなく、時間をかけた行動の積み重ねから生じる。優秀なユーザーは、LLMとやり取りする時間が長く、回数も多い傾向があった。また初めに書くプロンプトが長く複雑であり、タスクに応じてモデルやツールを意識的に切り替え、AIの使用頻度が比較的高かった。