AIによる意思決定に説明責任を負う従業員は、どのような反応を示しているか
Illustration by Vasya Kolotusha
サマリー：企業がAIによる意思決定の導入を進める中、従業員はその判断の説明や正当化を求められている。研究によれば、従業員は自身の専門性や信用を守るため、AIの判断を再解釈し、時にはAIの関与を伏せることもある。こうした現場の対応は、AIの受容や組織の意思決定を大きく左右する。本稿では、AIの決定に関する説明責任に直面する従業員の多様な反応を明らかにし、企業がこのリスクを克服して効果的にAIを活用するための教訓を紹介する。

AIによる意思決定について人間が説明を求められた時

　企業は、かつては人間の専門家の領域とされていた意思決定に、急速にAIを組み込んでいる。その範囲は、人材採用や融資、医療、行政など多岐にわたる。AIによる決定は従業員自身が下したものではなく、その決定に至った理由を従業員が十分に理解していないことも多い中で、従業員はその決定について説明し、正当性を示し、擁護することを求められる場合も多い。だが、こうした状況が従業員レベルでどのような影響をもたらすかという点は、これまで見過ごされがちだった。

　筆者らの研究では、AI導入に関して、これまで十分に検討されてこなかった側面に焦点を当てた。銀行業、人材採用、バイオテクノロジーの各分野で複数年にわたるフィールド調査を行った結果、従業員がAIのアウトプットをそのまま顧客やマネジャー、同僚と共有することは、ほとんどないことがわかった。むしろ、みずからのプロフェッショナルとしての役割と信用を守るために、AIのアウトプットを再解釈したり再構築したりし、時にはAIの関与を伏せることさえある。従業員の反応は、誰に対して説明責任を負っているか、また誰を説得しなければならないかによって、大きく左右される。

　こうした反応を理解することは極めて重要だ。なぜなら、従業員の反応によって、AIの決定が組織内で受け入れられるか、反論されるか、ひそかに軽視されるかが変わってくるからである。本研究は、AIの決定について説明を求められた際の従業員のさまざまな反応を明らかにし、企業がこのリスクを乗り切るためのよりよい方法を示している。

専門家がAIの関与を伏せる場合

　筆者らが6年間（2019～2025年）にわたって追跡調査したあるドイツの大手銀行では、融資担当者は、融資の承認判断を完全に自動化する予測型AIシステムに直面していた。融資担当者はAIの決定を覆すことはできない一方で、AIによる決定を顧客に伝え、その根拠を説明する責任は引き続き負っていた。

　AIは担当者を支援するために、簡単な技術的説明を生成していた。そこには主に、融資申請を却下する際に適用されたルールが数項目、箇条書きで示されていた。だがその説明は専門的基準から大きく逸脱していたため、多くの融資担当者が理解に苦しんでいた。たとえば、顧客に返済中のローンがなく、安定した収入があっても、システムは「財務状況が不安定」と判定することがあるのだ。

　融資担当者は、自分たちも困惑していると率直に認めれば、顧客から期待される専門家としての立場が損なわれかねないと考え、その困惑を表に出すことをためらった。その代わり、融資担当者はAIの関与を伏せ、実際にはAIの判断根拠ではない、自分たちが使い慣れた専門的な基準や用語を用いて、融資の判断を説明しようとした。

　たとえば、却下の理由として、クレジットヒストリー（過去の利用履歴や返済実績）の問題や、インフレに伴う所得制限の厳格化など、金融業界で一般的な専門的基準を挙げた。たとえそれらが実際のAIの判断基準を反映したものではなかった場合でも、同様に説明した。そうすることで融資担当者は、顧客にみずからの説明を妥当なものとして受け止めてもらい、引き続き信頼してもらうことを期待した。

　だが、AIの関与を明かさないことには代償が伴った。筆者らの研究によれば、融資担当者の説明が顧客の財務状況と食い違うと、多くの場合、顧客は困惑した状態で融資相談の場を去った。何人かの顧客に話を聞いたところ、追加の質問をした際の担当者の戸惑いや自信のなさに気づいており、担当者が本当にその決定を理解しているのか、さらには、このサービスの担当者としてふさわしい人物なのかについても疑問を抱いていた。その結果、一部の顧客は他行に乗り換えた。AIの存在を伏せることは、決定に対する信頼を高めるどころか、企業、従業員、そして顧客の間に溝を生み出していた。

専門家がAIを積極的に受け入れる場合

　筆者らが2018年から2022年まで調査したグローバル消費財企業では、まったく違う反応が見られた。同社の社内採用担当者は、新しいAIベースの選考ツールの導入を積極的に受け入れた。そのツールは、過去の従業員の性格や成績に関するデータからパターンを特定して、それをもとに採用候補者の適性を予測するものだった。

　融資担当者のケースとは違って、ほとんどの採用担当者はAIツールを脅威とは見なさなかった。むしろ、彼らの選考結果をしばしば疑問視する採用担当マネジャーに対して、みずからの信用を高める機会になると考えていた。