問い返すと言葉巧みに誘導する、AIの「説得爆撃」に注意せよ
HBR Staff/Xavier Bonghi/Getty Images
サマリー：LLMは人間を支える中立的な協働者ではなく、誤った出力でも正しいと信じ込ませる「強力な説得者」となりうる。最新の研究によれば、人間による検証というAI活用の前提には、重大な過信が潜んでいる。検証しようとするほどAIの説得術がエスカレートする「説得爆撃」のリスクを認識すべきだ。本稿では、ボストン コンサルティング グループとの共同研究に基づき、AIがレトリックで人間の判断を支配する実態を解明し、エージェント時代に求められる新たな組織防衛策を紹介する。

人間はAIに操られないと過信している

　次のようなお馴染みの売り文句がある。人間の知能をAIで拡張し、AIの知能を人間が拡張することによって、企業は規範を維持しながら生産性を飛躍的に高めることが可能になる。LLM（大規模言語モデル）は間違ったり、ハルシネーション（幻覚）を起こしたりする可能性もあるが、AIの出力を検証する十分に訓練された人間の介在（ヒューマン・イン・ザ・ループ）によって、間違いのリスクを相殺することができる──。

　だが最近のある研究によれば、私たちはLLM生成コンテンツをその場で検証するみずからの能力を過大評価し、自分がいかにLLMによって操られやすいかを過小評価している可能性がある。

　スティーブン・ランダッツォ、アクシタ・ジョシ、キャサリン C. ケロッグ、ヒラ・リフシッツ、ファブリツィオ・デラクア、カリム R. ラカーニの研究チームは、ボストン コンサルティング グループ（BCG）のコンサルタント数百人が制御された環境でAIとどのようにやり取りしたかを調べた。その結果、LLMは集中的なレトリック戦術を用いて人間のユーザーを圧倒し、AIの出力は正しいと──たとえ正しくない場合でも──納得させようとしたことが明らかになった。

　AIは中立的な協働者ではなく、ユーザーに自分の結論を受け入れさせるために「説得爆撃」を行う「強力な説得者」である、と研究者らは認識した。

　筆者は研究者らに連絡を取り、彼らの発見について、およびそれが企業にとって何を意味しうるのかについて解説してもらった。企業は実際には安全が確保されないガードレールを設け、重要な判断を意図せずAIに委ねてしまっている可能性がある──そう彼らは警告した（以下は筆者らの対話に一部編集を加えたもの）。

HBR：人々がAIと協働する際に直面する共通の問題は、3つあります。AIがどのように決定を下したのかわからないこと（不透明性）、人間の介在者がAIに過度に依存して「居眠り運転」に陥ること（慢心）、そしてAIが間違いを犯すこと（正確性）です。あなた方は第4の障壁として、「説得爆撃」を発見したと主張されています。これは何なのでしょうか。なぜ懸念すべきなのですか。

リフシッツ：説得爆撃は、生成AIを注意深く使うユーザーが出力を検証する際に生じます。プロフェッショナルがファクトチェックを行い、生成AIの間違いの可能性を明らかにした時、モデルは元の回答を擁護するために、複数の説得術による「爆撃」で応じることがわかりました。我々が発見したより深刻かつ懸念すべき問題は、LLMが説得志向のロジックで設計されていることです。

ジョシ：若い同僚と仕事をしていて、その人の作業にミスを見つけたと想像してみてください。作業結果を再度確認するよう求めれば、同僚は指摘されたミスを修正することで応じますね。

　生成AIも当然、同じように応じるものと思うでしょう。ところが、戦略コンサルタントたちを対象とする我々の研究では、ユーザーがモデルの生成結果を検証したり疑ったりしても、モデルは再考しないことが多く、むしろ自分の主張をさらに強めたのです。

　それが説得爆撃です。