最も顕著な例として、間違いのある「有毒」な訓練データを8％投入するだけで、AIの精度は実に75％も低下しうることが研究で示された。これは、ユーザーが訓練データに性差別的な志向や人種差別的な言葉を投入することで、対話型ユーザーインターフェースや大規模言語モデルの質を悪化させるのとあまり変わらない。
チャットGPTがしばしば「言語モデルである私の精度は、得る情報の精度によって決まります」と言うように、AIは学習するのと同じ速さと頻度で、学んだことを捨てなくてはならない。これは永続的ないたちごっこである。実際、過去の攻撃を防ぐAIの信頼性と精度は、将来の攻撃を予測する因子としては弱い場合が多い。
また、AIに対する信頼から、人々がAIを理解も監視もしないまま、望まないタスクをAIに任せるという結果につながりやすい。人々がそのAIについて説明することが不可能な場合はなおさらで、皮肉にも、これは最高水準の精度と往々にして両立してしまう。
人が時間の制約下にある場合に生じやすい、AIへの過度の信頼は十分に立証されており、しばしば人間側の責任の分散につながり、人々の不注意かつ無謀な振る舞いを増加させる。その結果、極めて重要な「人間と機械知能の協働」が向上するどころか、機械知能が人間の能力を低下させるという予期せぬ影響が生じる。
筆者が最新著書I, Human（未訳）の中で論じているように、私たちはみずからの知的停滞を正当化するためにAIの進歩を歓迎する、という一般的な傾向があるようだ。
サイバーセキュリティに関しても同様だ。私たちはみずからの不注意、または無謀な振る舞いから自身を守るために、テクノロジーの進歩を喜んで歓迎し、人間からAIに責任を転嫁して、みずからは責任から免れようとしている。
もちろん、これは企業にとって喜ばしい結果ではない。したがって人間の振る舞いを教育し、警戒し、訓練して管理する必要性は、これまでと同様かそれ以上に大きい。
組織にとって重要となるのは、絶え間なく変化するリスク環境に対する従業員の意識を高める努力を続けることだ。攻撃側と防御側の双方でAIの導入と普及が増えているため、リスク環境の複雑性と不確実性は高まる一方である。
リスクや脅威を完全になくすことは不可能かもしれない。だが、信頼の最も重要な側面は、私たちがAIと人間のどちらを信頼するかではなく、あるビジネス、ブランド、プラットフォームをほかよりも信頼するかどうかである。
そのために必要となるのは、自社を攻撃から守るために人間とAIのどちらに頼るかという二者択一ではない。脆弱性を他社よりも減らすために、技術革新と人間の専門知識の両方を活用できる文化である。
結局のところ、これはリーダーシップの問題に行き着く。技術面の適切な専門知識や能力だけでなく、安全性に関する適切な情報を組織の上層部、特に取締役会が把握していなくてはならない。
数十年前から研究で判明しているように、誠実で、リスクへの意識が高く、倫理的なリーダーが率いる組織は、安全性を重視する文化と雰囲気を生み出す傾向が高い。そうした環境でもリスクが生じる可能性が消えるわけではないが、少なくなる。
もちろん、そのような企業も自社の安全を守るためにAIを活用すると思われるが、従業員を教育して人間の習慣を改善する能力も備えているからこそ、攻撃や過失に対する脆弱性を減らすことができるのだ。
サイバーセキュリティが懸念となる、はるか前に英国文学者のサミュエル・ジョンソンが正しく指摘したように、「習慣の連鎖は自覚しにくいものだが、
"Human Error Drives Most Cyber Incidents. Could AI Help?" HBR.org., May 03, 2023.
