AIにまつわる倫理リスク
2019年に『サイエンス』誌に掲載されたある論文によれば、多くの医療システムでフォローアップ治療の対象となる高リスク患者の特定に使用されていたオプタムの人工知能（AI）が、黒人よりも白人の患者に配慮することを医療従事者に促していたという。
このAIが特定した対象者のうち、黒人の患者はわずか18％で、白人の患者は82％だった。研究者らが実際に最も重篤だった患者のデータを調査して計算してみると、本来の数字はそれぞれ46％と53％になるはずだった。この影響は広範囲に及ぶものだ。彼らの推計によると、このAIは少なくとも1億人に適用されていたのである。
オプタムのアルゴリズム開発に関与したデータサイエンティストや経営幹部に、黒人を差別する意図はまったくなかったが、彼らはおそろしくありふれた罠にはまった。すなわち、歴史的差別が織り込まれたデータをAIの訓練に用いたために、バイアスのかかった出力結果が生成されてしまったのだ。この特定のケースで使用されたデータは、黒人が受け取っている医療リソースが少ないことを示しており、そのためにアルゴリズムは「黒人の支援ニーズは少ない」と誤って推測したのである。
