人工知能と機械学習による「差別」リスク
採用面接の対象者を誰にするか、医療を誰に提供するか、あるいは誰に融資するかに関する決定は、かつては人間によって行われていたが、いまでは機械学習（ML）アルゴリズムによって行われるケースが増えている。ニューバンテージ・パートナーズの調査によれば、10社のうち8社が2023年に何らかのMLへの投資を計画している。これらの投資における最大の焦点は、データによる事業成長の促進だ。
データにはさまざまな形があるが、事業の成長が焦点となる場合、企業は通常、個人のデータに関心を向ける。そのデータは、顧客や従業員や見込み客を含め、
データはMLアルゴリズムに入力され、そのアルゴリズムがデータにおけるパターンを見つけたり、予測を生成したりする。それらの結果はビジネスの意思決定に用いられる。一般的には、経営努力を誰に向けて、または何に対して集中させるべきかを決めるために使われる。
MLアルゴリズムへの投資は増加の一途をたどり、ビジネスにおける効率性の向上を牽引し続けている。最近のマッキンゼー・アンド・カンパニーのリポートによれば、その伸び率は30％以上に及ぶという。その一方で、MLモデルと個人データの使用には一定のリスクも伴う。具体的には倫理面のリスクである。
世界経済フォーラムは、人工知能（AI）とMLの使用に伴うリスクの上位に失業、不平等、人間の依存性、セキュリティなどを挙げている。だが実際には、圧倒的に大きな倫理的リスクは、差別である。
最大のリスク
たしかに、企業による不当な差別は常に存在してきた。歴史的に不利な立場に置かれている集団に対する差別は、複数の差別禁止法の制定につながった。米国では1968年の公正住宅法や、1974年の信用機会平等法、欧州連合（EU）では男女均等待遇の実施に関する指令などがある。
融資の分野は特に差別的な待遇の土壌となっており、住宅ローンをめぐる差別は、人権問題の中でも最も議論を呼ぶテーマと見なされてきた。
従来、ローンの審査、大学の入学者選考、雇用など個人に関する重要な決定に際しては、差別的な判断を防ぐために、個人の人種や性別、年齢といったセンシティブなデータは除外されてきた。
それが差別禁止法に沿ったものであれ（米国の信用機会平等法に基づいて、住宅ローン以外の消費者ローンの申請から人種と性別のデータを除外するなど）、企業のリスク管理の慣行であれ、最終的な結果は同じだ。企業は、個人に影響が及ぶ決定を行うためにセンシティブなデータを入手したり使用したりすることはめったにない。決定を下すのがMLか人間の意思決定者かにかかわらず、である。
これは一見すると、理に適っている。個人のセンシティブなデータを除外すれば、その属性の集団を差別することはできない。採用面接の対象者を選ぶ際にこれがどのように機能するかを、まずは人間による選考の場合で考えてみよう。人事の専門家が、選考における差別を防ぐために、応募者の経歴を分析する前に履歴書から名前と性別を削除することになる。
次に、この同じデータ除外の慣行を、MLアルゴリズムによる選考の場合で考えてみよう。MLアルゴリズムに入力される前の訓練データから、名前と性別が取り除かれる。アルゴリズムはそのデータを用いて、期待される業務遂行能力などを含む複数のターゲット変数を予測し、面接の対象者を決める。
ところが、このデータ除外の慣行で人間の意思決定における差別は減少する一方で、MLによる意思決定に同じ慣行を適用すると、差別が生じる可能性があるのだ。これが特に顕著なのは、集団間に大きな不均衡が存在する場合である。
特定のビジネスプロセスの検討対象となる母集団がすでに偏っている場合（信用取引の申請と承認がこれに当てはまる）、人間の意思決定者の代わりにMLを使用するだけでは、問題を解決できない。
これが顕在化したのは2019年、アップルカードがMLアルゴリズムを構築する際に性別データを使用しなかったにもかかわらず、性別に基づく差別をしていると非難された時だ。性別データの除外は皮肉にも、顧客への不公平な対応（女性のほうが利用限度額が少ない可能性が発覚）の原因になったのである。
この現象は融資の分野に限らない。MLアルゴリズムの活用を目指したアマゾン・ドットコムの採用決定プロセスを考えてみよう。データサイエンティストのチームは面接対象者の選考プロセスの効率化を目指し、応募者の業務遂行能力を予測するために、履歴書のデータを用いてMLアルゴリズムを訓練した。このアルゴリズムは、人間による意思決定の場合と同じように差別を防ぐため、性別と名前が削除された現役社員らの履歴書（個人データ）で訓練された。
結果は、狙いとはまったく逆になった。女性は同等のスキルを持つ男性に比べ、
センシティブなデータを含めることの妥当性
筆者らは『マニュファクチャリング・アンド・サービシズ・オペレーションズ・マネジメント』誌に最近発表した研究の中で、ローンの審査にMLアルゴリズムを用いるフィンテックの金融機関について考察している。
この金融機関は、過去の借り手の個人データを用いてMLアルゴリズムを訓練し、あるローン申請者に融資をした場合の債務不履行の可能性に関する予測を生成する。法的管轄と自社のリスク管理の慣行に応じて、性別や人種といったセンシティブな属性データを収集する場合としない場合があり、そのデータをMLアルゴリズムの訓練に使用できる場合とできない場合がある。
なお、筆者らの研究は性別に焦点を当てているが、アルゴリズムによるほかの種類の差別について調査することの重要性を減じるものではない。また、本研究における性別は女性か男性のどちらかとして報告されているが、これはデータセットの制約によるものであり、性別はバイナリー、すなわち二者択一的ではないことを筆者らは認識している。
