前述したように、理由が法的なものであれリスク管理の一環であれ、金融機関では性別などのセンシティブデータを使用しないのが一般的な慣行だ。しかし筆者らは、もし性別が含まれていたら何が起こりうるか、という問いを立てた。この概念に驚きを覚える人もいるかもしれないが、多くの国々（カナダやEU諸国など）では一般的な慣行として性別情報を収集し、さらにはそれをMLアルゴリズムにも使う（シンガポールなど）。
性別データを含めることで、差別は著しく減少する。その差は2.8倍にも上るのだ。MLアルゴリズムは性別データにアクセスできない場合、女性の債務不履行率を実際の数値よりも過大に予測する一方、男性に関しては正確に予測する。
MLアルゴリズムに性別データを加えると、この問題は是正され、債務不履行を起こす男性と女性に関する予測の精度の差は縮まる。加えて、性別データの使用によって収益性も平均8％増加する。
このケースにおける性別データの重要な特性は、MLアルゴリズムに予測能力をもたらすことである。
これを踏まえ、性別を除外した場合には3つのことが生じうる。
1. 性別に直接関連する予測情報の一部が失われる。
2. プロセスに入り込む可能性のある不公平な性差別を、効率的にコントロールまたは是正できない。
3. 関連情報の一部は、代理変数（別の変数と強く相関している変数）によって推定される。
つまり性別という一つの変数が削除されると、ほかの一連の変数が多角的に性別を推定しうる。
筆者らのデータにおいて、代理変数（職業や、年齢に対する就業経験の比率など）は性別を91％の精度で予測できることが明らかになった。したがって性別が削除されても、性別情報の大部分はアルゴリズムで代理変数を通じて推定される。
ところが、これらの代理変数は男性に有利に働く。MLアルゴリズムは実際の性別データにアクセスできない場合、男性に比べて女性の情報をあまり多く復元できず、女性に対する予測はその悪影響を被り、結果として差別が生じるのだ。
アマゾンが採用に使用したMLアルゴリズムでの差別も、代理変数は重要な要因であった。このアルゴリズムは性別データにはアクセスできなかったが、大学やクラブなど、さまざまな性別の代理変数にはアクセスできた。そして「女子チェスクラブのキャプテン」などの言葉を含む個人の履歴書を不利に扱い、女子大の卒業生を格下げした。
なぜなら、このアルゴリズムはソフトウェア・エンジニアリングを担当する現役社員らのサンプルで訓練され、結果的に彼らは主に男性で、女子クラブや女子大出身の男性はいないからだ。
これは性差別だけの問題ではない。筆者らの研究ではセンシティブな属性として性別に関心と焦点を向けているが、人種や年齢など、何であれ予測値を伴うセンシティブなデータがMLアルゴリズムから除外されると、似たような影響が生じうる。
なぜなら、MLアルゴリズムはデータにおける過去の偏りから学習してしまうからだ。センシティブデータのカテゴリーに、より少人数のマイノリティ集団（性別のカテゴリーにおけるノンバイナリーの人々など）が含まれる場合や、交差的差別（性別と人種、あるいは年齢と性的指向への差別など）のリスクがある場合、差別はいっそう助長されかねない。
筆者らの研究では、可能であればセンシティブな属性のデータにアクセスすることで、差別を大幅に減らすことができ、場合によっては収益性の向上にもつながることが示されている。
この原理を理解するために、筆者らが分析した融資の状況を振り返ってみよう。一般的に、女性は男性よりも優秀な借り手であり、就業経験がより多い人のほうが少ない人よりも優秀な借り手である。ただし女性は、平均的に就業経験がより少なく、（MLアルゴリズムの訓練データとなる）過去の借り手においては少数派だ。
この定型例から生成される仮定として、3年の就業経験を持つある女性は十分な信用に値し、別の男性はそうではないとしよう。アルゴリズムは性別データにアクセスすることで、この事実を正しく予測し、結果として3年の就業経験を持つ女性にローンを発行し、男性に対しては拒否する。
ところが、アルゴリズムが性別データにアクセスできない場合、3年の就業経験を持つ個人は男性である可能性が高いと学習する。結果的に、この個人を（男性であるがゆえに）望ましくない借り手であると予測し、3年の就業経験を持つすべての申請者に対してローンを拒否する。
これにより、利益になるローンの発行数が減る（ひいては収益性が悪化する）。女性へのローンを拒否する（結果的に差別を拡大する）という理由だけで、この現象が生じるのだ。
企業には何ができるか
性別を含めるだけで、女性に融資するローンの件数が増え、企業の収益性が向上するのは明らかだ。とはいえ、多くの企業はそれを単純に実行できるわけではない。それでも、今後数年のうちに施行される一部のAI規制法に、光明を見出すことができる。たとえばニューヨーク市の自動雇用判断ツールに関する法律（Automated Employment Decision Tools Law）や、EUのAI規制法案（Artificial Intelligence Act）である。
これらの法律は、データとモデルに関する厳しい禁止事項を設けることを避け、むしろリスクベースの監査と、アルゴリズムの結果に重点を置くことを選んでいると思われる。大半のアルゴリズムによるセンシティブデータの収集と使用を認める可能性が高いのだ。こうした結果重視型のAI規制は新しいものではなく、シンガポール金融管理局による、公正性、倫理、アカウンタビリティ、透明性の促進のための指針においても同様のガイドラインが提示されている。
このような状況の中、企業は今後、3通りの方法でMLによる意思決定に性別データを織り込むことができるかもしれない。
1. MLアルゴリズムを訓練する前に、データの前処理を行う（例：男性のサンプル数を減らすか、女性のサンプル数を増やす）ことで、より均衡の取れたデータでモデルを訓練できるようにする。
2. 性別をほかの変数で補完する（例：職業や、就業経験と子どもの人数の関係など）。
3. 性別を用いてモデルのハイパーパラメータ（モデルを学習させる前にあらかじめ設定しておくパラメータ）をチューニングしたのちに、モデルのパラメータ推定から性別を除外する。
これらのアプローチによって差別は著しく減少し、収益性への影響は軽微に留まることを筆者らは確認した。
1の方法で差別は4.5～24％減少し、その代償として全体的なローンの収益性は1.5～4.5％とわずかに低下した。2によって差別は約70％減少し、収益性は0.15％向上した。3では差別は37％減少し、代償として収益性は4.4％低下した（詳細は筆者らの論文を参照）。
もしこれらの方策に効果がないのであれば、場合により企業は決定権を単に人間に戻すほうがよいと気づくかもしれない。実際にアマゾンは、採用AIソフトウェアにおける差別の問題を検証後、そのようにした。
したがって筆者らが企業に推奨したいのは、この分野でガイドラインを策定している規制機関との対話で積極的な役割を果たし、関連する規制の範囲内で責任あるセンシティブデータの収集を検討することだ。そうすれば少なくとも、自社のMLアルゴリズムの結果に含まれる差別を測定でき、理想的にはセンシティブデータを用いて差別を減らすことができる。
企業によっては、MLアルゴリズムの初期訓練におけるセンシティブデータの使用を許可されても、個々の意思決定の段階ではそれらを除外するかもしれない。
センシティブデータをまったく使わないよりは、この妥協点のほうがよい。前述した方法は差別を減らすことにつながり、収益性への影響は小さく、場合によっては増収さえもたらすからだ。
責任あるセンシティブデータの収集と使用が可能であることを示すエビデンスが増えるにつれて、センシティブデータの使用を後押しする枠組みの登場が期待できるはずだ。
"Removing Demographic Data Can Make AI Discrimination Worse," HBR.org, March 06, 2023.
