予測技術は急速な進化を遂げており、多くの企業がマーケティング活動などに利用している。企業や消費者が大きな恩恵を得られる一方、性的指向や離職意思など、他人にはあまり知られたくない情報が公になるリスクも孕んでいる。予測精度が高すぎることが引き起こす倫理的問題に対して、社会や企業はどのように向き合うべきなのか。
機械学習は、あなたについて多くのことを探り当てることができる。
最もセンシティブな情報についても例外ではない。たとえば、あなたの性的指向、妊娠しているか否か、仕事を辞めそうか、間もなく死亡する可能性が高いかまで予測可能だ。研究者はフェイスブックの「いいね！」から人種を予測でき、中国の役人は顔認識技術を使って少数民族ウイグル人を特定し追跡している。
さて、機械はあなたに関するこうした情報を、実際に「知っている」のだろうか。それとも、情報に基づいて推測をしているにすぎないのか。
あなたの知人なら誰であれ、あなたについて推測をすることはあるだろう。機械も同じことをする場合、その推測がきわめて鋭敏であることに、何らかの問題はあるだろうか。
いくつかのケースを考えてみよう。
アルゴリズムが人間に対してセンシティブな推測を行った事例として、米国で最も有名なのは、小売企業ターゲットによる妊娠者の予測であろう。2012年に『ニューヨーク・タイムズ』紙は、企業が自社データをどう活用できるかに関する記事の中で、こんなエピソードを紹介した。ある父親が10代の娘の妊娠を知った理由は、ターゲットが娘の妊娠を明白に予測して、ベビー用品のクーポンを送ったためだという。
もっとも、この話は真偽が疑わしくもある。たとえ本当に起きた出来事だとしても、同記事で詳報されているターゲット側のプロセスを考えると、クーポンの発送は予測分析によるものではなく、偶然である可能性が高い。
とはいえ、このような予測プロジェクトにはプライバシーを脅かす重大なリスクがある。企業のマーケティング部門による妊娠者の予測とはつまり、医学的にセンシティブかつ非自発的な情報を特定しているということだ。この種の情報は通常、適切に管理し保護する訓練を受けた医療関係者のみが扱うものである。
このような情報への不適切なアクセスは、個人の生活に大きな影響を及ぼしかねない。懸念を抱く市民の一人がネットに投稿したように、次のような事態も想像できる。もし妊娠した女性の「職が不安定で、まだ雇用主から障害保険（育児手当）の認定も受けていない時期に妊娠の事実が暴露されれば、出産に伴う費用（約2万ドル）と育児休暇中の障害者給付金（約1万～5万ドル）が危うくなりかねず、職そのものを失う可能性さえある」
ターゲットの事例はデータの取り扱いミスではなく、漏えいや盗用でもない。むしろ「新たなデータ」の生成といえる。当人の開示意思がない真実を、間接的に探り当てているわけだ。企業はこうした重大な新情報を――まるで無から生み出すかのように――既存の無害なデータから突きとめることができる。
では、皮肉なことに私たちは、予測モデルが有能すぎると不都合に直面するのだろうか。予測が誤っていれば損害が生じることはわかるが、「正しい」場合にも代償が生じるのだろうか。
