AIの精度と透明性は両立する
PM Images/Getty Images
サマリー：AI（人工知能）が有するアルゴリズムによる決定は説明が難しく、不透明性がリスクとなる。しかし、アルゴリズムの精度が高い時、必ずしも企業が説明できない状態に陥るわけではない。研究によると、決定理由が説明可...　もっと見る能で単純なアルゴリズムでも、高い精度が得られるケースがある。アルゴリズム決定の背景が複雑なブラックボックス型と、単純なホワイトボックス型のどちらを使用するかについて、企業は慎重に判断すべきだ。　閉じる

精度が高いアルゴリズムによる決定は、その理由が説明できないものなのか

　アップルのクレジットカード事業は2019年、ある女性の利用限度額を夫の20分の1に設定し、非難を浴びた。女性がクレームを入れると、アップルの担当者はこう答えたと報じられている。「理由はわかりませんが、当社は本当に差別などしていません。それは単に、アルゴリズムによるものです」

　今日、このような不透明で説明のつかないアルゴリズムによる決定がますます増えており、似たような問題のある結果をしばしば引き起こしている。与信承認、カスタマイズ型の製品やプロモーションの提案、履歴書の閲覧、インフラ維持管理のための障害検出などを行う自動化ツールに、さまざまな業界の組織が投資している。それらのツールによる決定は、どのように行われたかがほとんど理解されないまま実行に移される場合が多い。

　このやり方は現実的なリスクを生む。説明可能性の欠如は、AI（人工知能）に関して企業幹部らが抱く最も一般的な懸念であると同時に、AI製品に対するユーザーの（安全は言うまでもなく）信頼と使用意向に大きな影響を及ぼすことが、研究で示されている。

　だがマイナス面があるにもかかわらず、多くの組織はこれらのシステムに投資し続けている。なぜなら、意思決定者は、単純で説明可能なアルゴリズムよりも、説明不可能なアルゴリズムのほうが本質的に優れていると考えているからだ。

　この認識は、精度と説明可能性のトレードオフとして知られる。技術リーダーは歴史的に、アルゴリズムは人間がよりよく理解できるものほど精度が劣ると考えてきた。

ホワイトボックス対ブラックボックス

　具体的には、データサイエンティストはAIモデルを、いわゆるブラックボックス型とホワイトボックス型に区別する。

　ホワイトボックス型は通常、少数の単純なルールのみを伴い、ツリー型でデータを分析する決定木が一つで、パラメータの数も限られた単純な線形モデルなどで示される。ルールやパラメータの数が少ないため、アルゴリズムの背後にあるプロセスはたいてい人間による理解が可能だ。

　対照的にブラックボックス型は、数百から数千もの決定木（「ランダムフォレスト」と呼ばれる）や、数十億のパラメータを用いて（深層学習など）、アウトプットを提供する。

　認知負荷理論によれば、人間に理解できるモデルは最大7つ程度のルールやノードしかないものに限られるため、ブラックボックス型のシステムによる決定を人間の観察者が説明するのは機能的に不可能である。

　だが、ブラックボックス型の複雑さは、必然的に精度の高さにつながるのだろうか。

「精度と説明可能性のトレードオフ」への反証

　筆者らはこの疑問を検証するために、価格決定、医療診断、倒産予測、購買行動など幅広い分野にわたる約100件の代表的なデータセット（ベンチマーク分類データセットと呼ばれる）における、ブラックボックスモデルとホワイトボックスモデルのパフォーマンスを厳密かつ大規模に分析した。

　すると、データセットの約70％において、ブラックボックスモデルとホワイトボックスモデルは同程度に正確な結果を生み出した。言い換えれば、精度と説明可能性のトレードオフがないケースのほうが多かった。精度を犠牲にせずに、説明可能性が高いモデルを使うことはできるのだ。

　この結果は、説明可能なAIモデルの可能性を検証した最近のほかの研究とも整合性がある。同時に、さまざまな業界、地域、用途でケーススタディおよび企業とのプロジェクトに取り組んできた筆者ら自身の経験とも一致している。

　たとえば、再犯の可能性を予測するために米国の司法制度で広く使われている、複雑なブラックボックス型ツールのコンパス（COMPAS）は、年齢と犯罪歴のみを参照する単純な予測モデルと同程度の精度しかないことが繰り返し実証されている。

　同様に、ある研究チームがローンの債務不履行の可能性を予測するために開発したモデルは、一般の銀行顧客にさえ容易に理解できるほど単純なものだった。しかしそのモデルは、同じ目的のブラックボックスモデルに比べて精度の低さが1％未満（誤差の範囲内の違い）でしかないことを研究者らは発見した。

　当然ながら、ブラックボックスモデルがやはり有益な場合もある。しかしマイナス面を考えれば、企業はブラックボックス型のアプローチを導入する前に、いくつかの段階を踏むべきであることを筆者らの研究は示している。

1. ホワイトボックス型をデフォルトにする

　経験則からいえば、ブラックボックスモデルが必要か否かを検証するために、ホワイトボックスモデルをベンチマークとして用いるべきである。組織はモデルのタイプを選ぶ前に両方を試し、もしパフォーマンスの差がわずかであれば、ホワイトボックス型を選ぶべきだ。

2. データを知る

　ブラックボックスモデルが必要か否かを決定づける主な要因の一つは、使われるデータである。

　第1に、決定はデータの品質に左右される。データにノイズが多い（間違った情報や意味のない情報が多く含まれている）場合、比較的単純なホワイトボックスモデルが効果的になる傾向がある。

　一例として、筆者らが話を聞いたモルガン・スタンレーのアナリストらによれば、ノイズを大量に含む同社の金融データセットに関しては、単純な取引ルール、たとえば「企業が割安で、最近アンダーパフォームし、組織の規模が大きすぎなければ、その株は買う」などが効果的であったという。

　第2に、データの種類も決定に影響する。画像や音声、動画などマルチメディアデータを用いるアプリケーションでは、ブラックボックスモデルのほうが優れたパフォーマンスを発揮するかもしれない。

　筆者らが協働したある企業は、空港のスタッフ向けに、航空貨物の画像に基づいて保安リスクを予測できるAIモデルを開発していた。その中でブラックボックスモデルは、同じ目的のホワイトボックスモデルに比べ、保安上の脅威となりうる危険度の高い貨物を検出する可能性が高いことが判明した。

　このブラックボックス型ツールのおかげで、検査チームは危険度の高い貨物により多くの注意を割くことで何千時間も節約できるようになり、組織の保安面の成果を大幅に向上させた。

　これと同程度に複雑なアプリケーションの場合は、ブラックボックス型のアプローチのほうが有益か、あるいは実現可能な唯一の選択肢になる可能性がある。たとえばカメラの顔検出、自律走行車の視覚システム、顔認識、画像ベースの医療診断機器、違法・有害コンテンツの検出、そして直近ではチャットGPTやDALL-E（ダリ）といった生成AIなどだ。