学業成績の判定にＡＩが使われたらどうなるか国際バカロレア機構の事例から考える | テクノロジー

どんな教訓が得られるか

　今回の出来事からは、主に次のような教訓が得られる。

　高校の成績は、生徒の12年間に及ぶ学業の証だ。どんな組織であれ、この種の重要かつデリケートな結果を導き出すためにＡＩを使おうと決めたのであれば、しっかり明確にしておくべきことがある。その結果はどのように生成されたのか。そして、それらが異常または予想外と思われる場合に、どのように異議を唱えることが可能か、である。

　はたから見れば、IBOは単にＩＢのシステムにＡＩを組み込んで試験の代替とし、残りの部分――特に不服申し立てのプロセス――については、以前と同じように機能するものと想定していたように見える。

　では、IBOは不服申し立てのプロセスをどのように策定すべきだったのか。

　まず、採点の全体的なプロセス、そして肝心の不服申し立てプロセスを、簡単に説明できるものにして、手順をどう踏んでいけばよいか理解できるようにすべきである。

　ただしこれは、昨今の規制当局が「説明可能なＡＩ」の必要性を論じる際に言うような、ＡＩの「ブラックボックス」を明らかにするということではない。ＡＩに使われるプログラミングを理解するには通常、高度の技術的知識を要するため、ブラックボックスを説明して理解させるのはほぼ不可能な場合が多いだろう。

　それよりも、成績の判定にはどの情報が使われるのか、そして不服申し立てのプロセスにはどんな手順があるのかを、関係者に確実に理解してもらうということだ。

　したがってIBOは、次のような措置を講じることができたはずだ。異常な成績について不服を申し立てた人に、人間の目による成績の再評価を受ける権利を与える。審査会は再検証に当たり、どの入力データを重視するのかを明確にする。そして、問題がどのように解決されるのかを説明する。

　問題がどう解決されるかは、最終的にその問題が特定の生徒にまつわるものか、または特定の学校あるいは科目に関するものかによって異なる。案件がＡＩのどの部分に関連するのかによって、一人の生徒の不服申し立てがほかの生徒に影響する可能性も十分にある。

　たとえば、ある生徒の成績に関する問題が、学校単位のデータに関連していると思われる場合、同じ学校で学ぶ多くの生徒の最終スコアも、予測スコアと大幅に異なっている可能性がある。したがって不服申し立ての審査プロセスでは、その学校の全生徒の成績を見直すことになる。必要ならば、ＡＩのアルゴリズム自体がその学校に合わせて調整される。

　その際、ほかの学校にはいかなる影響も及ぼしてはならない。調整後にＡＩが新たに算出するスコアはすべての学校で一貫性があり、当該校を除いて変更が生じないよう万全を期す必要がある。

　一方、問題が生徒固有の要因に関連している場合は、なぜＡＩがその生徒に異常な評価結果を与えたのかを特定することが検証の主眼となる。必要に応じて当該生徒の再採点を実施し、ほかの生徒に関しても、成績に同様の影響が見られる場合は再採点を行うことになる。

　当然ながら、上記のほとんどはあらゆる評価プロセスに当てはまる。つまり生徒一人の異常は、ＡＩの有無にかかわらず、評価システムにおけるより体系的な不備を示すシグナルかもしれない。とはいえ、不服申し立てプロセスの仕組みには、人間と機械による判定方法の違いと、使用されるＡＩに固有の設計を反映させる必要があり、さらに評価結果をどのように修正可能かも踏まえるべきである。

　たとえば、ＡＩはさまざまな入力データ間の関係に基づいて成績を判定するため、基本的には当該生徒の実際の成果物を見直す必要はないはずだ。そして修正は、影響を受けた生徒（似た性質のデータを入力された生徒）すべてを一括で行うことができる。実際、ＡＩ判定への不服申し立ては多くの点で、従来の試験に基づく成績への不服申し立てに比べ、簡単なプロセスにできるかもしれない。

　そのうえ、ＡＩシステムのおかげで、上述の不服申し立てプロセスに沿ってＡＩの継続的な向上も可能になるだろう。IBOがそのようなシステムを導入していれば、不服申し立てを通じてフィードバックのデータが生まれ、それらをもとに今後の活用に向けて――試験が来年に再び中止されるような場合に備えて――モデルをアップデートできたはずだ。

＊　＊　＊

　IBOの経験は間違いなく、さまざまな場面でＡＩを導入する際に教訓となる。融資の承認、求人、警察活動もしかりである。いずれもＩＢ資格と同じように、決定が関係者の人生を変えるほどの影響を及ぼしうる。関わる利害の大きさを考えれば、結果をめぐって論争が起こるのは避けられない。

　決定のプロセスにＡＩを導入しても、不服申し立てのプロセスについて慎重に考えず、アルゴリズムの設計にも反映させなければ、新たな危機を生むことになるだろう。のみならず、ＡＩを活用したソリューション全般に対する拒絶反応を引き起こす可能性もある。そうなれば、人間との連携によって決定の質が飛躍的に向上するというＡＩの可能性が、私たちから奪われることになる。

開示情報：本稿筆者の一人は、今年ＩＢプログラムを修了する生徒の親である。

HBR.org原文：What Happens When AI is Used to Set Grades? August 13, 2020.