どの生成AIモデルを使うべきか、価値観診断で判明した違い
HBR Staff/Thinkstock Images/sankai/Getty Images
サマリー：AIの価値観を可視化する試みとして、筆者を含む研究者のチームは大規模言語モデル（LLM）に対し、人間用の価値観診断ツール「PVQ-RR」を用いた分析を行った。これは、AIの出力に影響を与える潜在的なバイアスや価値...　もっと見る観の傾向を測定・視覚化し、説明可能性と透明性を高めることを目的としたものだ。本稿では、主要なLLMが示した価値観の違いや一貫性、活用にあたっての注意点について詳しく解説する。　閉じる

AIの透明性を確保するため、AIの価値観を把握する

　企業による性格診断や能力診断を受けたことがある人は、個人の価値観を測るコアバリュー・ファインダー（Core Values Finder）というツールを見たことがあるかもしれない。このツールは、人の価値観を診断するための最も信頼性が高く有効な手段の一つである「ポートレート・バリュー質問票：改訂版」（Portrait Values Questionnaire-Revised：PVQ-RR）をもとにしている。

　この科学的な質問票の目的は、思いやり、寛容性、謙虚さ、達成、自律性などを含む20の異なる価値観に、回答者がどれほど合致しているかを診断することにある。回答者は1（自分に最も当てはまる）から6（自分に最も当てはまらない）の尺度で順位をつける。回答には、本人にとって何が重要なのか、何が意思決定のあり方の根拠となるのかが示される。

　筆者のチームはAIオルトラボでAIの倫理とポリシーについて研究しており、先頃あるアイデアを思いついた。人気の生成AI用大規模言語モデル（LLM）に、この質問票を用いて「LLM自身の」価値観を順位づけるよう求めたらどうなるか、調べてみてはどうだろうか。

　LLMの価値観を心理測定の技術や方法論を用いて正しく診断し、有意義かつ正確な視覚化を円滑に進めるために、我々はコアバリュー・ファインダーを開発したFindYourValues.comのチームとタッグを組んだ。

　我々はLLMの価値観を面白半分で尋ねたわけではない。この問いを投げかけたのは、我々が「アラインメント」の問題──つまりLLMの振る舞いと、人間の価値観や意図との整合性を確保するという課題を研究する一環として、AIの価値観を追跡し評価しているからだ。AIのアウトプットに影響を及ぼす潜在的価値観を、技術的ツールを用いて視覚的にベンチマークすることで、AIをより「説明可能」にすることが我々の狙いである。

　LLMは公表されていない大量のデータセットで訓練されており、その手法の大部分はプロプライエタリ（独占的、非公開）のままだ。訓練データの具体的な調達方法や出所に関する情報がなければ、あるLLMに見られる価値観がそのデータプールから生じたのか、それとも開発プロセスの中で行われた決定によって生じたのかを判断するのは難しい。この不透明性によって、バイアスの特定と是正が困難となり、説明責任を妨げるブラックボックス的状況に人々は悩まされることになる。

　しかし、有意義な透明性を確立するためにはアルゴリズムの開示だけでは不十分だ。ユーザーにとってわかりやすい説明、コンテキストの詳細、独占的な一連のプロセスを公開する姿勢が求められる。これらが実現するのを待つ間、我々は手元にあるツールでできる限りのことをしなければならない。そこで、さまざまなLLMがPVQ-RRにどう答えるのかを調べようという決断に至った次第だ。