なぜよい商品ほど低評価を受けやすいのか
Yagi Studio/Getty Images
サマリー：消費者はレビューを参考に商品やサービスを選ぶが、評価にはバイアスが存在する。経験豊富な消費者は、質の高い商品を厳しく評価し、未熟な消費者によって低品質な商品が高評価を得ることがあるからだ。したがって、...　もっと見る価格帯などが異なるセグメントの評価を比較すると誤解を招くおそれがあるという。しかしこのバイアスは、シンプルな方法によって是正できる。　閉じる

消費者のレビューはどこまで信頼できるのか

　現代の消費者は、新しいドラマを見る前に「ロッテントマト」（Rotten Tomatoes）で最新の評価を確認する。レストランの予約をする時は「イェルプ」（Yelp）で評判をチェックするし、アマゾン・ドットコムで買い物をする時も、まずはレビューを調べる。

　だが、こうしたレビューはどこまで信用できるのか。偽レビューについてはかなり報じられているが、個々の評価を集計するだけの場合も、正しい情報が伝わらない可能性がある。『マネジメントサイエンス』誌に掲載予定の筆者らの研究でも述べるが、その原因は2つある。経験豊富な消費者は、もともと質の高い商品を購入する（そして評価する）傾向があり、商品に対する期待も高い。このため、質の高い商品は厳しい基準にさらされて、低品質の商品よりも評価が低くなる可能性があるのだ。

　その例はいくらでもある。たとえば、プロ仕様のカメラでも、一流の機材を使い慣れている『ナショナルジオグラフィック』誌の写真家たちは渋い評価をつけるかもしれない。一方、低品質のカメラでも、素人写真家たちは高い評価をつけるかもしれない。ミシュランの星を獲得したレストランとファストフード店、飛行機のビジネスクラスとエコノミークラス、5つ星ホテルと格安モーテルの評価を比較する時も、同じような歪みが生じる。同じカテゴリーでも、上位商品と低位商品とでは購入者の属するセグメントが異なるため、両者の評価を比較すると「リンゴとオレンジ」のジレンマ（対象が根本的に異なるため比較が無意味になる）が生じ、その商品の購入を検討している消費者を誤解させることになる。

　こうした事情は、価格によって説明されるという主張もあるだろう。数百ドルもするミシュラン店は、10ドル以下のファストフード店とは異なる基準で評価されるはずだというのだ。この主張は確かに一理あるが、問題の半分しか捉えていない。それを証明するために、筆者らはこのバイアスを、均一な価格設定の市場、すなわち映画で調べることにした。

映画の評価の場合

　筆者らは、映画情報サイトIMDbに掲載されている9000本以上の映画（計6億5000万件の評価を受けている）を分析した。都合のよいことに、IMDbは各映画について平均点と、トップ1000ユーザー（IMDbに掲載されている作品のほとんどを評価しているユーザー）の平均点を掲載している。さらに人気映画推奨サイト「ムービーレンズ」（MovieLens）の映画評1500万件も分析に加えた。映画の質を見極めるに当たっては、映画賞の受賞やノミネート数、およびプロの映画評論家の評価などのプロキシを使った。

　予想通り、IMDbのトップ1000ユーザーは、より質の高い映画を鑑賞し、より厳しい評価を下す傾向があった。具体的には、同じような特徴（制作年、ジャンル、レビュー数など）を持つ映画のうち、一つ以上の受賞またはノミネートを受けた映画に限ると、トップ1000ユーザーが評価をしている可能性は、平均的ユーザーよりも5％高かった。同時に、トップ1000ユーザーは調査対象となった映画の98％で、平均的ユーザーよりも厳しい点数をつけていた。

　これらの結果を総合すると、明らかに、質の高い映画の評価にはマイナスのバイアスがかかっていた。より目の肥えたユーザーの批判的な目にさらされるため、B級映画よりも低評価をつけられてしまうのだ。

簡単にできる是正法

　このバイアスは幅広く見られるが、シンプルな方法によって是正できる。ポイントは、ユーザーが点数をつける時の厳格性を調整することだ。まず、ムービーレンズに寄せられた評価に基づき、各ユーザーの点数を同じ映画の平均点と比べて、そのユーザーがどのくらい厳しい目で評価しているかを測定した。そして、あるユーザーが一貫して平均よりも低い点数をつけている場合、その割合に応じて、そのユーザーの点数を「水増し」した。そのうえで、映画ごとにすべてのユーザーの評価を集計した。点数と評価の厳しさは相互依存関係にあるため、安定した結果になるまでこのプロセスを繰り返した。