過去15年間、相当数の研究によって、私たちの誰しもが他人のパフォーマンスに対する評価者としては驚くほど信頼性が低いことが実証されてきた。この他人を評価する能力を損なう効果は「評価者特異性効果（Idiosyncratic Rater Effect）」と呼ばれる。
たとえば、あなたの「ポテンシャル」に対する私の評価は、あなたの実像ではなく、私自身の特異性に左右される。つまり、私が「ポテンシャル」をどう定義しているか、自分自身にそれがどれだけあると思っているか、ふだんからどれだけ厳格な評価をしているかによって影響を受ける。
この効果は根が深く、どれだけ研修を積んでも簡単に改めることはできない。しかも効果の影響は広範囲に及び、私があなたに対して下した評価のうち、平均で61％は自分自身を反映したものだという。
言い換えると、私があなたについて何らかの評価をするとき、白日の下にさらされるのは、あなたのことよりも私自身のことなのだ。
計量心理学の世界では、この効果について十分に実証されている。最初の大規模研究は、1998年に『パーソネル・サイコロジー』誌に発表された。第2の研究は2000年に『ジャーナル・オブ・アプライド・サイコロジー』誌に、第3の研究は確認的分析で2010年に再び『パーソネル・サイコロジー』誌に発表された。
いずれの研究もアプローチは同じだ。まず、マネジャーのパフォーマンスに関するさまざまなコンピテンシーについて、同僚、部下、上司に評価させる。次に、それらの評価（3つの研究で50万件以上）を検討して、マネジャーがその評価を受けた理由を考察している。
その結果、マネジャーに対する評価のばらつきの半分以上は、評価者個人に特有の評価パターンによって説明できることがわかった。その割合は、第1の研究で71％、第2の研究では58％、第3の研究では55％である。
これらの研究では、他のどの要素も（マネジャーの全体的なパフォーマンスも評価のソースも）、ばらつきの20％以上を説明できなかった。つまり、私たちは評価といえば、評価される相手について何かが明らかになると思いがちだが、実際はそうではない。むしろ評価する側に関して、多くのことが明らかになるのである。
学会誌では、評価者特異性効果に関する実証結果が繰り返し発表されているにもかかわらず、ビジネスの世界ではまだ認識されていないように見える。
たしかに私たちはまだ、この効果が、これまで人事分野で実践してきたことにどう影響するのか把握できていない。詳細を吟味すれば、ほぼすべてを解体して、再構築しなければならないことに気づくだろう。
