サーベイによるランキングの不思議
「よい会社」についても、「有識者300名の回答に基づいて…」という類のサーベイがよくある。何十社、場合によっては百以上の会社がずらっとリストアップしてある。そのひとつひとつについて「成長性」とか「独自性」とか「革新性」といった切り口で「5点尺度で評価せよ」というやつだ。
僕のところにもときどき依頼がくる。回答していて思うのだが、こうしたサーベイの意味が分からない。よく言えば「有識者」による「綜合的な評価」なのだが、実際は回答者の直観を聞いているだけ。少なくとも僕は直観で「2=やや劣る」とか「5=とても優れている」に丸をつけている(「革新性は?」とか聞かれても、直観でしか答えようがない。というか、ほとんどスキキライ)。ありていに言って「この会社どうよ、イイ感じ?」という話だ。
だいたい「有識者」という時点で怪しい。そんなに多くの会社のことを知悉している「有識者」はまずいないだろう。もちろん回答欄には「NA=評価するに足る知識・情報がない」という選択肢が入っている。僕の場合でいえば、大半の会社が「NA」になってしまう(「ちょっとまて、だったら回答しなければイイじゃないか」という声が聞こえてくるが、確かにその通り。でも知り合いの方に頼まれたりすると、なかなか断れない)。
よく知っている会社であれば、5点尺度で評価する気にもなる。しかし、そうした会社はもともと強い関心(ポジティブな関心のこともあればネガティブな関心のこともある)を持っているから「よく知っている」わけで、自然と評価が5か1の両極に振れる。
「平均」が台無しにする
5点尺度で聞くのでなく、「以下のリストにある会社から、あなたが思う優秀企業をピックアップしてください」という単純選択方式もよくある。こっちはまだ応えやすいのだが、よくないのは、こうして集めた「有識者の評価」を最後のところで平均してしまうところだ。そもそもこの種の「有識者評価」はランキングの作成を目的にしていることが多い。集計して平均すれば、ランキングがつくれる。
反応的尺度はどこまでいっても直観(直観という言葉がちょっとアレだとしたら、「主観的な評価」)頼みになる。評価する一人一人はそれぞれに違った主観的な基準を持っているはずだ。それを安直に平均して出てくるランキングは、「いまこういう会社が多くの人から『よい会社』だと思われています」ということを示しているに過ぎない(単純に平均するのではなく、因子分析とか、もう少し統計的に凝ったやり方で数字を出す調査もあるが、話の本質には変わりない)。ま、その種の「世論調査」に意味があるといってしまえばそれまでだが、ずいぶん底が浅い話だ。
以前この連載で、「就職人気企業ランキング」を「ラーメンを食べたことがない人による人気ラーメン店ランキング」だと評した。「有識者の評価によるランキング」はそれよりは多少マシかもしれない。「いくつかの店でラーメンを部分的に食べたことがある人がわりといい加減な思い込みに基づいて評価する人気ラーメン店ランキング」(タイトル長すぎ)といったところか。表面的な世論調査以上の中身がないことでは五十歩百歩だ。
「有識者の評価によるランキング」にほとんど意味がないとしたら、もう少しマシな「よい会社」の反応的尺度として、何があり得るのか。次回はこのことについて考えてみたい。乞うご期待!