2012年に筆者らが発表した「データサイエンティストが21世紀で最もセクシーな職業である」と述べた論考は、データサイエンティストの存在を一躍、世に知らしめた。それから10年が経ち、データサイエンティストへの認識は大きく変わっている。仕事の制度化が進み、職務範囲が再定義され、必要とされるテクノロジーも大きく変化した。一方で、コーディングスキルの重要性は低くなり、それよりも倫理的側面の理解が重要となった。データサイエンティストには、ビジネス課題に向き合い、それを解決する要件をモデルに変換する能力がいっそう必要とされている。本稿は、データサイエンティストの変化と企業の対処すべき課題について論じる。
データサイエンティストはいまも
「セクシーな職業」なのか
いまから10年前、筆者らは"Data Scientist: Sexiest Job of the 21st Century"（邦訳「データ・サイエンティストほど素敵な仕事はない」DHBR2013年2月号）という論考を発表し、「データサイエンティストが21世紀で最もセクシーな職業である」と述べた。一般的な読者の大半はおそらく、「最もセクシーな」（sexiest）という修飾語、つまり市場での彼らの需要に関する言及のみをご記憶のことだろう。
データサイエンティストという役割は当時、比較的新しかったものの、ビッグデータを理解しようと努める企業が増えていくにつれ、プログラミングとアナリティクス、さらに実験スキルを兼ね備えた人材の必要性が企業に広まっていった。
当時の需要は、主にサンフランシスコのベイエリアと、そのほか少数の沿岸都市に限られていた。これらの地域のスタートアップとテック企業は、雇える限りのすべてのデータサイエンティストを欲しがっているように見えた。ビジネスアナリティクスおよび新たな形式と量のデータ、この両方を主流企業が取り入れるにつれて、その需要が拡大していくものだと考えていた。
筆者らはその頃、データサイエンティストを「ビッグデータの世界で何かを見出そうとする、好奇心旺盛で訓練を積んだ上級専門職」と定義した。企業においては、オンライン上のクリックストリーム（ウェブサイト訪問者の行動履歴）やソーシャルメディア、画像や音声といった、大量の非構造化データの分析が始まっていた。
データサイエンティストと言っても、この種のデータを使ってプログラミングと分析ができる人材の明確なキャリアパスはまだなかったため、その学歴は多岐にわたっていた。データサイエンティスト35人を対象に実施した当時の非公式な調査によると、最も多く見られた資格は実験物理学の博士号だったが、なかには天文学者や心理学者、気象学者もいた。
大半は何らかの理系の博士号を持ち、数学に卓越し、コーディングのやり方を知っていた。自身の役割を遂行するためのツールとプロセスが当時はなかったため、彼らは実験と発明にも長けていた。この仕事をするうえで理系の博士号が本当に必要だったわけではない。それよりも、複雑で乱雑なデータセットをかき分け、リコメンデーションアルゴリズムを構築してデータの可能性を引き出すという、稀有な能力が彼らにはあった。
その後10年が経ち、この仕事の需要は、雇用主と採用担当者の間でかつてなく高まっている。
AIはビジネスにおいてますます普及し、あらゆる規模と地域の企業がAIモデルの開発のためにデータサイエンティストの必要性を感じるようになった。インディードの求人数は2019年までに256％増えており、2029年までにほかのどの分野よりも成長するという、米国労働統計局の予測もある。引く手あまたの職は概して給与が高いものだが、カリフォルニアの経験豊富なデータサイエンティストの年収の中央値は、20万ドルに近づいている。
悩みの種についても、当時と同じものが多く残されている。10年前の論考における調査では、多くのデータサイエンティストがその時間のほとんどをデータのクリーニングと前処理に費やしていると指摘した。AIそのものを使ったデータ管理の高度化は多少進んだものの、状況はいまだに変わらない。
加えて、多くの組織にデータドリブンの文化がないため、データサイエンティストの提供する知見がうまく活かされていない。組織がいくらデータサイエンティストを採用し、高給を与えても、組織に必ず貢献できるというわけではないのだ。結果的に彼らの多くが不満を抱えており、高い離職率につながっている。
それでも、この仕事には大なり小なりの変化があった。のちに述べるように、制度化が進み、職務範囲が再定義され、必要とされるテクノロジーは大きく発展し、倫理やチェンジマネジメントといった非技術的な専門知識の重要性が高まった。
経営幹部の多くは、自社の事業にとってデータサイエンスが重要であることを認識している。そのような企業は、いまやなかなか見つからない万能なデータサイエンティストを探すよりも、多様な人材から成るデータサイエンスのチームを編成し、監督する必要があるだろう。そして、データサイエンスの民主化を──データサイエンティストの助けを借りながら、ではあるが──考え始めるとよい。
