◆ データサイエンティストの最高の相棒はデータエンジニア
ビジネスの世界に生きるデータサイエンティストの仕事とは、データとその活用領域であるドメインを結びつけることです。ドメインとは、営業やマーケティング、生産、経営などのデータを活用する現場のことです。データサイエンティストと同様に、データを取り扱う職業があります。その中で、データサイエンティストと一番混同されやすいのが、データエンジニアです。今回は「データサイエンティストの最高の相棒はデータエンジニア」というお話しをします。
1、データサイエンティスト
データサイエンティストの定義は、データサイエンティストに期待されていることだけで考えると、データとその活用領域であるドメインを結びつけることです。賛否両論あるかもしれませんが、データとその活用領域であるドメインを結びつけないことには、評価されません。データサイエンティストは単にデータを相手にするのではないということです。
2、機械学習エンジニアとデータアナリスト
データサンエンティストと似たような職業に、機械学習エンジニアやデータアナリストなどがあります。
データとその活用領域であるドメインを結びつけるということから考えると、機械学習エンジニアもデータアナリストも、データサイエンティストに含まれます。どちらも、データとドメインを結びつけるのが仕事です。最終的なアウトプットが主に機械学習で活用する数理モデルである「機械学習系のデータサイエンティスト」と、最終的なアウトプットが主に分析レポートなどの報告書である「データアナリスト系のデータサイエンティスト」がいるという感じです。クッキリと明確に分かれているわけではありません。
最近では、BI（ビジネスインテリジェンス）系のデータサイエンティストも登場してきます。分析レポートなどの報告書が、Qlick ViewやTableauなどのBIツールのダッシュボードになった感じです。BIツール周りのデータベースの設計やデータのやり取り、分析結果を出力するダッシュボードの設計など、データアナリスト系のデータサイエンティストとは違うスキルが求められるようになっています。
3、データエンジニア
データサイエンスや機械学習などの書籍を多数出版しているO’Reilly 社のサイトに「Data engineers vs. data scientists (Jesse Anderson、2018年4月11日)」という記事が掲載されています。
この記事ではデータサイエンティストとデータエンジニアの対比が非常に分かりやすくまとめられています。この対比から分かるのは、データサイエンティストは数学的素養と高度な分析スキルが、データエンジニアよりも求められるということです。一方データエンジニアは、高度なプログラミングスキルを用いてビッグデータ処理が求められるようです。共通しているのはプログラミングスキルです。これは、あくまでもデータサイエンティストとデータエンジニアを対比させた場合、その違いを明確にするためのものですので求められるスキルは他にもあることでしょう。
4、データサイエンティストはロックスター
データサイエンティストとデータエンジニアは、それぞれ別の職場で働くのでしょうか。実際は協働します。世界最大のコンピュータネットワーク機器開発会社であるCisco社のサイトに「Data Scientist or Data Engineer? Think Rock Star and Roadie（Neeraj Chadha、2016/11/15）」という記事が記載されています。データサイエンティストとデータエンジニアの協働関係を記載したものです。
記事では「データサイエンティストはロックスターで、データエンジニアはステージを設置し部隊音響を手掛ける裏方です。データサイエンティストはデータエンジニアなくしては輝けない」と記載されています。データエンジニアは、収集したデータをHadoop や Spark などのビッグデータ技術を駆使することで、データサイエンティストが扱いやすいデータに変換し提供します。その提供されたデータを集計するほか可視化、分析、予測モデルなどを構築することで、ビジネスにつなげるのがデータサイエンティストです。
5、データサイエンティスト1人あたりデータエンジニアは何人必要？
先ほどのO’Reilly 社サイトの掲載記事「Data engineers vs. data scientists (Jesse Anderson、2018年4月11日)」によると「1人のデータサイエンティストを支えるためには、複数のデータエンジニアが必要である」と記載されています。スタート時点で「データサイエンティスト1人あたり2～3人のデータエンジニア」が必要で、より複雑なデータ処理段階になると「データサイエンティスト1人あたり4～5人のデータエンジニア」が必要になるということです。
細かい人数はさておき、ビジネスの世界でデータ分析・活用で成果を出したいなら、データサイエンティストだけでなく、少なくとも1人以上のデータエンジ...
6、独りぼっち状態のデータサイエンティストという悲劇
周辺に仲間も理解者もいない独りぼっち状態のデータサイエンティストのことを「ぼっちデータサイエンティスト」と呼びます。
- 「よし、我が社もデジタルトランスフォーメーションだ」
- 「ビッグデータだ！ データサイエンスだ!!! AIだ!!!」
このような掛け声のもと、データサイエンティストだけを揃えても上手くいかないことでしょう。データサイエンティストを支える人財がいないからです。ではデータエンジニアがいない場合、データサイエンティストはどうするのでしょうか。多くの場合自分自身でなんとかします。ソフトウェアエンジニアから見たら、見るに堪えないプログラムコードを書き、データエンジニアがやるはずのデータ処理を実施します。慣れないものだからプログラミングや実装したプログラムの処理スピードも、非常に遅くなる場合が多いようです。その結果ビジネスへのデータ分析・活用が大幅に遅れるか、データサイエンティストが無理をして働くことになります。毎日のように朝日を拝んで帰宅するデータサイエンティストが増えないことを祈るばかりです。