全3615文字
PR

 機械学習・深層学習の普及に伴って人材ニーズが高まっている「データエンジニア」という仕事をご存じでしょうか。まだそこまで知名度が高くない職種ですので、「人気のデータサイエンティストと何が違うの?」と思われるかもしれません。

 しかし、データエンジニアは企業のデータ活用とデータサイエンティストの業務に必要不可欠な職種です。現段階で求人は希少ですが、多くの企業がデータ活用を進めつつある昨今の流れを踏まえると、今後10~20年は確実に重用されるであろう期待の職種なのです。

 今回は筆者が所属するアスタミューゼが持つ約60万件の求人データを基に、データエンジニアについて詳しく見ていきましょう。エンジニアの皆さんのキャリア形成の参考にしていただければ幸いです。

データエンジニアの仕事はデータ基盤の整備

 データエンジニアの仕事は、一言で説明すると「大規模データ基盤の構築・運用」です。「データ基盤」とは何かぱっと具体的にはイメージしづらいかもしれませんが、ここでは「データの取得・保管・加工・分析・提供を担う一連のシステム群」と考えてください。

 そもそも、データは最初から理想的な状態では存在していません。生データを取得した後に、段階的に加工することで初めてデータ分析に利用できる形になるのです。用途が多岐にわたる場合は、データ形式を「機械学習」「分析向けDB(データベース)」など提供先のソフトウエアの種類に合わせて整えたり、再加工の可能性を考慮して途中でスナップショット(バックアップのようなもの)を確保したりする必要があります。

データ取得から分析までの過程をシンプルにまとめたもの。要所でデータに加工を施す
データ取得から分析までの過程をシンプルにまとめたもの。要所でデータに加工を施す
(出所:アスタミューゼ)
[画像のクリックで拡大表示]

 このようなデータの在り方や用途、加工ニーズなどを理解しつつ、最適なデータ活用ができるように基盤を設計・構築・運用することがデータエンジニアの仕事になります。

データサイエンティストとデータエンジニアの関係

 データサイエンティストとデータエンジニアの関係は、舞台の「役者」と「黒子」に例えることができます。データエンジニアが分析前のデータを正しく取得・整備する様子は、舞台で小道具を渡したり、素早く衣装替えができるよう準備したりする黒子のようです。一方、データサイエンティストはデータエンジニアが整備した舞台装置の上で、付加価値の高い洞察や新しいデータを生み出す役者のような存在といえます。

 データエンジニアという職種の魅力は、データ基盤という大きな舞台装置を何人ものメンバーと一緒に共同で作り、動かしていくところにあります。自分の技術力を生かしつつ、複数の異なるスキルを持ったメンバーの力がかっちり歯車として組み合わさって、すべてが正しく動き、データという資産を自動的に良い形でアウトプットするような仕組みを作ること――これがデータエンジニア職の醍醐味(だいごみ)といえるでしょう。