全3886文字
PR

データ基盤の設計はデジタルトランスフォーメーション(DX)の成否に関わる。設計パターンは「分散型」「統合型」「データレイク型」の3つに分類できる。メリット・デメリットを考慮し、目的に合ったデータ基盤を設計するのがDX成功への近道だ。

 本連載の第1回、第2回ではDXを進める上で、データ基盤の設計が重要であると述べてきました。今回はデータ基盤の設計パターンを解説します。

 データ基盤の設計パターンは3つに分類できます。「分散型」「統合型」「データレイク型」です。分散型は最もメジャーなデータ基盤の構造です。データが様々なシステムに点在し、データ連携が複雑に絡み合ったメッシュ型構造をしています。統合型はRDBMSやNoSQLといったデータベース、ビッグデータなどを分析する機能が1つの製品に集約されています。データレイク型は巨大なオブジェクトストレージにあらゆるフォーマットのデータを集め、必要に応じて加工しながらデータを活用する形態をとります。

 以下で各データ基盤の設計パターンについて、メリット・デメリットを交えて説明します。

運用の難易度が高い分散型

 現在、多くの日本企業は分散型データ基盤を採用しています。日本企業の組織形態は縦割りが多く、その場合システムも縦割りで独立しており、データも分散しているためです。分散型データ基盤はメッシュ型の構成をとります。RDBMSやNoSQL、分析のためのデータベースが分散して存在し、それぞれが個別にデータ連携します。

 企業によっては、既存システムに変更を加えるのが難しいケースがあります。そうした企業には分散型データ基盤が向いています。既存のシステムを残しつつ、新しいことをクラウド上で実現できます。

 分散型データ基盤の最大のメリットは既存のシステムを変更せずに、必要なデータ基盤を追加できる点です。新たに立ち上げたDX組織が既存システムの制約を受けずに素早く成果に向かうのに適した形態といえます。

 デメリットもあります。分散型データ基盤は、その成り立ちからサイロ化のリスクを抱えています。サイロ化とは企業内の各部門が他部門と連携することなく、自らの業務の部分最適のみを優先し、業務システムを別々に立ち上げて運用している状態を言います。

 日本企業の特徴の1つに、各システムの個別最適化が挙げられます。現場の担当者の声に耳を傾け、システムにカスタマイズを加え、より利用しやすくしています。一方で、カスタマイズは他のシステムとの統合を難しくします。そのため新たな要件が生まれた場合、既存のシステムに変更を加えることを嫌い、新しいデータ基盤を構築して、バッチ処理でデータを連携させるケースが多く見られます。

 部門ごとにデータ基盤が構築されると、データ連携は複雑になります。100件以上にも及ぶデータ連携のバッチ処理が日々流れ、障害が頻繁に発生し、運用の手間がかかるといった相談を実際に受けたことがあります。

 企業の成長に伴い、買収や合併を繰り返す過程でデータ基盤が増え、各システムがサイロ化した分散型データ基盤に陥るケースもあります。個別最適化したデータ基盤は、その目的のためには効率が良いと言えますが、企業全体では重複投資になります。必要なデータが増えた場合、データ連携が必要となるためスピードが失われます。

 どのように拡張されるかを予想できていれば、設計の最初の段階で対処できるかもしれません。しかし新規事業のシステム概要や、合併などで加わる他社システムとの連携・統合については事前に予測できません。これから起こることを予測するのは限度があるため、分散型データ基盤の設計は非常に難しいと言えます。また、メッシュ型のような複雑な状態ではデータ連携の数も膨大になります。障害の発生リスクも高まるため、運用の負荷は高くなります。

図 5つの観点から見たデータ基盤の比較
図 5つの観点から見たデータ基盤の比較
3パターンに分類できるデータ基盤
[画像のクリックで拡大表示]
図 分散型データ基盤の概要
図 分散型データ基盤の概要
必要なデータ基盤を追加できる
[画像のクリックで拡大表示]