「データ統合」の実践方式とステップを、経営目線で解説！

データ統合とは、組織の内外で管理されている多種多様なデータを1箇所に集約して利活用できる状態に整えたうえで、一元管理していくための取り組みです。

例えば企業では、営業部には顧客データ、経理部には会計データ、マーケティング部には分析データというように、さまざまなデータがそれぞれ異なるフォーマットで管理・運用されています。そうした多種多様なデータを統合して一元管理することで、最新データを安全に管理しながら利活用するための基盤が構築でき、迅速かつ正確な意思決定が可能になります。

データ統合は、IT部門や利用部門だけでなく企業経営においても重要な取り組みで、データ統合の実現可否が新規事業の創出や顧客体験の向上などの成果に大きく影響します。

この記事では、インターファクトリーでマーケティングを担当している筆者が、データ統合について解説します。

データ統合の必要性

経済産業省は「Society 5.0　データ利活用のポイント集」で、データの利活用に成功している企業や組織は、データを統合して利活用すること自体はゴールではなく、解決したい経営課題や実現したいビジネスモデルを明らかにするための手段である、としています。。

参考：経済産業省「Society 5.0　データ利活用のポイント集―データ利活用の共創が生み出す新しい価値―」（2020年6月）

また同資料では、自社で収集したデータを異業種企業と共有・活用して新規顧客の獲得に成功した企業や、仕入れ先と購買データを連携して新しい付加価値を創出している企業の事例が紹介されています。

データを統合して利活用するための基盤を整えるための取り組みでは、業務効率化だけにとどまらず、新規市場への参入や生産性の飛躍的な改善などの成果をもたらし、企業の競争力を強化します。データ統合はIT化だけでなく、企業を成長させるための経営戦略の基盤として不可欠な取り組みなのです。

DWH（データウェアハウス）とは？

DWH（データウェアハウス）は、企業内のさまざまなシステムから集められた膨大なデータを統合管理し、データ分析の基盤となるデータベースです。DWHがあれば、いつでも整形されたデータを利活用できるため、個別にデータを収集して整形する手間がなくなり、データ分析に注力できるようになります。

DWHは単なるIT投資ではなく、次の3つの価値を創出して企業の経営基盤を強化します。

◆経営基盤を強化するDWHの3つの価値

データ統合の3つのプロセスの「ETL」とは？

ETLはデータ統合のプロセスである抽出（Extract）、変換（Transform）、格納（Load）の頭文字を取った言葉で、複数のソースからデータを抽出し、最適化してDWHに格納するための一連の処理を行うための仕組みを指します。

◆データ統合の3つのプロセス

下表のようなETLツールを利用すると、スムーズにデータを統合できます。

◆代表的なETLツールの例［EAI（Enterprise Application Integration）ツールを含む］

参考：Informatica PowerCenter、Talend、IBM DataStage、Microsoft SQL Server Integration Services (SSIS) 、Apache NiFi、Fivetran、Stitch、Matillion、ASTERIA Warp、DataSpider Servista、Magic xpi

上表を見ると分かるように、ツールごとに強みや特徴があります。規模やシステム環境、将来的な拡張性など、自社のデータ活用戦略に照らして「どのツールが自社の成長戦略に有効か」を検討した上で、最適なツールを選定しましょう。

データ統合の4つのステップ

データ統合プロジェクトは、段階的に進めることで成功確率が格段に上がります。本記事では4つのステップに分けて解説します。

ステップ① 要件定義：経営陣と各部門の最終目的を一致させる

最初のステップは、データ統合の目的と要件の明確化です。経営陣が目指している「実現したいビジネスモデル」や「解決すべき経営課題」と、各部門が直面している「業務上の課題」を洗い出し、最終目的を明確にする必要があります。

例えば、以下のような経営課題から有効な対策を考え、要件化していきます。

◆経営課題：「停滞している売上の向上」

◆経営課題：「過剰在庫や欠品の低減」

◆経営課題：「部門間の断絶の解消」

◆経営課題「新規事業の立ち上げ」

経営陣が期待する成果をもたらし、各部門の業務の効率化が実現するDWHを構築することが大切です。

ステップ② 洗い出し：必要なデータの所在と流れを可視化する

要件が決まったら、統合対象のデータがどこで、どのように生成され、どのシステムで、どのように利用されているかを調査して可視化します。システム間の連携状況や各部門の管理・運用方法を洗い出すことで、データ統合の全体像が見えてきます。

中には、個人で管理しているデータが存在している場合もあるため、調査ではすべての関係者へのヒアリングが必要になります。洗い出しに抜け漏れがあると、あとで「データが足りない」「思ったとおりに連携できない」といった問題の発生リスクが高くなります。

ステップ③ プロファイリング：実データを確認して現実を知る

統合対象データの状態を確認し、理想の状態にするために何が必要かを検討します。実データの中には、例えば以下のように、机上では想定できないような不整合データや破損データが存在しています。

◆よくある不整合データや破損データの例

実データの状態を調べて、統合後のあるべき姿にするために必要な処理を明確にすることが重要になります。

ステップ④ 現状ルールの洗い出し：データの目的と関係性を理解する

現状のデータに関するルールを洗い出し、どのようなルールの下でデータ生成・利用されているのかを理解します。例えば、以下のようなルールが採用されていることが多いです。

◆よくあるデータに関するルールの例

上の例のように細かいルールまで把握しておくことで、統合後のデータの一貫性と正確性を確保することが可能になります。

3つのデータ連携モデル

データを統合するためには、複数のシステム間をどのようにしてつなぐかという「データ連携モデル」を選択する必要があります。ここでは、主要なデータ連携モデルを3つ紹介します。

モデル① ハブ＆スポーク型：データを一元管理

データを「ハブ」に集約して一元管理し、各システムに必要なデータを配信するモデルで、例えば以下のようなケースで採用されます。

◆ハブ＆スポーク型が採用されるケース

このモデルではデータの管理やガバナンスを一元化できるため、大規模な企業や将来的に分析基盤を拡張していきたい場合などに適しています。ただし導入時のコストは大きくなる傾向があります。

モデル② ポイント・ツー・ポイント型：シンプルな連携

システム間を直接つなぐモデルで、例えば以下のようなケースで採用されます。

◆ポイント・ツー・ポイント型が採用されるケース

このモデルは、連携するシステムが少ない場合には素早く連携を実現できますが、連携するシステムが増えるほど接続関係は複雑になり、運用保守のコストが急増するため、初期のスモール導入時には有効ですが、拡張性が求められる中長期的な取り組みには不向きです。

モデル③ パブリッシュ/サブスクライブ（Pub/Sub）型：イベント駆動型の連携

変更や追加などのイベント発生をトリガーにして、複数のシステム間で非同期にメッセージを交換するモデルで、送信者（パブリッシャー）となるシステムが中継システム（ブローカー）にメッセージを送信し、受信者（サブスクライバー）であるシステムは必要なメッセージを購読して受信します。

リアルタイム性と拡張性に優れているため、スピードが求められるデジタルサービスや正確性が求められる顧客接点の多い業務に最適で、例えば以下のようなケースで採用されます。

◆パブリッシュ/サブスクライブ型が採用されるケース

データ連携モデルを選定する際には、技術的な観点だけで選ぶのではなく、「全体最適を優先すべきか、短期的なコスト削減を優先すべきか」という経営視点から総合的に判断すべきです。

膨大な商品情報を管理するのは難しい

ここまでで、企業内のさまざまな情報のデータ統合について説明してきました。ここからは、その中の「商品情報管理」におけるデータ統合を取り上げていきます。

他チャネルで大量の商品を販売している企業では、商品の価格やスペックなどの基本情報だけでなく、販売活動で使用している画像や動画、記事などのコンテンツやプロモーション履歴なども管理する必要があります。

膨大かつ多様な商品情報を部門や販売チャネルごとに管理している場合、データの更新や管理コストがそれぞれで発生する上、データの不整合が生じやすくなり、その結果、複数のチャネルで異なる情報や誤った情報を発信して顧客の信用を損ねたり、データを活用した効果測定ができなくなったりするリスクが高くなります。

そうしたリスクを回避するためには「PIM（Product Information Management）」の導入が必要になります。

PIMで商品に関するあらゆる情報を一元管理しよう

PIM（Product Information Management）は、商品に関するさまざまな情報を収集・整理して一元管理し、各部門や販売チャネルのシステムに正確な最新情報を効率的に配信するための仕組みです。

単一の信頼できるデータ基盤としてPIMを導入することで、煩雑な商品情報管理を効率化でき、また各部門や販売チャネルでは、正確な最新情報を、必要なときに必要なフォーマットをスピーディに利用できるため、業務効率化だけでなく、顧客体験の向上やオムニチャネルの実現、新規市場へのスムーズな参入なども可能になります。

PIMについては、以下の関連記事で詳しく解説していますので、特に商品情報のデータ統合を検討している方は、ぜひご覧ください。

関連記事：商品担当者が「PIM（ピム）」を10分で理解するプロの徹底解説

まとめ

データ統合は、単なるIT化ではなく、経営課題を解決し、新たなビジネスモデルを創出するための戦略的な取り組みとして捉える必要があります。

今のデジタル時代に企業が成長していくためには、企業内に散在している膨大なデータを統合し、正確で一貫性のあるデータを利活用するための基盤の整備は、避けては通ることができない重要な課題の1つです。

特に、膨大な商品情報を取り扱っている企業では、PIMによるデータの利活用が不可欠です。

インターファクトリーの商品データ統合プラットフォーム「EBISU PIM（エビス ピム）」は、信頼性の高い商品コンテンツをさまざまなチャネルに配信することができるクラウドサービスです。PIMの導入をご検討中の際は、ぜひ下記の公式サイトをご覧ください。

公式サイト：EBISU PIM(エビス ピム)