「小さく始めるデータ活用基盤」を実際に構築してみた ― Azure Data Factory＋ADLS＋Power BI

はじめに

MS開発部の松坂です。

前回の記事もぜひご一読ください。

【ブログ】Microsoft Fabricは最初から必要？ 小さく始めるデータ活用基盤という選択肢

前回の記事では、Microsoft Fabricを最初から全面的に導入するのではなく、 まずは必要なところから小さくデータ活用を始め、 利用範囲の拡大に合わせてMicrosoft Fabricへつなげていく、 という考え方をご紹介しました。

その中で、データ活用の基本的な流れとして、 「集める → 貯める → 整える → 見る」 という考え方を取り上げました。

今回は、この流れを実際にAzure上で試してみます。

CSV・Excel・Azure SQL Databaseという複数のデータを用意し、 Azure Data Factoryを使ってAzure Data Lake Storage Gen2へ集約し、 最後にPower BIからデータを可視化するところまで進めます。

今回作る構成

今回構築する環境の全体像は、次のようなシンプルな構成です。

CSVとExcelはAzure Blob Storageへ配置し、 Azure SQL DatabaseのデータとあわせてAzure Data Factoryから取得します。

取得したデータはAzure Data Lake Storage Gen2へ集約し、 その後Power BIから利用します。

実際の業務でも、ExcelやCSV、業務システムのデータベースなど、 複数の場所にデータが分散しているケースがあります。 今回は、そのような環境をシンプルに再現しています。

まずはデータを用意する

最初に、検証で利用するデータを用意しました。

今回は、 売上情報をCSV、 商品情報をExcel、 顧客情報をAzure SQL Databaseに保存しています。

CSVとExcelについてはAzure Blob Storageへ配置します。

Azure SQL Databaseには顧客データを登録し、 ファイルとデータベースという異なるデータソースから 同じデータ基盤へデータを集約できるようにしました。

Azure Data Lake Storage Gen2を用意する

次に、データの集約先としてAzure Data Lake Storage Gen2を用意します。

今回は、売上・商品・顧客データが判別しやすいように、 データの種類ごとに保存先を分けました。

最初から複雑な構成にするのではなく、 どのデータがどこに保存されているのか分かりやすい構成から始めています。

このADLS Gen2を、今回のデータ活用基盤における データの集約先として利用します。

Azure Data Factoryでデータを集約する

次に、Azure Data Factoryを使って、 CSV・Excel・Azure SQL Databaseのデータを Azure Data Lake Storage Gen2へまとめて取り込みます。

今回は、データソースごとに個別の処理を分けるのではなく、 1つのパイプラインの中で複数のデータを順番に取り込む構成としました。

Azure Blob Storageに配置したCSV・Excelと、 Azure SQL Database上の顧客データをそれぞれ取得し、 ADLS Gen2内の保存先へ格納します。

• CSV：売上データ
• Excel：商品データ
• Azure SQL Database：顧客データ

パイプラインを実行し、 すべてのデータがADLS Gen2へ正常に保存されることを確認しました。

これで、複数の場所に分かれていたデータを、 1つの処理フローでまとめて集約できました。

Power BIで可視化する

データをADLS Gen2へ集約できたので、 次はPower BIで実際にデータを利用してみます。

Power BIから必要なデータを取得し、 分析に利用しやすい形へ整えたうえでレポートを作成します。

今回用意した売上・商品・顧客データを組み合わせることで、 例えば次のような情報を確認できます。

• 売上の推移
• 商品別の売上
• カテゴリごとの比較
• 顧客ごとの売上状況

これまでCSV、Excel、データベースと別々の場所に存在していたデータを、 一つのレポート上で確認できるようになります。

データを集めるだけでは業務での価値は生まれにくいため、 最終的にPower BIなどを使って 「見える状態」にするところまでが重要です。

実際に作ってみてどうだったか

今回実際に環境を構築してみると、 データソースや利用範囲が限定されている段階であれば、 Azureの各サービスを組み合わせることで、 比較的小さな構成からデータ活用を始められることが分かりました。

今回利用した主なサービスは、 Azure Blob Storage、Azure SQL Database、 Azure Data Factory、Azure Data Lake Storage Gen2、 そしてPower BIです。

例えば、 「まず一部門のデータをまとめたい」 「Excel中心の集計を改善したい」 「複数のシステムにあるデータをまとめて可視化したい」 といった段階では、このような構成から始めることもできます。

一方で、今回のような小規模な構成でも、 データソースごとの接続設定やData Factoryの処理、 保存先などをそれぞれ管理する必要があります。

データソースや利用する部門、分析用途、権限管理などが増えていけば、 こうした管理対象も増えていきます。

そのような段階になると、 データ統合・蓄積・分析・可視化などを 一つのプラットフォーム上で扱える Microsoft Fabricを検討するメリットも大きくなってきます。

今回の構成はMicrosoft Fabricの代わりを作ることが目的ではなく、 将来的なFabric活用も見据えながら、 現在必要な規模からデータ活用を始めるための一例 と考えるのがよいでしょう。

まとめ

今回は、CSV・Excel・Azure SQL Databaseという 異なる場所に存在するデータをAzure Data Factoryで取得し、 Azure Data Lake Storage Gen2へ集約しました。

さらに、集約したデータをPower BIから利用することで、 データの収集から可視化までの一連の流れを構築しました。

小規模なデータ活用であれば、 必ずしも最初から大規模な統合データ基盤を用意する必要はありません。

まずは現在必要なデータや用途から始め、 実際にデータを活用しながら利用範囲を広げていく。

そして、データソースや利用部門、分析用途が増え、 より高度なデータ管理や分析が必要になった段階で、 Microsoft Fabricへの拡張を検討する。

「小さく始めて、必要に応じて育てていく」

今回実際に環境を構築してみることで、 そのような段階的なデータ活用も 一つの進め方として考えられることを確認できました。

興味がございましたらこちらも併せてご一読ください。

【資料ダウンロード】Microsoft Fabricを見据えた、 スモールスタートのデータ活用