【新機能リリース！】Microsoft FabricにBigQueryのミラーリング機能がリリースされたので試してみた

こんにちは、MS開発部の渋谷です。

クラウド時代のデータ活用が高度化する中で、企業システムに求められる要件は、単に大量データを高速に処理できることだけではありません。どれだけシンプルに、そしてセキュアにデータ基盤を構成し、既存資産を無理なく活かせるか。この点がますます重要になっています。

Microsoft Fabricはマイクロソフトによって提供されているAI搭載のデータ分析プラットフォームです。

今回、Microsoft FabricにGoogle BigQueryのミラーリング機能が追加され、異なるクラウド間のデータ連携がよりシームレスに行えるようになりました。

SaaSでありながら統合的な分析環境を提供するFabricですが、他クラウドとのデータ同期となると少しだけ複雑に見える部分もあるかと思います。

そこで本記事では、FabricでBigQueryのミラーリングをどれだけ簡単に構成できるのかを検証し、実際に動かして確認してみることにしました。

Microsoft Fabricとは？

Microsoft Fabricは、企業が扱うあらゆるデータ活用プロセス——データの収集・取り込み・加工・保存・分析・可視化までを一つの統合プラットフォームで完結できるSaaS型のデータ分析基盤です。従来はETLツール、データレイク、データウェアハウス、BIツールなど、複数のサービスを組み合わせて運用する必要がありました。しかしFabricはそれらをすべて統合し、データ分析のオールインワン環境を提供します。

Fabricの中心にはMicrosoft独自の統合ストレージレイヤーOneLakeがあり、組織内のデータを一元管理し、サービス間のコピーや再配置を最小化します。すべてのワークロードがOneLake上で動作するため、データ重複やサイロ化が解消され、分析や運用のスピードが大きく向上します。

さらに、データエンジニアリング、データサイエンス、リアルタイム分析から BI レポーティングまで、必要なすべての領域をカバーするワークロードが統合されているのも特徴です。Power BI やMicrosoft 365、Copilotとも密に連携し、ノーコードから高度な開発まで幅広いユーザーが同じプラットフォーム上で作業できます。

つまりMicrosoft Fabricとは、マルチクラウド時代における、データ活用の複雑さを根本から解消するための、次世代データ基盤と言える存在です。

実際に試してみた

Fabricには多数の機能がありますが、本記事では最近リリースされた「Google BigQueryのミラーリング」を試してみます。

まずは検証用のBigQueryを用意します。(既に環境を持っている方は飛ばしてください。)

「データセットを作成」します。

任意のIDを入力しデータセットを作成します。

「テーブルを作成」します。

今回はサンプルデータ(csv)を用意してアップロードをし「テーブルを作成」します。

テーブルが作成されました。

IAMの設定画面から「サービスアカウントを作成」します。

「BigQuery管理者」と「ストレージ管理者」権限を付与します。

作成されたメールアドレスをコピー後、「鍵を管理」を選択します。

「キーを追加」から「新しい鍵を作成」を選択します。

「JSON」を選択し「作成」します。(※この時、組織の適切な権限が付与されていないとキーがダウンロードできないのでご注意ください)

CloudStorageのバケットを作成します。

BigQueryと同じリージョンで作成します。

以上でGoogle Cloud側の設定は完了です。続いてFabricにアクセスをし「作成」画面から「すべてを表示」します。

「ミラー化 Google Big Query (プレビュー)」を選択します。

「Google BigQuery」を選択します。

「ユーザー名」には先ほどコピーしたメールアドレスを、「パスワード」にはダウンロードしたJSONキーをコピーして貼り付けて「接続」します。

データを選択し「接続」します。

「ミラー化されたデータベースを作成する」をクリックします。

しばらくするとデータがレプリケーションされます。レプリケーションが完了したら「T-SQLでのクエリ」を実行してみましょう。

FabricからBigQuery上のデータを確認することができます。

さいごに

今回は新しくリリースされたMicrosoft FabricのGoogle BigQueryミラーリング機能を試してみました。

細かい権限設定などはありますが接続さえできてしまえば簡単にデータ操作できることが分かりました。Fabricを使うことで様々な環境のデータを統合して管理できるのはとても便利ですね。

本記事作成時点ではプレビューの機能のため、本番運用に際してはご注意ください。最新情報は公式ドキュメントをご参照ください。

皆様の業務に少しでもお役に立つ情報をお届けできていれば幸いです。