Azure Managed Service Column ＜Azure運用コラム＞Azure Data Explorerとは？Azureが提供する大量データのリアルタイム分析プラットフォームについて解説します！

概要、特徴、仕組み、価格に、基本的なデプロイ方法とともに解説

近年ではビックデータを活用したデータ分析プラットフォームが注目を集めています。データ分析プラットフォーム（ DMP ）とは Data Management Platform の略であり、これまで蓄積されていたデータを一元的に分析することで、あらゆるジャンルのマーケティングや意思決定に役立つ知見を得るためのプラットフォームです。

Azure Data Explorer は、大量のデータをほぼリアルタイムに分析することができる、フルマネージドでハイパフォーマンスなビッグデータ分析プラットフォームです。 Azure Data Explorer は様々な機能を実装し、重要な情報分析と抽出、パターンと傾向の特定、予測モデルの作成を簡単に行うことができ、ログ分析、時系列分析、 IoT 、汎用の調査分析に役立てることができます。

本記事では Azure Data Explorer についての概要、機能、仕組み、メリット、価格について解説します。

1. Azure Data Explorerとは？

概要

Azure Data Explorer は大量のデータをリアルタイムで分析できるようにする、フルマネージドのビッグデータ分析プラットフォームです。ログデータのような非構造化データや、 json のような構造化されたデータや半構造化のデータなどあらゆる構造のデータを対象に時系列で分析することができます。

分析には Azure Machine Learning が使用されるので、重要な分析情報の抽出、パターンと傾向の特定、予測モデルの作成など高度な分析を簡単に行うことができます。

またデータの探索言語としてKQL ( Kusto クエリ言語）を用いることで、高度なデータ分析とリニアにスケールする大容量のデータの探索を実現することができます。

特徴

Azure Data Explorer は大量のデータを取り扱うサービスですが、 リレーショナルデータベース管理システム（ RDBMS ） が得意とするトランザクショナルデータではなく、 IoT 機器が出力する時系列データなどを利用します。

このようなログデータは分析、可視化が主な目的であり、従来の SQL データベースのような RDBMS にデータをためるよりも、 Azure Data Explorer にためておくことでより効果的に活用することができます。また多様なログデータやスキーマ、整っていない生データ、大量のデータを取り込み、高速に分析できる点が大きな特徴です。

図版出典：Microsoft 公式サイト

Microsoft も自社において以下のサービスで Azure Data Explorer を活用しています。

Azure

日々大量のログデータを分析し、 Azure ポータル上にユーザに対する可視化機能を提供。

Xbox

SQL に代わる使いやすいクエリ言語である KQL を活用。

Office365

顧客から届く大量のリアルタイムフィードバックを把握し分析することで改善に活用。

Defender

悪意のある攻撃の予兆をいち早く捉え、検出精度を高め、機械学習の分析効率向上に活用。

Azure Log Analyticsとの違い

類似したサービスに、 Log Analytics という分析サービスがあります。似たような分析機能を提供するサービスですが、どのような違いがあるのでしょうか？

Log Analytics は短期の保存・分析・監視用に向いているサービスであり、それに対し Azure Data Explorer は長期の分析用に向いています。利用例として、まずは短期の保存・分析・監視用に Log Analytics でデータを持ち、一定期間をすぎたものはストレージにアーカイブし、これを分析する際に Azure Data Explorer からクエリするなどの使い方が可能です。

このように、 Azure Data Explorer から Log Analytics へのクエリもサポートされており、これらを組み合わせて使うことでより効果的に利用できます。

図版出典：Microsoft 公式サイト

2. Azure Data Explorerの仕組み

仕組み

Azure Data Explorer は フルマネージドサービスで、PaaS型、IaaS型のそれぞれのメリットを組み合わせたサービスです。サーバーレスではなく、基盤はAzureの仮想マシンであるため、 IaaS としてクラスターをデプロイし、その上に PaaS としてのデータベースを構築して、機能を利用することができます。

データの取り込みには Azure サービスのみならず、 Logstash 、 kafka などに対応し、様々なデータ構造型にも対応しています。クエリ言語は KQL 、標準 SQL に対応し、様々なツールや UI との連携も可能です。

図版出典：とうとうGAしたイチオシの最強最速データ分析基盤 Azure Data Explorer をつかってゲームのBig Data 分析をしよう

利用方法

では Azure Data Explorer を利用開始するまでの一連の手順を紹介します。この一連の流れを見ていくことで仕組みについてのイメージが湧きやすいと思います。

手順1：クラスター作成

クラスターとは、 Azure Data Explorer を構成する仮想サーバー群であり、そのクラスターにデータベースを作成する流れとなります。

1. Azure portal にサインイン

2.「 Azure Data Explorer Clusters 」＞「追加」をクリック

3. クラスター作成に必要な項目を入力

4. 「確認と作成」＞「作成」をクリックして作成を開始します。作成が終わったら次はデータベースの作成です。

手順2：データベース作成

Azure Data Explorer クラスターには最大 10,000 個のデータベースと各データベースには最大 10,000 個のテーブルを保持でき、さまざまなデータを格納することができます。

1.「データベースの作成」をクリック

2.データベース作成に必要な項目を入力し「作成」をクリック
保持期間とキャッシュ期間は課金額に影響するので注意が必要です。

図版出典：Azure Data Explorerができることを理解する

3.[作成] を選択してデータベースを作成
1 分未満で作成は完了します。

手順3：データの取り込み（サンプルデータの取り込み）

クエリを実行できるように、データをデータベーステーブルに読み込む手順です。 Azure Data Explorer では複数のデータインジェスト方法がサポートされており、それぞれに固有のターゲットシナリオが存在します。

データインジェストとは、 Azure Data Explorer でテーブルへデータレコードを読み込むために使用されるプロセスです。 取り込まれたデータは、クエリに使用できるようになります。

図版出典：Microsoft 公式サイト

1.左側のメニューで、[データ] を選択

2.[データ管理] ページで、[ BLOB からのデータの取り込み]、[ Ingest ](取り込み) の順に選択
[ Destination ](場所) タブに、次の情報を入力

3.[ Next : Source ](次へ: ソース) を選択
[ソース] タブに、情報を入力

4.[ Next: Schema ](次へ: スキーマ) を選択。スキーマの詳細を確認

5.インジェストが完了

手順4：クエリの実行

取り込んだデータに対しクエリを実行する手順です。

1.前手順より引き続き、左側のペインで [クエリ] を選択

2.次のサンプルクエリを貼り付けて、[実行] を選択

StormEvents
| sort by StartTime desc
| take 10

3.取り込まれたサンプル データから次のクエリ結果が返されることを確認

図版出典：Microsoft 公式サイト

手順5：データの可視化

Azure Data Explorerでは取り込んだデータのクエリ、分析結果などを可視化することができます。可視化する方法は主に以下の３つです。

• Kusto クエリ言語の render
• Azure Data Explorer のダッシュボード
• 対応する BI サービスやツール

以下の2つについて解説します。

Azure Data Explorerのダッシュボード

ダッシュボードは、 Azure Data Explorer Web UI が提供する機能です。定義したクエリを埋め込み、複数のグラフを表示できます。

図版出典：Azure Data Explorerができることを理解する

図版出典：Microsoft 公式サイト

対応するBIサービスやツール

Azure Data Explorer に格納したデータを様々な BI ツールで検索・表示できます。アクセスするには、 Azure Data Explorer 用のコネクタやプラグインを使う方法と、 ODBC や JDBC などの汎用コネクタを使う方法があります。

BI ツールは表現力に優れており、使いやすいものが多く存在します。以下に紹介するツールはほんの一例です。

• Excel
• Power BI
• Kibana
• Grafana
• Tableau
• Qlik
• Sisense
• Redash
• Jupyter Notebook

3. Azure Data Explorerの価格

Azure Data Explorer の価格は、以下から構成されます。詳細は公式サイトをご参照ください。

• インスタンスの料金
• Azure Data Explorer 割増料金
  （インスタンスの上で Data Explorer の機能を実現する上での追加料金）
• ストレージの料金
• ネットワークの料金（ Azure 共通）

4.まとめ

Azure Data Explorer は大量のデータをリアルタイムで分析できるフルマネージドのビッグデータ分析プラットフォームです。本記事では機能概要、仕組み、利用開始までの手順について基本的な内容を解説しました。データが持つ付加価値を高め、あらゆる場面での利活用が期待されるサービスです。是非導入をご検討ください。導入において難しく感じられる場合、専門家へのご相談を推奨致します。

Microsoft Azureを利用したシステムの設計・構築を代行します。お客様のご要件を実現する構成をご提案・実装いたします。

Tag： Azure Data Explorer

• 

  Azure App Configurationとは？クラウドアプリ開発の課題とAzureでの解決方法を解説

• 

  収集したデータの可視化・分析機能を提供するAzure Log Analyticsについて解説します！