ビッグデータとは？定義と活用方法、Azureにおけるビッグデータ管理・分析方法を解説

2021.12.23

ビッグデータで何ができる？ビッグデータを活用するためのサービスを紹介
1. ビッグデータとは
2. Azureにおけるビッグデータ管理・分析サービス
3. まとめ

ビッグデータで何ができる？ビッグデータを活用するためのサービスを紹介

ビッグデータと聞くと、漠然と「膨大なデータ」というイメージがあるかもしれませんが、ビッグデータとは具体的にどのようなものを指すのでしょうか。

ビッグデータとは、一般的に「3つのV」と呼ばれる定義があり、日々膨大に生成・処理されているさまざまな形式のデータを指します。ビッグデータはビジネスの分野だけでなく、AIやIoTの分野でも活用され、私たちの暮らしを大きく変える可能性を秘めています。

本記事では、ビッグデータの定義や活用方法を明確化し、マイクロソフトのクラウド、Azureにおいてビッグデータを管理・分析するためのサービスの概要を解説します。

Azure導入について相談する

1. ビッグデータとは

システムの開発や提案に携わっていると、ビッグデータという言葉を耳にする機会があるかもしれません。ビッグデータとは具体的にどのようなもので、どのようなメリットや活用方法があるのでしょうか。まず、ビッグデータの定義を明確化した上で、ビッグデータのメリットと活用事例について解説します。

1.1 ビッグデータの定義

ビッグデータという言葉は、2001年頃、現ガートナー社のダグ・レイニー氏によって提唱された言葉で、下記に示す「3つのV」と呼ばれる特性を持つデータを指します。つまり、ビッグデータとは、日々膨大に生成され、リアルタイムに処理されているさまざまな形式のデータ（非構造化・半構造化データ）ということになります。

Volume（ボリューム：量）
Variety（バラエティ：多様性）
Velocity（ベロシティ：速度）

1.1.1 Volume（ボリューム：量）

Volumeとは、データそのものの量、膨大さを意味します。ITの進歩により、企業で生成・蓄積されるデータは年々右肩上がりに増加しています。米調査会社IDCの調査（※1）によると、2012年には2.8ゼタバイト（1兆の10億倍）だった世界のデータ量は、2020年に40ゼタバイトまで膨れる予測を立てていましたが、コロナ禍でビデオ会議等が増えた影響により、実際は59ゼタバイトにも膨らんでいると発表されています。

※1 参考：CNET Japanニュース

1.1.2 Variety（バラエティ：多様性）

Varietyとは、データの多種多様性を意味します。ビッグデータに属するデータの範囲は非常に幅広く、従来から企業で蓄積される販売・在庫データのようなテキストやメールだけでなく、音声、動画、画像、位置情報、センサーデータ、SNS内データ、株価・決済データなど広範囲に渡り、さまざまな形の構造化データ、非構造化データが含まれています。

1.1.3 Velocity（ベロシティ）

Velocityとは、入出力データの速度・処理のリアルタイム性を意味します。膨大に生成されるデータを何もせず蓄積するのではなく、目まぐるしく変化する社会・環境にビジネスを適応させるために、膨大なデータを迅速に分析して利活用する必要があります。

1.2 ビッグデータのメリット

ビッグデータの最大の特徴は、膨大なデータをリアルタイムに処理することにあります。膨大なデータをリアルタイムに処理・分析することにより下記のメリットを得ることができます。

リアルタイムな需要予測・未来予測
リアルタイムな現状把握（異変の察知）
高精度の効果測定

1.2.1 リアルタイムな需要予測・未来予測

ビッグデータをリアルタイムに分析することにより、商品やサービスに関する需要を予測することができます。分析結果をマーケティングに利活用することで、利用者のニーズに合わせた新商品やサービスの創出につなげることができます。

1.2.2 リアルタイムな現状把握（異変の察知）

リアルタイムな状況分析と見える化により、迅速な現状把握が可能となります。例えば作業用機器や、電気・ガス・水道などインフラの異変・故障の検知や復旧に活用できます。また、業績をリアルタイムにチェックすることで業務改善や効率化も可能です。このように、非効率・不要なビジネスを洗い出し改善につなげることができます。

1.2.3 高精度の効果測定

ビッグデータの分析によって得られたビジネスの施策は、ビッグデータを分析することによって効果を検証することができます。ビッグデータによりビジネス仮説を構築し、ビッグデータによって高精度な効果測定が可能です。

1.3 ビッグデータの活用方法・活用事例

巨大で有名なIT企業を指す言葉としてGAFAがありますが、これらの企業はどれもビッグデータを活用することで企業を発展させてきたという経緯があります。ビッグデータの活用方法・事例としてGAFAのうちの以下の2社の例を紹介します。

Google
Facebook

1.3.1 Google

Googleは、言わずと知れた検索エンジン最大手で、世界最大の広告会社としても知られています。検索エンジンから個々のユーザーの検索履歴やウェブの閲覧履歴、視聴した動画などの大量のパーソナルデータを収集し、それを分析することで、ユーザーの特性や関心を把握し、それぞれに応じた広告を表示することで広告効果を高め、大きな広告収入を得ています。

1.3.2 Facebook

Facebookは、15億人以上のユーザーを抱えている世界最大のSNSで、売上の多くをモバイルの広告収入で賄っています。15億のユーザーが発信する言語、音声、画像などの膨大なビッグデータをAIで処理することで人間には気づきにくい法則性を発見し、適切なコンテンツ表示や、利用者のSNS内における行動をAIによって予測し、適切な広告を表示することでビジネスにつなげています。

2. Azureにおけるビッグデータ管理・分析サービス

ビッグデータの概要や活用方法について解説してきましたが、実際にどのような方法でビッグデータを活用していけばよいでしょうか。ここでは、マイクロソフトのクラウド「Azure」が提供しているビッグデータを管理・分析するためのサービスの概要を紹介します。

2.1 Azure Synapse Analytics

Azure Synapse Analyticsは、ETLエンジン、データウェアハウス、ビッグデータ分析が一つになった統合的な分析プラットフォームです。AzureのETLサービスであるAzure Data Factoryと同じデータ統合（ETL）エンジンとBIツールと機械学習エンジンを持つ統合的なサービスとなっています。

2.2 Azure Databricks

Azure Databricksは、Azureプラットフォームに最適化された、データ分析のためのApache Sparkベースの分析プラットフォームです。Apache Sparkとは、ビッグデータに対して高速に分散処理を行うオープンソースのフレームワークです。高速で扱いやすく、ビッグデータ分析やAIソリューションを構築することが可能です。

2.3 Azure Machine Learning

Azure Machine Leaningは、Azure上で利用できる機械学習のサービスです。教師あり学習、教師なし学習などを含めた全ての機械学習の環境を、コーディングを行なうことなくドラッグ＆ドロップで簡単に構築することができます。さまざまな入力データに対応しており、PythonやR言語などを使用してデータの複雑な整形も可能です。

2.4 PowerBI

PowerBIとは、マイクロソフトが提供しているBI（ビジネス・インテリジェンス）ツールです。BIとは、蓄積されたビッグデータを分析し、一見関連性のない個々のデータを組み合わせることで新しい視点で価値を提供し、業務や経営の意思決定に活用する仕組みです。PowerBIは、ビッグデータを抽出・変換・統合し、分析結果をレポートとして可視化する機能を持ちます。デスクトップアプリとしても、Azure上で使用することも可能です。

2.5 Azure Purview

Azure Purviewは、オンプレミス、マルチクラウド、SaaS (サービスとしてのソフトウェア) にあるデータの管理と制御を支援する「統合データガバナンスサービス」です。データガバナンスとは、データの管理、検索、分析を意味しており、組織に蓄積されている全てのデータを把握し、誰でも検索・分析をできるように適切に管理するためのサービスです。

2.6 Azure Data Lake Storage Gen2

Azure Data Lake Storage Gen2は、ビッグデータを蓄積するためのストレージで、ビッグデータ分析用のスケーラブルで費用対効果の高いストレージサービスです。Azure Blob Storage と既存のAzure Data Lake Storage Gen1の機能を集約したもので、ペタバイト単位の膨大なエンタープライズ向けのビッグデータを蓄積・管理することができます。