Azure Managed Service Column ＜Azure運用コラム＞大量のデータを重要な価値に変える？！ Azure Cognitive Searchとは？

〜Azure Cognitive Searchの概要、機能、価格、ユースケースを紹介します〜

近年、あらゆる業界でDX化が進み、AIを活用したスマートテクノロジーが普及しています。このようなスマート化に欠かせないのが、AIによる自動学習で大量に蓄積されたデータです。インフラの高速化、ストレージの大容量化に伴いクラウド環境で蓄積され、インターネットの仮想的な領域と、物理的な領域を素早くやりとり出来るようになりました。

しかし、データは日々膨大に増え続けています。データは蓄積するだけでは価値を生み出しません。データ管理を怠れば、膨大なデータに重要な情報が埋没してしまい、生産性が低下してしまう可能性もあります。つまりデータは活用すれば価値として効果を発揮しますが、放置すればリスクになりうる諸刃の刃といえるでしょう。

普段何気なく利用しているデータですが、データ運用はこれからのDX時代を生き抜くための重要なポイントです。
本記事では、昨今注目を集めているデータの効率的な利活用を実現するAzure Cognitive Searchについて解説します。

1. Azure Cognitive Searchの概要

Azure Cognitive Searchとは、AIを活用したクラウド検索サービスです。旧称としてAzure Searchと呼ばれていましたが、2019年10月にAzure Cognitive Searchに名称が変更となりました。

このクラウド検索サービスは、Microsoftの検索サービスであるBingや、Officeアプリケーションで培われたナレッジをベースとしており、AIによる自動学習機能を搭載し、自然言語だけでなく音声や画像などに対しても精度の高い検索を行うことができます。

Azure Cognitive Searchは大量のデータに埋もれた情報の中から、価値のある情報を発掘するデータマイニングを実現します。

データマイニングが注目されている背景

それでは、なぜAzure Cognitive Search が実現するデータマイニングが注目されているのでしょうか。2010年頃から「ビックデータ」という言葉が流行し、大量のデータに対する管理、運用方法が注目されはじめました。

そこで登場したのが、「データレイク」と呼ばれるストレージリポジトリです。データレイクは、スピーディーで安価なストレージをほぼ無制限に使えることから、管理手段を定めず、データを一時的にとりあえず入れておくという運用が定着しました。
そのことでデータレイク「湖」が、ただデータを集めただけの「沼」となり重要な情報が埋もれてしまうという問題が生じました。

将来、世界中で生成されるデータ量は2025年には 163ZB（ゼタバイト）の規模に達すると予想されている中で、可視化されたビックデータの運用は重要な課題と言えるでしょう。

このような背景からビックデータに埋もれた価値を発掘し、有効活用するAzure Cognitive Searchが効果的なソリューションとして注目を集めているのです。

構造化データと非構造化データについて

ビックデータと呼ばれるデータの種類は実に様々です。データマイニングにおいては大前提として構造化データと非構造化データの2種類に大分されます。Azure Cognitive Searchを解説する上で重要な概念となるので紹介します。

構造化データ

構造化データとは、わかりやすく例えればExcelやCSVファイルなどで表現される、「列」と「行」の概念をもち「構造化」して格納したデータです。「列」と「行」によって格納場所が決められているため、データの検索、集計、比較、解析、分析に適したデータ構造と言えます。

非構造化データ

非構造化データとは、電子メール、MicrosoftのOffice、PDFファイル、画像、動画、音声ファイルなど、データ単体で意味を持つものです。日常のありとあらゆる業務データが対象となり、データベースでの整理は難しいデータと言えます。

企業で扱われているデータの大部分が非構造化データです。その背景はICTの普及、電子メール、Microsoft社のOffice製品、Adobe社の製品が、ありとあらゆる業務やコミュニケーションに組み込まれたことに起因しています。さらにe-文書法や電子帳簿保存法などの法規制整備により、紙媒体が電子データとして活用されるようになったことも大きな要因と言えるでしょう。

このようにAzure Cognitive Searchは大量の非構造データから高度なデータマイニングを行い、データの価値を最大化するソリューションサービスです。

2. Azure Cognitive Searchの機能

ここからはAzure Cognitive Search の主な機能を紹介します。

あらゆるデータの取り込みとインデックスの作成機能

Azure Cognitive Searchはデータソースとして多くの非構造化データを取り込む事ができます。Word、PowerPoint、Excel、PDF、RTF、 html、xml、jsonなど、そのまま取り込むものもあれば、ドキュメント内部の画像データ(jpg、png、bmpなど) のように一部データのみを取り込むことも可能です。

またAzure上のデータであれば、Azure Blob Storage、Azure Files、Azure SQL DB、MySQLなど、選択するだけでデータソースとして利用できます。
取り込んだデータソースは、インデックスの自動生成、データ整形、説明文、タグ付け、顔の認識、キーワードの抽出などのカスタムデータ付加が可能です。取り込み後は即時に全文検索エンジンとして利用できます。

様々な検索機能

基本的な自由形式のテキスト検索をはじめ、キーワードなどではなく会話文のようなフルテキスト検索、演算子を用いた単純クエリ構文による検索、ワイルドカードやあいまいな語句による検索ができます。

他にもスコアリング検索機能による関連性の検索、セマンティック検索機能による高度なDeep Learning検索、地図座標を活用した空間検索機能など高度な検索機能に加え、オートコンプリート、検索候補の表示、自動的な検索語句の関連付け、強調表示、並べ替えなど検索支援機能も充実しています。

このような高度な検索機能によって利用者の「意図」を汲んだ的確な検索を行うことができます。

セキュリティ機能

取り込んだデータはインデックス、カスタムデータなど含め、完全に暗号化されます。またIPアドレスのルールセットを設定する事で、検索サービスの要求を受け付けるIPアドレス範囲を設定することができます。

ご利用前には機能の詳細を公式サイトにてご確認下さい。

※参考1　Azure Cognitive Searchの概要

3. Azure Cognitive Searchの価格

Azure Cognitive Searchは、無料プラン、Basicプラン、Standardプラン、Storage Optimizedプランが存在します。（2022年4月時点）それぞれ、ストレージ容量、インデックスの数、読み出す画像のデータ量などに応じてプランが用意されています。

無料プラン

ストレージ50MB、サービスあたりの最大インデックス数は3、解読するドキュメントは20までに制限されています。Azure Cognitive Searchをまずはお試しで使ってみたいという試験的な小規模利用には最適なプランです。

Basicプラン

ストレージ容量は2GBで、サービスあたりの最大インデックス数は15です。最低限のストレージ容量が設定されたプランと言えるでしょう。ドキュメントの読解や、画像の抽出は画像の容量によって価格が異なるため注意が必要です。

Standardプラン

S1からS3のオプションが存在します。ストレージ容量、インデックス数、スケールアウトの制限などによって価格が異なるため注意が必要です。

Storage Optimized エディション

Storage Optimized エディションには「L1」と「L2」のオプションが存在します。共に価格を下げ、大幅に容量を増やしたストレージを提供しています。このエディションは、大規模なファイル リポジトリでの内部アプリケーションの検索、何年にもわたる業務データのアーカイブ検索、または電子情報開示に向いているプランと言えるでしょう。

こちらもご利用前には詳細を公式サイトにてご確認下さい。

※参考2　Azure Cognitive Searchの価格

4. Azure Cognitive Searchのユースケース

ここからはデータの効果的な活用事例としてAzure Cognitive Searchのユースケースを紹介します。

法的文書のリスク評価

変化する規制環境に対応するために、企業における法的文書のコンプライアンス準拠は大きな課題です。その点においてPDF、画像、マップ、印刷済みドキュメント、手書きドキュメントなど非構造データは従来の検索では違反を見つける事が難しく、リスクが高いと言えます。

Azure Cognitive Searchではこれらをスキャンし、電子化して、AI分析、スコアリング、自動的にタグ付を行い、データを構造化することが出来ます。テキストの抜粋を様々な方法で定量化できるように整形することで、法的文書のコンプライアンス違反を抽出可能なリスク評価の検索環境を実現します。

ドキュメント検索の効率化による生産性の向上

製造系の現場において、大量のドキュメントから目的の情報を抽出するのに時間がかかり、生産性を低下させる原因となっています。特に技術情報など、専門性の高い情報は、答えを探すのに何日も費やす可能性があり、大きなコストと言えるでしょう。

また顧客に適した提案やサポートを行うビジネススピードに対応する必要がある環境では機会損失などのリスクにもつながります。

Azure Cognitive Searchでは非構造データを構造化し、必要な情報を、検索結果から抽出し、一つの画面に表示することができます。ドキュメント検索時間短縮による効率化のみならず、Azure Cognitive Searchの高度なキーワード検索に加え、最先端のDeep Learningによるセマンティック検索機能により、より有用性の高い意図を汲んだ実用的なデータ検索が可能です。

不正検知を目的とした利用

金融業界では、クレジットカードが不正利用された時に、カードの利用が停止される仕組みの中で、不正行為パターン分析にAzure Cognitive Searchが活用されています。利用パターンを検索エンジンに取り込み不正パターンを検出したり、地図座標を活用した地理検索機能により、いつもの行動パターンと異なる座標を検出したりすることが可能です。

ここでは代表的なユースケースを紹介させていただきました。Microsoft社の公式Tech Briefing（動画）では他にも多くの事例が紹介されております。昨今、様々な業界、利用シーンで活用されています。ご参考にしてください。

※参考3　Azure Cognitive Search インダストリーシナリオに合わせた事例紹介

5.まとめ

本記事では、Azure Cognitive Searchについて、 概要、機能、価格、ユースケースについて紹介しました。活用すれば価値、放置すればリスクとなるビックデータの運用は、これからのDX時代において重要なポイントになるでしょう。

企業の情報資産をデータ化することは有効的で効果的なソリューションですが、データの取り扱いは専門性が高く、着手が難しいと考える企業が多いのではないでしょうか。

Azure Cognitive Searchは簡単に検索基盤を構築しデータマイニングを実現することができます。導入ご不安な点があれば、お気軽に専門家にご相談いただき、データ運用についてご検討してみてはいかがでしょうか。

Tag： Azure Cognitive Search ビッグデータ

• 

  Azure Bastionとは？踏み台による仮想マシンへのセキュアな接続方法について解説

• 

  Azure Network Watcherとは？ネットワーク監視と診断に役立つサービスを解説