Big Data Discoveryについて

Big Data Discoveryは、データ・サイエンティスト、アナリストおよびデータ調査担当者用の製品です。このトピックでは、一般的な目標およびニーズ、そしてそれらに対処するためにBig Data Discoveryを使用する方法を説明します。

データ・サイエンティストまたはアナリストには次の目標やニーズがあります。

複雑でクリティカルな問題を解決する必要があり、多くの場合、重要かつ特有の問題に対処する必要があります。
多数の不適格な質問を動的に受け取り、データ、視覚化および検出機能がいつ必要になるか予測できません。
このようなその場その場で発生する問題に対処するには、オープンソースでカスタムメイドの検出ツールまたはツール・セットを利用します。しばしば、他の多くのツールと組み合せてツールを使用し、それらを切り替えて必要な結果を取得します。
Oracle Big Data Discoveryでは、複数のツール間のこのような断片化されたワークフローが、Hadoopエコシステムに含まれる1つのワークフローで置き換えられます。
チームの他のメンバーと一緒に、複数の外部ソースや内部ソースから届くビッグ・データを処理します。他のチーム・メンバーは調査結果を利用できます。また、インサイトや新しい提案のプロトタイプを改善して公開します。
多くの場合、ユーザーが求める実用的なインサイトは、ビジネスの変更、既存の製品、サービスおよび運用の強化、また新たなデータに基づく製品、サービスおよび提案の識別、定義およびプロトタイプ化などに適用できるものです。
ビジネスの目標を達成するには、多くの場合、インサイトを得てそれを活用する必要があります。こうしたインサイトは、Big Data Discoveryでの独立した検出作業や共同の検出作業から生みだされます。インサイトを求めることは、データの意味を解明することです。次の方法によって行います。
- データ収集
- データ・クレンジング
- データ分析

さらに、しばしば、データ・サイエンティストは、複数のデータ・セットと中間的に生成されたデータが裏付けとなる複数の仮説を並行して調べる必要があります。公式にも非公式にも仮説を組み立ててテストする必要がよくあります。これには、他の人物が作成した実験方法と結果の評価や学習が必要です。

分析作業のすべてのステージに透過性があり、繰返しや他のユーザーとの共有が保証されると、非常に有効です。たとえば、以前に作成した既存の分析ワークフローの再構築すなわち繰返しが必要な場合があります。これには、すべてのステップとアクティビティの直線的な履歴が必要です。

Oracle Big Data Discoveryでは、プロジェクト、データ・セットおよび変換スクリプトの保存によって、まさにこれを行うことができます。

また、以前からの問題に対処するために、新しい視点を提供する必要もよくあります。解決に至る道筋で、通常は以下を含む検索が行われます。

仮説の修正
仮説の検証
データの再収集

結論として、Big Data Discoveryではこれらの目標すべてを達成できます。

Hadoopエコシステムでの作業を続けながら、Hive表で検出されたデータのビジュアル表示としてBig Data Discoveryを使用します。
独自のビジネス・ニーズに適したカスタム検出アプリケーションを作成します。
総合的かつ継続的に、データに対して任意のタイプの検出(たとえば、顧客の理解)を実行します。データに対する検出操作を、他のユーザーにとって透過的に繰り返して実行することや、様々なソースから届く多様かつ大規模なデータ・セットに対して検出操作を実行することが可能です。
すべての検出ソリューションの要素(データ・セット、情報モデル、検出アプリケーションおよび変換スクリプト)を最初に作成します。
検出操作を、他のユーザーにとって透過的に繰り返して実行することや、様々なソースから届く多様かつ大規模なデータ・セットに対して検出操作を実行することが可能です。
組織内の意思決定グループやソーシャル・フォーラムにインサイトを公開します。
独自のアプリケーションを新たに作成して、繰り返して使用し、幅広いユーザー・グループに公開します。

Big Data Discoveryを使用した結果

Oracle Big Data Discoveryを使用した結果として、以下のいずれかまたはすべてを作成できます。

モデル。たとえば、ビジネスの仮説を表す別のデータ・セット、または特定のビジネスの疑問に答えるデータ・セット。
プロダクト。たとえば、他の類似データ・セットすべてに適用できる一連の変換。
インサイト。たとえば、保存したいくつかの視覚化を使用して、組織内の他の人々に簡単に説明やプレゼンテーションを行うことができる結論。
インフラストラクチャ(Big Data Discoveryをコンポーネントとして含む一連のツール)。
ツール。将来のデータ・セットをさらに分析するために使用します。

成果として、直ちにアクションにつながるインサイトや、特徴選択を実行してさらに洗練された数学的モデルを構築するために必要な直感と理解を得ることができます。また、将来の結果の予測に基づいて経営上の意思決定を行い、新しい機能とサービスのためのデータ・プロダクトを作成することもできます。