7 データ・フローの使用によるキュレートされたデータ・セットの作成

データ・フローを使用すると、キュレートされた(結合、整理および統合された)データ・セットを作成できます。

内容は次のとおりです。

キュレートされたデータ・セットをデータ・フローを使用して作成するための一般的なワークフロー

ここでは、キュレートされたデータ・セットをデータ・フローを使用して作成するための一般的なタスクを示します。

タスク	説明	詳細情報
データ・フローの作成	1つ以上のデータ・セットからデータ・フローを作成します。	データ・フローの作成
フィルタの追加	データ・フロー出力でのデータを制限するには、フィルタを使用します。	データ・フローへのフィルタの追加
集計の追加	データ・フロー内のデータをグループ化するには、集計関数を適用します。	データ・フローへの集計の追加
データ・セットの列と行のマージ	データ・フロー内のデータ・セットの2つ以上の列と行を結合します。	データ・フロー内の列のマージデータ・フローでの行のマージ
ビン化列の作成	データ・セットにビン化列を追加するには、値を割り当てます。	データ・フローでのビン化列の作成
データ・フローのシーケンスの作成	データ・フローの順序リストを作成して保存します。	データ・フローのシーケンスの作成
グループの作成	データ・セット内の属性値のグループ列を作成します。	データ・フローでのグループの作成
累積値の追加	データ・フロー内で累積集計関数を適用することでデータをグループ化します。	データ・フローへの累積値の追加
データベースへの出力データの保存	データベースに接続し、データ・フローからデータベース内の表に出力データを保存します。	データ・フローからデータベースへの出力データの保存
データ・フローの実行	データ・セットを作成するには、データ・フローを実行します。	データ・フローの実行
データ・フローの実行	データ・セットを作成するかデータ・セット内のデータをリフレッシュするには、保存済データ・フローを実行します。	データ・フローの実行

データ・フローについて

データ・フローでは、1つ以上のデータ・セットを取得し、整理および統合して、効果的なビジュアライゼーションを簡単に作成するために使用できるキュレートされたデータ・セットを作成できます。

Data Visualizationのデータ・フロー・エディタを使用して、既存のデータ・セットからの特定データの選択、変換の適用、結合およびフィルタの追加、不要な列の除去、新規派生メジャーの追加、派生列の追加、その他の操作の追加を行えます。次に、データ・フローを実行して、複雑なビジュアライゼーションを作成するために使用できるデータ・セットを作成します。

「データ・フローの作成」および「データ・フローの実行」を参照してください。

データ・フローの編集について

データを選択、制限およびカスタマイズするステップを追加して、データ・フローを作成します。

次の画像は、データ・フロー・エディタを示しています。

GUID-50222F10-C622-45AF-A41F-FFB1EB04BEF8-default.gifの説明が続きます

図GUID-50222F10-C622-45AF-A41F-FFB1EB04BEF8-default.gifの説明

データ・フロー・エディタで実行できること

データ・フロー・エディタは、データ・フローを簡単に作成できるように設計された、柔軟性のあるツールです。また、次のこともできます。

列の選択、追加および名前変更
集計の追加または調整
フィルタの追加
マージ列の作成
行のマージ
ビン化列の作成
シーケンスの追加
グループの作成
累積値の追加
ステップ名のカスタマイズ
データ・フローのスケジュール
別のデータ・セットの追加

ワークフロー・ダイアグラム・ペインでステップを追加して、「ステップ・エディタ」ペインでステップの詳細を指定します。

次のヒントは、「ステップ・エディタ」ペインをより効果的に使用するために役立ちます。

「データ・フロー」エディタの下部にある「ステップ・エディタ」をクリックすることで、「ステップ・エディタ」ペインを表示または非表示にできます。

「データ・フロー」エディタの下部にある「データのプレビュー」をクリックすることで、「データのプレビュー」列ペインを表示または非表示にできます。
データ・フローに変更を加えると、「データのプレビュー」列ペインが自動的に更新されます。

たとえば、「列の選択」ステップを追加し、いくつかの列を削除してから、「集計」ステップを追加できます。「集計」ステップでの作業中は、「データのプレビュー」列ペインに、先ほど「列の選択」ステップで指定した列およびデータがすでに表示されています。
「自動適用」をクリックすることで、「データのプレビュー」列ペインでステップ変更を自動的にリフレッシュするかどうかを指定できます。
「データ・フロー・ステップ」パネルで「データの追加」を選択することで、別のデータ・セットを追加し、それをデータ・フロー内の既存のデータ・セットと結合できます。

データ・セットを追加すると結合が自動的に作成されますが、「結合」ダイアログで結合の詳細を編集できます。
Oracle Data Visualizationでは、データ・フローに対してステップを追加または削除すると、それらのデータ・フロー・ステップが検証されます。
(「列の追加」ステップまたは「フィルタ」ステップで)式を追加する場合は、「適用」をクリックしてステップを確定する必要があります。

「適用」をクリックせずに新規ステップをワークフロー・ダイアグラムに追加すると、式は適用されず、追加する次のステップで正しいデータが使用されません。

データ・フローの作成

1つ以上のデータ・セットからデータ・フローを作成できます。データ・フローではキュレートされたデータ・セットが作成され、これを使用すると、わかりやすいビジュアライゼーションを簡単かつ効率的に作成できます。

「ホーム・ページ」で、「作成」をクリックしてから「データ・フロー」をクリックして「データ・セットの追加」ダイアログを表示し、画面の指示に従ってデータ・セットを指定してから「追加」をクリックします。
データ・フローにステップを追加するには、「データ・フロー」エディタで、ワークフロー・ダイアグラム・ペインに移動し、「データ・セット」ステップの横にあるステップの追加(+)をクリックします。「データ・フローへのフィルタの追加」、「データ・フローへの集計の追加」および「データ・フロー内の列のマージ」を参照してください。
「ステップの追加」ダイアログで、追加するステップを選択して、必要な詳細を「ステップ・エディタ」ペインに入力します。
(オプション)ワークフロー・ダイアグラムからステップを削除するには、「X」をクリックするか、ステップを右クリックして「削除」を選択します。ステップを削除すると、データ・フローの他のステップが無効になる場合があることに注意してください。無効なステップには赤い「X」のアイコンが表示されます。
「保存」をクリックすると、データ・フローが保存されますが実行はされません。検証エラーが含まれるデータ・フローを保存できることに注意してください。データ・フローを保存すると、「データ・フロー」領域にある「データ」ページの「表示」ペインにそれが表示されます。
データ・フロー・ダイアグラムへのステップの追加が終了したら、データ・フローを保存せずに実行するか、データベース接続として保存することもできます。「データ・フローの実行」、「データ・フローからデータベースへの出力データの保存」を参照してください。

データ・フローへのフィルタの追加

フィルタを使用して、データ・フロー出力に含まれるデータの量を制限できます。たとえば、列の売上収益データを2010年から2017年までに制限します。

「ステップ・エディタ」ペインに「フィルタ」ステップを追加することにより、データ要素をフィルタできます。

フィルタの追加先となるデータ・フローを作成するか開きます。
「ステップの追加(+)」をクリックして「フィルタ」を選択します。

「フィルタ」ペインで、フィルタ処理するデータ・要素を選択します。

フィールド	説明
フィルタの追加(+)	「使用可能なデータ」ダイアログで、フィルタするデータ要素を選択します。あるいは、「データ・パネル」の「データ要素」をクリックして、データ要素を「フィルタ」ペインにドラッグ・アンド・ドロップできます。
「フィルタ」フィールド	フィルタの値、データまたは選択項目を変更します(たとえば、最大と最小の範囲)。データ要素に基づいて、特定のフィルタ・フィールドが表示されます。複数のフィルタを1つのデータ要素に適用できます。
「フィルタ」メニュー・アイコン	関数を選択して、フィルタ選択項目のクリア、およびフィルタの無効化または削除を行います。
「フィルタ」ペインのメニュー・アイコン	関数を選択して、すべてのフィルタ選択項目のクリア、すべてのフィルタの除去、およびフィルタの自動適用を行います。式フィルタを追加するために選択できます。
式フィルタの追加	選択して式フィルタを追加します。f(x)をクリックし、関数タイプを選択してからダブルクリックして「式」フィールドに関数を追加します。「適用」をクリックします。
自動適用フィルタ	「デフォルト(オン)」など、フィルタの自動適用オプションを選択します。

ノート:

適用されたフィルタに基づいて、データ・プレビュー(たとえば、列に表示される売上データ)が更新されます。

「保存」をクリックします。

データ・フローへの集計の追加

カウント、合計および平均などの集計関数を適用して、データをグループ化できます。

データ・セットにすでに集計が含まれている場合は、集計ステップを追加するときに集計が表示されます。集計は「ステップ・エディタ」ペインで追加できます。

「集計」ステップの追加先となるデータ・フローを作成するか開きます。
「ステップの追加(+)」をクリックし、「集計」を選択します。
「集計」ペインで集計に列を追加するには、「アクション」をクリックしてから「集計」をクリックします。
集計列に適用する集計関数を選択するには、選択した列の「関数」フィールドで矢印をクリックし、集計の手段となる値を選択します。たとえば、「Profit」列では「合計」を選択できます。
選択した集計リストから集計を削除するには、集計の名前にマウス・ポインタをあわせて、「アクション」、「グループ化基準」の順にクリックします。
変更を保存するには、「データ・フローの保存」をクリックします。

データ・フロー内の列のマージ

2つ以上の列を組み合せて1つの列として表示できます。たとえば、データ・フローの出力を使用して、番地、番地名、都道府県および郵便番号の列がビジュアライゼーションに1つの項目として表示されるように、これらの列をマージできます。

マージした列を作成するには、「ステップ・エディタ」ペインで「列のマージ」ステップを追加します。

「列のマージ」の追加先となるデータ・フローを作成するか開きます。
「ステップの追加(+)」をクリックし、「列のマージ」を選択します。

「列のマージ」ペインで、列を結合するためのオプションを指定します。

フィールド	説明
新規列名	マージ列の名前を変更します。
列のマージ	マージする最初の列を選択します。
対象	マージする2つ目の列を選択します。
(+)列の追加	マージする列をさらに選択します。
デリミタ	列名を区切るデリミタを選択します(たとえば、空白、カンマ、ピリオドまたはカスタム・デリミタ)。

「保存」をクリックします。

データ・フローでの行のマージ

2つのデータ・セットの行をマージできます。結果には、両方のデータ・セットのすべての行、各データ・セットの一意の行、両方のデータ・セットで重複する行、または片方のデータ・セットの一意の行を含めることができます。

行をマージする前に、次を実行します。

各データ・セットの列の数が同じであることを確認します。
データ・セットの対応する列のデータ型が一致することを確認します。たとえば、データ・セット1の列1はデータ・セット2の列1と同じデータ型である必要があります。

「ステップ・エディタ」ペインで行のマージ・ステップを追加できます。

マージするデータ・セットが含まれるデータ・フローを作成するか開きます。
2つのデータ・セットを選択し、右クリックして「行のマージ」を選択します。

行のマージのオプションを次の表で説明されているとおりに選択します。

オプション	説明
入力1と入力2のすべての行(UNION ALL)	両方のデータ・セットのすべての行が表示されます。
入力1と入力2の一意の行(UNION)	一意の各行のデータがマージされ、他の行とともに表示されます。
入力1と入力2の共通の行(INTERSECT)	共通の行のみがマージされたデータとともに表示されます。
入力1の一意の行(EXCEPT)	データ・セット1の一意の行のみが表示されます。
入力2の一意の行(EXCEPT)	データ・セット2の一意の行のみが表示されます。

「保存」をクリックします。

データ・フローでのビン化列の作成

メジャーをビン化すると、メジャーの値に基づいて新しい列が作成されます。一定の数の等しいサイズのビン(各ビンに同じ数の値など)を作成するか、各ビンに値の範囲を明示的に指定することによって、ビンに値を動的に割り当てることができます。

「ステップ・エディタ」ペインでビン・ステップを追加できます。

ビン列を作成するデータ・フローを作成するかまたは開きます。
「ステップの追加(+)」をクリックして「ビン」を選択します。
あるいは、「列の追加」を選択してから(+)列をクリックして「ビン」を選択できます。
「ビン」ペインで、「列の選択」をクリックします。
「使用可能な列」ダイアログで、データ要素を選択します。

「ビン」ペインで、ビン列のオプションを指定します。

フィールド	説明
Bin	様々なデータ要素を選択します。
新規要素名	ビン列の名前を変更します。
ビン数	数値を入力するか、矢印を使用してビンの数を増加または減少させます。
メソッド	メソッド「手動」、「等幅」または「等高」のいずれかを選択します。
ヒストグラム・ビュー	「メソッド」フィールドでの選択に基づいて、ビンのヒストグラム範囲(幅)およびヒストグラム数(高さ)が更新されます。「手動」メソッドでは、スライダを移動して境界(つまり、ヒストグラム範囲およびヒストグラム数)を選択できます。スライダの数はヒストグラム数に基づいて変わります。「リスト」ビューに切り替えて、範囲をビン名とともに手動で入力できます。「等幅」メソッドで、ヒストグラム範囲は同じサイズの間隔で分割されます。等幅のビン化の場合、列値が測定され、範囲が等しいサイズの間隔に分割されます。エッジのビンは列内の非常に低い値または高い値にあわせることができます。「等高」メソッドでは、各ビンの高さは同じまたはほんのわずかに異なりますが、ヒストグラム範囲は同じです。等高または頻度のビン化の場合、各ビンの間隔は、ほぼ等しい数の要素(レコード)を含む各間隔に基づいています。「等高」メソッドはスキュー・データの場合に特に優先されます。
リスト・ビュー	「手動」メソッドを選択した場合、ビンの名前を変更でき、各ビンの範囲を定義できます。

ノート:

変更に基づいて、データ・プレビュー(たとえば、ビン列名)が更新されます。

「保存」をクリックします。

データ・フローのシーケンスの作成

シーケンスは、指定されたデータ・フローの保存済順序リストであり、複数のデータ・フローを単一のトランザクションとして実行する場合に役立ちます。シーケンス内のいずれかのフローが失敗した場合、シーケンス内で行われたすべての変更がロールバックされます。

「作成」をクリックし、「シーケンス」を選択します。
データ・フローおよびシーケンスを「シーケンス」ペインにドラッグ・アンド・ドロップします。
項目をリスト内で上または下に移動したり、項目を除去するには、メニュー・アイコンをクリックします。
「保存」をクリックします。シーケンスを保存すると、「データ」ページの「シーケンス」領域に表示されます。
「データ」ページの「シーケンス」領域に移動し、シーケンスを選択して、「実行シーケンス」をクリックします。
シーケンスの実行後、結果のデータ・セットが「データ」ページに表示されます。
「データ」ページに移動して「データ・セット」をクリックして結果のデータ・セットを表示します。

データ・フローでのグループの作成

ビン化属性を使用して、データ・セット内の属性値のグループを定義できます。

グループ列を作成するデータ・フローを作成するかまたは開きます。
「ステップの追加(+)」をクリックして「グループ」を選択します。
「使用可能な列」ダイアログで、データ要素を選択します。番号付きタイプのデータ要素は選択できません。

「グループ」ペインで、新規グループ列のオプションを指定します。

フィールド	説明
グループ	グループの名前を変更します(例: Group1)。
使用可能値リスト	グループに含める値を選択します。選択された値は「選択項目」リストに表示されます。選択内容に基づいてヒストグラムが更新されます。横棒の高さは、データ・セットのグループ数に基づきます。
名前	新しいグループ列の名前を変更します。
選択項目	このグループに選択されたすべての列を含みます。
(+)グループ	新規グループを追加します。グループを選択し、「X」をクリックすることで削除できます。
その他を含む	他のどのグループにも追加されていない値をグループ化します。
すべて追加	使用可能リストのすべての値をグループに追加します。
すべて除去	選択されたすべての値をグループから削除します。

ノート:

変更に基づいて、データ・プレビュー(たとえば、グループ列名)が更新されます。

「保存」をクリックします。

データ・フローへの累積値の追加

移動集計や累積集計などの累積集計関数を適用してデータをグループ化できます。移動集計では、ある行とその前の一定数の行の値を集計します。累積集計では、その前のすべての行の値を集計します。移動集計と累積集計はどちらもその前の行に基づいているため、行のソート順が重要です。この順序は集計の一部として指定できます。

「ステップ・エディタ」ペインで「累積値」ステップを追加できます。

累積値列を追加するデータ・フローを作成するかまたは開きます。
「ステップの追加(+)」をクリックして「累積値」を選択します。

累積値ペインで、新しい列の累積集計関数を指定します。

フィールド	説明
集計	データ列を選択します。
関数	関数を選択します。使用可能な関数のタイプはデータ列に基づいて決まります。列のデータ型が関数と互換性がない場合、エラー・メッセージが表示されます。
行	値を選択します。このフィールドは特定の関数についてのみ編集可能です。値が正の整数ではない場合、エラー・メッセージが表示されます。
新規列名	集計列の名前を変更します。 2つの列が同じ名前の場合、エラー・メッセージが表示されます。
(+)集計	新規集計列を作成します。列を選択します。集計列が定義されていない場合、エラー・メッセージが表示されます。
(+)ソート列	データ列のソート基準列を選択します。「オプション」をクリックして、リスト内でソート列を上下に移動します。ソート順序を選択します。同じ列に対して2つのソート順が追加された場合、エラー・メッセージが表示されます。
「ソート順」リスト	ソート順タイプを選択します。使用可能なソート順タイプは、選択されたデータ要素に基づいて決まります。
(+)再起動列	データ列の再起動列を選択します。「オプション」をクリックして、リスト内で再起動列を上下に移動します。再起動要素を選択します。重複する再起動列が追加された場合、エラー・メッセージが表示されます。

ノート:

定義済の値に基づいて、データ・プレビュー(たとえば新規列名)が更新されます。

「保存」をクリックします。

データ・フローのステップ名と説明のカスタマイズ

データ・フロー・ステップの名前変更や、説明の追加または編集ができます。

データ・フローまたはデータ・セットを作成または開きます。
ステップの追加(+)をクリックしてステップを選択します。
ステップ・ペインのヘッダーでステップ名(「列のマージ」など)をクリックします。
「名前」フィールドで、新しい名前を入力するか既存の名前を編集し、必要に応じて説明を入力します。
変更を保存するには、Enterをクリックするか、ヘッダー・フィールドの外側をクリックします。

データ・フローの実行

データ・フローを実行すると、ビジュアライゼーションの作成に使用可能なデータ・セットが作成されます。

データ・フローを正常に実行するには、検証エラーが存在しないようにします。

実行してデータ・セットを作成するデータ・フローを作成するか、開きます。
「ステップの追加(+)」をクリックし、「データの保存」を選択します。
「データ・セットの保存」ペインで、データ・セットを識別するための「データ・セット」名と「説明」を入力します。「データ保存先」フィールドは変更しないでください。
「データ・フローの実行」をクリックして、データ・フローを実行します。検証エラーがない場合、完了メッセージが表示されます。
ノート:
保存せずにデータ・フローを実行すると、データ・フローは保存されず、「データ・フロー」リストに表示されません。そのため、データ・フローは変更または実行できません。

「データ」ページに移動し、「データ・セット」を選択し、リストに結果のデータ・セットを表示します。
「名前を付けて保存」をクリックします。「データ・フローに名前を付けて保存」ダイアログで、データ・フローを識別するための「名前」および「説明」を入力します。
「データ」ページに移動し、「データ・フロー」を選択し、リストに結果のデータ・フローを表示します。

データ・フローからデータベースへの出力データの保存

データベースに接続し、データ・フローからそのデータベース内の表に出力データを保存できます。

データ・フローをデータベースに保存して、データ・フローをデータベースに安全に格納し、データベースの管理対象のバックアップおよびリカバリ機能を利用できます。データ・ソースをデータ・フローのデータで上書きして変換できます。データ・ソースおよびデータ・フローの各表は同一データベースに含まれ、同じ名前である必要があります。データ・フローをデータベースに正常に保存するには、検証エラーが存在しないようにします。

データベース接続として保存するデータ・フローを作成するか開きます。
「ステップの追加(+)」をクリックし、「データの保存」を選択します。または、すでにデータ・フローを保存している場合、「データの保存」ステップをクリックします。
「データ・セットの保存」ペインで、データ・セットを識別するための「データ・セット」名と「説明」を入力します。
「データ保存先」リストをクリックし、「データベース接続」を選択します。
「接続の選択」をクリックして、「データベース接続へのデータの保存」ダイアログを表示します。
データ・フローを保存する接続を選択します。
データベース接続を選択する前に、データベース接続を作成する必要があります。データベース接続の作成を参照してください
たとえば、Oracleデータベース、Apache Hiveデータベース、Hortonworks HiveデータベースまたはMapR Hiveデータベースに保存できます。
「表」フィールドに名前を入力します。
表名は、選択したデータベースのネーミング規則に準拠している必要があります。たとえば、Oracleデータベースの表の名前を数字で始めることはできません。
「データ・フローの実行」をクリックして、データ・フローを実行します。検証エラーがない場合、完了メッセージが表示され、指定した表名を使用して、選択したデータベースにデータが保存されます。
- 同名の表がデータベースに存在する場合は、データベースに保存すると表内のデータが上書きされます。
- データ・フローを実行すると、データはデータベースのみに保存されますが、データ・フローは保存されず、「データ・フロー」リストに表示されません。そのため、データ・フローは変更または実行できません。
「名前を付けて保存」をクリックします。「データ・フローに名前を付けて保存」ダイアログで、データ・フローを識別するための「名前」および「説明」を入力します。
「データ」ページに移動し、「データ・フロー」を選択し、リストに結果のデータ・フローを表示します。

データ・フローの実行

保存済のデータ・フローを実行して、対応するデータ・セットを作成したり、データ・フローから作成されたデータ・セットのデータをリフレッシュしたりできます。

データ・フローを手動で実行して、対応するデータ・セットを作成またはリフレッシュします。既存のデータ・セットについては、データ・フローの作成に使用されたデータ・セットの列およびデータが変更されたことがわかっている場合に、データ・フローを実行してください。

「データ」ページで、「データ・フロー」セクションに移動して、実行するデータ・フローを見つけます。
データ・フローの「アクション・メニュー」をクリックして、「実行」を選択します。

データ・フローの実行に関するノート:

保存済のデータ・フローを実行するには、最後のステップとして「データの保存」ステップを指定する必要があります。このステップをデータ・フローに追加するには、データ・フローの「アクション・メニュー」をクリックして、「開く」を選択します。ステップを追加した後、データ・フローを保存して、実行を再試行します。
新規データベース・データ・ソースを作成するときは、データベースの問合せモードを「ライブ」に設定します。問合せモードを「ライブ」に設定すると、データ・フローが(テータ・キャッシュではなく)データベースからのデータにアクセスできるようになり、結合などの負荷が高い操作をデータベースにプッシュできます。データ・セットの管理を参照してください。
データベース・ソースからのデータを使用するデータ・フローを更新する場合、データは、ソース・データベースの問合せモードに応じて、キャッシュされるかライブになります。
複雑なデータ・フローを実行すると長い時間がかかります。データ・フローの実行中に、アプリケーションの他の部分に移動して使用し、「データ・フロー」ペインに戻って、データ・フローのステータスを確認できます。
長時間実行中のデータ・フローを取り消せます。これを行うには、「データ・フロー」セクションに移動し、データ・フローの「アクション・メニュー」をクリックし、「取消」を選択します。
初めてデータ・フローを実行すると、新規データ・セットが作成されます。「データ」ページの「データ・セット」セクションでこれを確認できます。データ・セットには、データ・フローの「データの保存」ステップで指定した名前が含まれています。以前にデータ・フローを実行したことがある場合は、結果のデータ・ソースがすでに存在するため、そのデータがリフレッシュされます。