12.3 データのロード
ローカル・デバイス上のファイル、リモート・データベース、またはディレクトリおよび共有プロバイダのクラウド・ストレージ・バケットからデータをロードできます。ロードできるファイル形式は、CSV、XLS、XLSX、TSV、TXT、XML、JSON、GEOJSON、AVRO、PARQUET、GZ、GZIP、ZIP、PDF、PNG、JPG、JPEGおよびTIFFです。
データ・ロード・ツールでは、ブール形式のソース・ファイルのロードがサポートされています。ブール・データ型の真理値はTRUEおよびFALSEです。NOT NULL制約がない場合、ブール・データ型では真理値UNKNOWNもNULL値としてサポートされます。ブール・データ型は、Oracle SQL構文でデータ型が出現するたびに使用できます。
また、Oracle Database表内にベクトル埋込みを直接格納できるVECTORデータ型もサポートされています。
次の各トピックでは、これらのアクションのインタフェースについて説明します。
12.3.1 Data StudioでのOCI言語サービス機能の使用
センチメント分析、キー・フレーズ抽出、言語の検出などのOCI言語サービス機能を利用して、機械学習(ML)や人工知能(AI)の専門知識がなくてもデータを分析できます。
たとえば、製品のフィードバックに使用できます。新しい電話モデルを立ち上げた電話メーカーが、その製品についての顧客のセンチメントを知りたいと考えています。センチメントの大部分が負の場合、その内容がQuality Control (QC)で検出されなかったカメラの潜在的な障害を示す可能性があります。
12.3.1.1 センチメント分析、キー・フレーズ抽出および言語検出の概要
センチメント分析、キー・フレーズ抽出、言語検出およびテキスト翻訳は、現在、ローカル・ファイルからのデータのロードおよびクラウド・ストレージからのデータのロードでサポートされています。
センチメント分析
センチメント分析では、テキストを分析して、トピックまたは製品に関するセンチメントを定義します。言語サービス・センチメント分析では、自然言語処理(NLP)を使用します。Data Studioツールは、Oracle Cloud Infrastructure (OCI) Languageサービスを使用して、入力データを分析および理解します。Data Studioツールは、OCI Languageサービスの出力を含む新しい列をデータ・ロードに動的に追加します。ソース・データの任意の列のセンチメントを検出できます。たとえば、アプリケーションのレビューを含む列を検索する場合は、アプリケーションに関する一般的な意見が必要であると想定します。Data Studioツールは、入力データに対してセンチメント分析を実行し、センチメントで構成されるターゲット表に定義された新しい式列を作成します。
詳細は、OCIでのセンチメント分析を参照してください。
キー・フレーズ抽出
キー・フレーズ抽出は、テキストの主な概念を識別します。キーワード抽出は、入力テキストから、最も関連性の高い単語および表現を抽出する自動プロセスです。これは、コンテンツを要約して、主要トピックを認識するのに役立ちます。主要なフレーズを使用してワード・クラウドを生成でき、テキスト・コメントまたはフィードバックの主要な概念をビジュアル化するのに役立ちます。たとえば、映画のレビューでは、コメントで識別されたキー・フレーズに基づいてワード・クラウドが生成され、最も頻繁にコメントされたのは監督、演技および撮影スタッフについてであることがわかります。
詳細は、OCIでのキー・フレーズ抽出を参照してください。
言語検出
言語検出などのOCI言語サービス機能を使用して、入力テキストの言語を検出できます。テキストがどの自然言語かを返します。これを使用して言語の障壁を克服し、他の国の人々とのコミュニケーションを改善することができます。入力テキストの言語を判別し、コンテンツを異なる言語に翻訳できます。詳細は、OCIでの言語抽出を参照してください。
テキスト翻訳
テキスト翻訳は、入力テキストをOCI言語サービスでサポートされている任意のターゲット言語に変換します。Data Studioツールは、Oracle Cloud Infrastructure (OCI) Languageサービスを使用して、入力データを分析および理解します。Data Studioツールは、変換された入力ソース列を含む新しい列をデータ・ロードに動的に追加します。たとえば、ローカル市場の言語(フランス語)で製品について顧客が何を言っているかを知る必要がある場合などです。Data Studioツールは、入力データに対して言語変換を実行し、新しい表現の列をターゲット表に定義して作成します。その列は翻訳されたソース言語で構成されます。
- ローカル・ファイルまたはクラウド・ストレージからのデータのロード: 分析するデータを、ローカル・ファイルまたはクラウド・ストレージからOracle Autonomous Databaseにロードします。データがエラーなしでデータ・ロード・カートにロードされていることを確認します。クラウド・ストアの場所からのデータのロードの「エラー」クイック・フィルタからマッピング・エラーを表示および修正できます。データ・ロード・ツールにデータをロードした後、
- データ・ロード・ジョブ・カートの「設定」アイコンをクリックして、設定を確認します。
- マッピング・エラーがある場合、クラウド・ストアの場所からのデータのロード・ウィザードの「設定」ペインで、マッピング・グリッド・セルが赤で強調表示され、修正する必要のある無効な値が示されます。
- 「エラー」クイック・フィルタをクリックすると、エラーのある列のみが表示されます。
- ツールは、データ・ロード・ジョブの設定を指定する際に、センチメント分析、キー・フレーズの抽出および言語検出を実行します。
12.3.1.2 データを分析するためのパラメータ
「設定」タブから「式の追加」を起動する場合は、パラメータを使用してモデルを構成する必要があります。
表12-2センチメント分析、キー・フレーズの抽出および言語の検出のパラメータ
| パラメータ | 説明 |
|---|---|
| 式タイプ |
入力テキストに対して実行する操作として、「センチメント分析」、「キー・フレーズの抽出」および「言語の検出」のいずれかを選択します。 |
| 入力列 |
分析する列を選択します。 入力列のドロップダウンには、センチメント分析、キー・フレーズの抽出および言語の検出がサポートする列のみが含まれます。 センチメント分析の場合、入力ドロップダウンにはVARCHAR2、NVARCHAR2、CLOBまたはNCLOBターゲット列のみが表示されます。 |
| ターゲット列 |
|
12.3.1.3 センチメント分析の実行
入力データのセンチメントを判別するには:
- ローカル・ファイルまたはクラウド・ストレージからデータ・ロード・カートにデータをロードした後、カート内のファイルを表示できます。「設定」アイコンをクリックします。
- 「設定」アイコンをクリックすると、「ローカル・ファイルからのデータのロード」ウィザードが開きます。この例では、ローカル・ファイルからデータをロードしています。
- ウィザードの「設定」タブで、「マッピング」セクションの「式の追加」をクリックします。
「式の追加」ダイアログ・ボックスが開きます。
- 「式の追加」ダイアログで、次のフィールドを指定します:
- 式タイプ: 「式タイプ」ドロップダウンから「センチメント分析」を選択します。
- 入力列: 分析する列をドロップダウンから選択します。たとえば、CONTENTなどです。
- ターゲット列: 新しく作成した式列の名前を入力します。たとえば、CONTENT_SENTIMENTなどです。
詳細は、「データを分析するためのパラメータ」を参照してください。
- 「OK」をクリックします。マッピング・グリッドに新しい行が追加されます。この行は、OCI Languageサービスによって生成される出力式列を決定します。
- 「閉じる」をクリックします。
- 「データ・ロード」メニュー・カートの「開始」をクリックして、ローカル・ファイルからデータをロードします。ローカル・ファイルからのロードを開始するかどうかを確認する確認メッセージが表示されます。
- 「実行」をクリックして確認します。
データ・ロード・ジョブが完了すると、「データ・ロード」ページの「表およびビューのロード」に、ツールにロードされるソース表の詳細が表示されます。行と列の数とアップロードが完了した日時が表示されます。
12.3.1.3.1 OCIセンチメント分析から生成された出力データ
OCI Languageサービス・モデルを使用して列を分析すると、Data Studioによって新しい式列が生成され、更新された表に結果が保存されます。
生成された式列を検索するには、Database Actionsの起動パッドから「データ・ロード」にナビゲートします。「表およびビューのロード」セクションでロードする表を選択します。
ロード名の横にある3つの垂直ドットをクリックし、「表」をクリックして「詳細の表示」を選択します。
これにより、更新されたソース・ファイルを表示するデータ・ロードの「プレビュー」タブが開きます。たとえば、Instagramアプリケーションのセンチメント分析からの出力データセットを次に示します。ここで、CONTENTはターゲット列で、CONTENT_SENTIMENTは入力列のセンチメント分析です。この列には、肯定的、中立、混合、否定的のいずれかの値が表示されます。ツールがセンチメントを判別できない場合、Nullが表示されます。
図content-analysis.pngの説明
12.3.1.4 キー・フレーズ抽出の実行
入力データからキー・フレーズ情報を抽出するには:
- ローカル・ファイルまたはクラウド・ストレージからデータ・ロード・カートにデータをロードした後、カート内のファイルを表示できます。「設定」アイコンをクリックします。
- 「設定」アイコンをクリックすると、「ローカル・ファイルからのデータのロード」ウィザードが開きます。この例では、ローカル・ファイルからデータをロードしています。
- ウィザードの「設定」タブで、「マッピング」セクションの「式の追加」をクリックします。
「式の追加」ダイアログ・ボックスが開きます。
- 「式の追加」ダイアログで、次のフィールドを指定します:
- 式タイプ: 「式タイプ」ドロップダウンから「キー・フレーズの抽出」を選択します。
- 入力列: 分析する列をドロップダウンから選択します。たとえば、CONTENTなどです。
- ターゲット列: 新しく作成した式列の名前を入力します。たとえば、CONTENT_KEY_PHRASE_EXTRACTIONなどです。
詳細は、「データを分析するためのパラメータ」を参照してください。
- 「OK」をクリックします。マッピング・グリッドに新しい行が追加されます。この行は、OCI Languageサービスによって生成される出力式列を決定します。
- 「閉じる」をクリックします。
- 「データ・ロード」メニュー・カートの「開始」をクリックして、ローカル・ファイルからデータをロードします。ローカル・ファイルからのロードを開始するかどうかを確認する確認メッセージが表示されます。
- 「実行」をクリックして確認します。
データ・ロード・ジョブが完了すると、「データ・ロード」ページの「表およびビューのロード」に、ツールにロードされるソース表の詳細が表示されます。行と列の数とアップロードが完了した日時が表示されます。
12.3.1.4.1 OCIキー・フレーズ抽出から生成された出力データ
OCI Languageサービス・モデルを使用して列を分析すると、Data Studioによって新しい式列が生成され、更新された表に結果が保存されます。
生成された式列を検索するには、Database Actionsの起動パッドから「データ・ロード」にナビゲートします。「表およびビューのロード」セクションでロードする表を選択します。
ロード名の横にある3つの垂直ドットをクリックし、「表」をクリックして「詳細の表示」を選択します。
たとえば、Instagramアプリケーションのセンチメント分析からの出力データセットを次に示します。ここで、CONTENTはターゲット列で、CONTENT_KEY_PHRASE_EXTRACTION列に入力列から抽出されたキー・フレーズが表示されます。
図key-output.pngの説明
12.3.1.5 言語検出の実行
Data Studioでは、複数の言語の検出がサポートされています。
- クラウド・ストレージからデータ・ロード・カートにデータをロードした後、カート内のファイルを表示できます。「設定」アイコンをクリックします。
- 「設定」アイコンをクリックすると、クラウド・ストアの場所からのデータのロード・ウィザードが開きます。
- ウィザードの「設定」タブで、「マッピング」セクションの「式の追加」をクリックします。
「式の追加」ダイアログ・ボックスが開きます。「AI式」を選択します。
図add-expn-lang.bmpの説明 - 「式の追加」ダイアログで、次のフィールドを指定します:
- 式タイプ: 「式タイプ」ドロップダウンから「言語の検出」を選択します。
- 入力列: 分析する列をドロップダウンから選択します。この場合、レビュー列の言語を検出する必要があります。たとえば、REVIEWなどです。
- ターゲット列: 新しく作成した式列の名前を入力します。たとえば、REVIEW_LANGUAGE_DETECTIONなどです。
詳細は、「データを分析するためのパラメータ」を参照してください。
- 「OK」をクリックします。マッピング・グリッドに新しい行が追加されます。この行は、OCI Languageサービスによって生成される出力式列を決定します。
- 「閉じる」をクリックします。
- 「データ・ロード」メニュー・カートの「開始」をクリックして、ローカル・ファイルからデータをロードします。ローカル・ファイルからのロードを開始するかどうかを確認する確認メッセージが表示されます。
- 「実行」をクリックして確認します。
データ・ロード・ジョブが完了すると、「データ・ロード」ページの「表およびビューのロード」に、ツールにロードされるソース表の詳細が表示されます。行と列の数とアップロードが完了した日時が表示されます。
12.3.1.5.1 OCI言語検出から生成された出力データ
OCI Languageサービス・モデルを使用して列を分析すると、Data Studioによって新しい式列が生成され、更新された表に結果が保存されます。
生成された式列を検索するには、Database Actionsの起動パッドから「データ・ロード」にナビゲートします。「表およびビューのロード」セクションでロードする表を選択します。
ロード名の横にある3つの垂直ドットをクリックし、「表」をクリックして「詳細の表示」を選択します。
たとえば、「レビュー」列の言語検出からの出力データセットを次に示します。ここで、REVIEWはターゲット列で、REVIEW_LANGUAGE_DETECTION列には入力列から検出された言語が表示されます。
図output-language.bmpの説明
12.3.1.6 テキスト翻訳の実行
Data Studioでは、OCI言語サービスでサポートされている複数の言語の翻訳がサポートされています。
翻訳される入力テキストを決定するには:
- ローカル・ファイルからデータ・ロード・カートにデータをロードすると、カート内のファイルを表示できます。「設定」アイコンをクリックします。
- 「設定」アイコンをクリックすると、「ローカル・ファイルからのデータのロード」ウィザードが開きます。
- ウィザードの「設定」タブで、「マッピング」セクションの「式の追加」をクリックします。
「式の追加」ダイアログ・ボックスが開きます。「AI式」を選択します。
- 「式の追加」ダイアログで、次のフィールドを指定します:
- 式タイプ:「式タイプ」ドロップダウンから「テキスト翻訳」を選択します。
- 入力列: 分析する列をドロップダウンから選択します。この場合、SOURCE_INPUT列のテキストを翻訳する必要があります。
- ターゲット列: 新しく作成した式列の名前を入力します。たとえば、SOURCE_INPUT_TRANSLATIONです。
- ターゲット言語: ツールが翻訳するテキストの言語をドロップダウンから選択します。たとえば、Englishです。
詳細は、「データを分析するためのパラメータ」を参照してください。
- 「OK」をクリックします。マッピング・グリッドに新しい行が追加されます。この行は、OCI Languageサービスによって生成される出力式列を決定します。
- 「閉じる」をクリックします。
- 「データ・ロード」メニュー・カートの「開始」をクリックして、ローカル・ファイルからデータをロードします。ローカル・ファイルからのロードを開始するかどうかを確認する確認メッセージが表示されます。
- 「実行」をクリックして確認します。
データ・ロード・ジョブが完了すると、「データ・ロード」ページの「表およびビューのロード」に、ツールにロードされるソース表の詳細が表示されます。行と列の数とアップロードが完了した日時が表示されます。
12.3.2 OCIドキュメントの理解を使用したイメージからの表の抽出
表抽出などのOracle Cloud Infrastructure(OCI)のドキュメントの理解の機能を使用すると、ロードしたデータから表を検出できます。
この機能を使用するためにサポートされているファイル形式は、PDF、JPEG、JPG、PNGおよびTag Image File Format (TIFF)です。
たとえば、PDF文書が採用日や給与を含むすべての従業員詳細で構成されている場合、ドキュメントの理解によって表が識別され、表構造が抽出されます。セルの行と列の関係を維持しながら、表のコンテンツを抽出します。
12.3.2.1 表抽出の概要
データのロード・ツールは、ローカル・ファイルからデータをロードし、クラウド・ストレージからデータをロードする際に、表抽出をサポートします。
表抽出
OCIのドキュメントの理解サービスにより、お客様はディープ・ラーニング・モデルを活用して、非構造化ドキュメントのインサイトを発見できます。他にも優れた機能がありますが、テキスト、表を抽出し、ドキュメント・タイプを識別できます。表抽出では、ドキュメント内のすべての表が識別され、行/列の関係を維持した状態でコンテンツが表形式で抽出されます。
ノート:
このサービスは、英語のソース・データについてのみ使用できます。詳細は、「表抽出」を参照してください。
12.3.2.2 イメージからの表抽出の実行
サンプルPDFで表抽出を実行します。
次のように、PDFに表が表示されます。
- PDFファイルをクラウド・ストレージからデータ・ロード・カートにロードします。ファイルをナビゲータからカートにドラッグ・アンド・ドロップできます。
- 「開始」をクリックしてデータをロードします。データのロードを開始するかどうかを確認する通知を受信します。「実行」をクリックして続行します。
- ロードが完了したら、「データ・ロード」ダッシュボードの「表およびビューのロード」でロードされたファイルを表示できます。
- 自律型データベースにロードしたPDFから表を抽出します:
- ブレッドクラムで「データベース・アクション」をクリックします。
- 「開発」、「SQL」の順に選択します。
- 左側のナビゲータのオブジェクト・ドロップダウンから、「表」を選択します。使用可能な表のリストから、
EMP_ALL表をワークシートにドラッグ・アンド・ドロップします。使用可能な挿入のタイプを示すダイアログが表示されます。
「選択」をクリックして、「適用」をクリックします。
- 「実行」(ワークシートの上部にある矢印アイコン)をクリックします。抽出された表が「問合せ結果」タブに表示されます。
12.3.3 データ・ロードでのGeoJSONの使用
GeoJSONオブジェクトは、特定のジオメトリに関する情報(ポイント、線、ポリゴンなど)とオプションのメタデータ(IDなど)を格納します。
GeoJSONファイルの拡張子は*.geojsonです。GeoJSONデータは、Data Studioのデータ・ロードを使用してAutonomous Databaseにロードできます。表にGeoJSONデータが含まれている場合、データは、SQLデータ型SDO_GEOMETRYのドキュメント・セットからGeoJSONデータを投影する列にロードされます。
GeoJSONデータを使用した表のロード
GeoJSONデータを使用してData Studioで表をロードし、その設定を確認すると、GeoJSONデータの列geometryを持つ表Brazil_Geoが作成されることがわかります。
BRAZIL_GEOをロードすると、ツールによってGeoJSONオブジェクトがデータ型SDO_GEOMETRYで新しい列geometryにロードされることがわかります。
図edittable-geo.pngの説明
表ロードの実行後に表ロードの「詳細の表示」を行っても、「データ定義」タブで同じものを表示できます。
図datadefinition-geo.pngの説明
12.3.3.1 GeoJSON列の空間式の追加
Oracle Spatialは、位置情報アプリケーションおよび地理情報システム(GIS)・アプリケーションのユーザーが、簡単に無理のない形で空間データを管理できるように設計されています。
Oracle Databaseに格納された空間データは、簡単に操作および取出しができ、データベースに格納された他のすべてのデータとの関連付けも可能です。
Oracle Spatialの空間データ・モデルは、要素、ジオメトリおよびレイヤーで構成される階層型の構造体です。レイヤーはジオメトリで構成され、ジオメトリは要素で構成されます。
許容差は、空間データに精度レベルを関連付けるために使用します。許容差は、(たとえば、丸めの誤差の調整のために、)2つの点が一致しない場合でも、2点が同一の点とみなされる最大距離に影響します。許容差には、0(ゼロ)より大きい正の数字を指定する必要があります。詳細は、空間データの許容範囲を参照してください。
12.3.3.2 空間データ分析のパラメータ
「式の追加」を起動し、「式の追加」ウィザードから「空間式」を選択する場合は、パラメータを使用してモデルを構成する必要があります。
表12-3空間データ分析のパラメータ
| パラメータ | 説明 |
|---|---|
| 式タイプ |
「長さ」や「領域」など、次のいずれかの空間属性を選択します。
|
| 入力列 |
空間データについて分析する列を選択します: デフォルトでは、 |
| ターゲット列 |
これは、空間式の結果を格納するターゲット表で定義された新しく作成された式列であり、選択した式タイプ値によって異なります:
|
12.3.3.3 空間分析の実行
ローカル・ファイルまたはクラウド・ストレージからデータ・ロード・ツールを使用して空間データをロードできます。
- ローカル・ファイルまたはクラウド・ストレージからデータ・ロード・カートにデータをロードした後、カート内のファイルを表示できます。「設定」アイコンをクリックします。
- ウィザードの「設定」タブで、「ジオメトリの修正」を選択して無効なジオメトリを修正します。このアイコンは、重複点、ポリゴン方向エラー、ポリゴン構成エラーなどの最も一般的なエラーを修正します。修正不可能なエラーが検出されると、
指定されたジオメトリは修正できないことを示すORA-13199の例外で失敗します。ノート:
方向が間違っているジオメトリは、次を使用して修正できません。「ジオメトリの修正」アイコン。 - 「許容範囲」の値を指定します。前述の例では、許容値として0.005 (5mm)を指定します。
- 「マッピング」セクションの「式の追加」をクリックし、「空間式」を選択します。「式の追加」ダイアログで、次のフィールドを指定します:
- 式タイプ: 「式タイプ」ドロップダウンから、「領域」を選択して2次元ポリゴンの領域を表示します。「長さ」を選択して、2次元ポリゴンの境界を表示することもできます。
- 入力列: デフォルトでは、
GEOMETRY列が表示されます。このソース列には、ジオメトリの領域が格納されます。式タイプとして「長さ」を選択した場合、このソース列にはジオメトリの長さが格納されます。 - ターゲット列: 新しく作成された特別な式列の名前を指定します。たとえば、「領域」型式パラメータの場合は
GEOMETRY_AREA、「長さ」型式パラメータの場合はGEOMETRY_LENGTHです。
「拡張オプション」セクションで、次のフィールド値を指定します:- 許容範囲: 許容値を入力します。たとえば、
0.005などです。 - 単位: 許容範囲の単位をドロップダウンから選択します。たとえば、
Square meterです。
ノート:
ロードするファイルに空間データが含まれていない場合は、「式の追加」ウィザードに「入力列には、領域の現在選択されている式タイプのSDO_GEOMETRYデータ型がありません」のエラーが表示されます。詳細は、「空間データ分析のパラメータ」を参照してください。
- 「OK」をクリックします。マッピング・グリッドに新しい行が追加されます。この行は、OCI Languageサービスによって生成される出力空間式列を決定します。この例では、表のロード後にターゲット表に作成される新しい
GEOMETRY_AREAを表示できます。
Oracle Spatialの詳細は、『Oracle Spatial開発者ガイド』を参照してください。
データ・ロード・ジョブが完了すると、「データ・ロード」ページの「表およびビューのロード」に、ツールにロードされるソース表の詳細が表示されます。行と列の数とアップロードが完了した日時が表示されます。
12.3.3.4 空間分析から生成された出力データ
空間式を使用して列を分析すると、Data Studioによって新しい式列が生成され、更新された表に結果が保存されます。
生成された式列を検索するには、Database Actionsの起動パッドから「データ・ロード」にナビゲートします。「表およびビューのロード」セクションでロードする表を選択します。
ロード名の横にある3つの垂直ドットをクリックし、「表」をクリックして「詳細の表示」を選択します。
これにより、更新されたソース・ファイルを表示するデータ・ロードの「プレビュー」タブが開きます。たとえば、COUNTRIESGEO.GeoJSONファイルの空間分析からの出力データセットを次に示します。ここで、GEOMETRY_AREAは入力列の空間分析です。この列には、2次元ポリゴンの領域が表示されます。
図spatial-output.bmpの説明
12.3.4 Apache Iceberg表のロード
Data Studioでは、オブジェクト・ストアからのIceberg表のロードおよびリンクがサポートされています。
このツールは、同じファイルの複数のバージョンをロードできます。
- アイスバーグ表が定義されているクラウド・ストアの場所を選択します。この例では、OCIに格納されている
ICEBERGBUCKETを選択します。Icebergファイルは、名前の横にあるIcebergの記号
図symbol.pngの説明
で検出できます。 - フォルダを左側のファイル・ナビゲータにドラッグし、右側のカートにドロップします。また、このフォルダは、表のスナップショット、パーティション化スキームおよびスキーマ情報を追跡するメタデータJSONファイルで構成されます。
カートにフォルダを追加すると、個人を特定できる情報(PII)のプロンプトを構成するファイルの数に関する警告が表示されます。
ノート:
: フォルダではなく複数のファイルをロードする場合、ツールは、複数のソース・ファイルから単一のターゲット表にすべてのオブジェクトをロードするかどうかを尋ねます。「OK」をクリックして続行するか、[Esc]で取り消します。 - データ・リンク・カートのメニュー・バーで「開始」をクリックします。クラウド・ストアからのロードを開始するかどうかを尋ねる通知が表示されます。「実行」を選択して続行します。
- ロードの進行状況は、「表およびビューのロード」の下に表示されます。ロード後、表ロードの「レポート」および「再ロード」アイコンが表示されます。
- Autonomous DatabaseにロードしたIceberg表を問い合せます:
- ブレッドクラムで「データベース・アクション」をクリックします。
- 「開発」、「SQL」の順に選択します。
- 左側のナビゲータのオブジェクト・ドロップダウンから、「表」を選択します。使用可能なビューのリストから、CALL_CENTER_PARQUET表をワークシートにドラッグ・アンド・ドロップします。
- 使用可能な挿入のタイプを示すダイアログが表示されます。
「選択」をクリックして、「適用」をクリックします。
- 「実行」(ワークシートの上部にある矢印アイコン)をクリックします。このツールでは、「問合せ結果」の下にIcebergデータが表示されます。
12.3.5 ファイル・システムからのデータのロード
ファイル・システム・ディレクトリからAutonomous Databaseにファイルをロードできます。
表のデータにフィルタを設定して、指定したデータのみをロードすることができます。たとえば、CSVファイルのみにファイルを制限するには、ファイル拡張子フィルタに*.CSVと入力します。
- 「Data Studio」タブで、「データ・ロード」を選択します。「データ・ロード」ダッシュボードを表示します。
- 「データのロード」をクリックし、「ファイル・システム」オプションを選択します。
ページの上部で、ファイルのロード元のディレクトリを選択する必要があります。ページの左側にはナビゲータ・ペインがあり、ここで、データが含まれるディレクトリ内のファイルを選択します。ページの右側には、データ・ロード・カートがあり、そこでデータ・ロード・ジョブのファイルおよびフォルダをステージングします。データ・ロード・ジョブを実行する前に、そのオプションを設定できます。Autonomous Databaseには、様々なコンシューマ・グループに割り当てられた事前定義済のCPU/IOシェアが付属しています。ワークロードに応じて、データ・ロード・ジョブの実行中にコンシューマ・グループを低、中または高のいずれかに設定できます。ディレクトリからデータベースにファイルをロードするには、次を実行します:
- データ・ロード・ジョブの準備: 詳細は、「データ・ロード・ジョブの準備」を参照してください。
- データ・ロード・ジョブのファイルまたはフォルダの追加: 詳細は、「データ・ロード・ジョブのファイルまたはフォルダの追加」を参照してください。
- データ・ロード・ジョブの詳細の入力: 詳細は、「データ・ロード・ジョブの詳細の入力」を参照してください。
- データ・ロード・ジョブの実行: 詳細は、「データ・ロード・ジョブの実行」を参照してください。
- 実行後のデータ・ロード・ジョブの詳細の表示: 詳細は、「実行後のデータ・ロード・ジョブに関する詳細の表示」を参照してください。
- データ・ロード・ジョブから生成された表の表示: 詳細は、「データ・ロード・ジョブから生成された表の表示」を参照してください。
12.3.5.1 データベース・アクションでのディレクトリの作成
Autonomous Databaseには、ファイルを格納できる事前構成済のdata_pump_dirがあります。ディレクトリの作成、ディレクトリの削除、およびネットワーク・ファイル・システムのアタッチを行うこともできます。
たとえば、CREATE DIRECTORYコマンドを使用して、追加のディレクトリを作成できます。ディレクトリを削除するにはデータベースのDROP DIRECTORYコマンドを使用し、ディレクトリの内容をリストするにはDBMS_CLOUD.LIST_FILESを使用します。
ディレクトリの作成
ディレクトリを追加するには、CREATE ANY DIRECTORYシステム権限が必要です。ADMINユーザーには、CREATE ANY DIRECTORYシステム権限が付与されます。ADMINユーザーは、他のユーザーにCREATE ANY DIRECTORYシステム権限を付与できます。
詳細は、CREATE DIRECTORYを参照してください。
ノート:
CREATE DIRECTORYは、Autonomous Data Warehouseデータベースにデータベース・ディレクトリ・オブジェクトを作成し、ファイル・システム・ディレクトリも作成します。たとえば、ディレクトリ・パスは次のようになります:/u03/dbfs/7C149E35BB1000A45FD/data/stage-
次のコマンドを使用すると、ルート・ファイル・システムにディレクトリを作成して、すべてのファイルを表示できます:
CREATE OR REPLACE DIRECTORY ROOT_DIR AS '';ROOT_DIRディレクトリを作成した後、次のコマンドを使用すると、すべてのファイルがリストされます:SELECT * FROM DBMS_CLOUD.list_files('ROOT_DIR'); -
ADMIN以外のユーザーで
DBMS_CLOUD.LIST_FILESを実行するには、そのユーザーにディレクトリに対する読取り権限を付与する必要があります。
ディレクトリを作成し、Data Studioからアクセスする方法を示します。
- データベース・アクションでディレクトリを作成します。
データベース・アクション・インスタンスにログインし、「開発」の下のSQLカードを選択します。SQLワークシートを表示できます。ここで、ディレクトリを作成し、作成したディレクトリに選択したファイル・システム名を添付します。次の例で、
FSS_DIRはディレクトリの名前です。
図create-directory.pngの説明前述のコマンドを実行します。前述のコマンドは、次の出力を提供します。
PL/SQL procedure successfully completed.
- ファイル・システムの添付DBMS_CLOUD_ADMIN.ATTACH_FILE_SYSTEMプロシージャを使用して、選択した名前のファイル・システムを
FSS_DIRディレクトリにアタッチします。BEGIN DBMS_CLOUD_ADMIN.ATTACH_FILE_SYSTEM( file_system_name => '********', file_system_location => '*******.sub1********1.********.oraclevcn.com:/********', directory_name => 'FSS_DIR', description => 'attach OCI file system' ); END; /前述のコマンドを実行して、次の出力を表示します。
PL/SQL procedure successfully completed. - アタッチされたファイル・システムを表示するには、次のコマンドを実行します。
SELECT file_system_name, file_system_location, directory_path FROM dba_cloud_file_systems;ファイル・システム名、ファイル・システムの場所およびディレクトリ・パスを表示します。
- 新しいディレクトリを添付ファイルとともに表示するには、Data Studioツールの「データ・ロード」メニューの「クラウド・オブジェクトのロード」にナビゲートします。クラウド・ストアの場所の選択ドロップダウンをクリックします。
図new-dir.pngの説明
新しく作成されたディレクトリFSS_DIRを表示できます。データ・ロード・ツールを使用して、ファイル・システム・ディレクトリから自律型データベースにデータをロードできます。「ファイル・システムからのデータのロード」を参照してください。
12.3.6 AIソースからのデータのロード
Data Studioツールを使用して、AIソースからデータをロードできます。
「データ・ロード」ダッシュボードで、「データのロード」カードをクリックし、「AIソース」を選択します。
この機能を使用する前に、AIプロファイルの設定の前提条件を実行する必要があります。この機能の設定の詳細は、DBMS_CLOUD_AIパッケージの構成を参照してください。
- OpenAIアカウント、CohereアカウントまたはAzure OpenAIサービス
DBMS_CLOUD_AIパッケージへのアクセス。
DBMS_CLOUD_AIを使用したAIプロファイルの構成セクションのステップに従って、AIプロファイルを作成および構成し、この機能を利用します。
12.3.7 共有からのデータのロード
共有から表を選択できます。提供されたデータ共有をサブスクライブし、アクセスする必要があります。
シェアから表をロードするには、データ・ロード・ダッシュボードで「データのロード」をクリックします。「データのロード」ページで「共有」をクリックします。「+共有プロバイダへのサブスクライブ」を選択して、共有プロバイダをサブスクライブします。
データ共有プロバイダへのサブスクライブ
- データ共有プロバイダへのサブスクライブで、「プロバイダ名」を入力します。
図subscribe_1.pngの説明 - 「新規プロバイダJSONの追加」を選択し、「デルタ共有プロファイルJSON」をクリックしてJSONプロファイルをドラッグ・アンド・ドロップします。
- 「次」をクリックして、「共有の追加」タブに進みます。
- 共有RESTエンド・ポイントを使用してデータベースからホストに許可するネットワーク・アクセスのレベルを選択し、「実行」をクリックします。この例では、「ホストへのアクセスのみを許可する」が選択されています。
図network_acl_script.pngの説明 - 使用可能な共有を登録するには、共有を「使用可能な共有」から「選択した共有」に移動し、「サブスクライブ」をクリックします。
次のスクリーンショットは、「サブスクライブ」をクリックする前に「使用可能な共有」から「選択した共有」に移動されたREVIEWS共有を示しています。
図subscribe_2.pngの説明 - データ共有から選択した表から導出された外部表を作成します。
- 選択した共有から表をドラッグ・アンド・ドロップします。オプションで、「設定」をクリックして表の詳細を表示できます。
この例では、選択された表はHOTEL_REVIEWSのみです。
図sel_tbls.pngの説明 - オプションで、表の名前を変更して「閉じる」をクリックできます。
この例では、名前がHOTEL_REVIEWSからHOTEL_REVIEWS_SHAREに変更されます。
図name_change.pngの説明 - 「共有の選択」ページで「開始」をクリックし、「データ・ロード・ジョブの実行」ダイアログで「実行」をクリックして、外部表を作成します。
図start_run.pngの説明 - 外部表が作成されると、「完了」メッセージが表示されます。
図xt_complete.pngの説明 - 表の詳細を表示するには、外部表名をクリックします。
図xt_details.pngの説明
- 選択した共有から表をドラッグ・アンド・ドロップします。オプションで、「設定」をクリックして表の詳細を表示できます。
- データベース・アクションから作成された表を表示します。
- ブレッドクラムの「データベース・アクション」をクリックして、データベース・アクションの起動パッドに戻ります。
- 「SQL」タイルをクリックします。
- 外部表を選択し、ワークシートにドラッグ・アンド・ドロップします。
表のSQL Select文が表示されます。このSQL文を実行して、共有データを消費できます。
図xt_sql.pngの説明
- 選択した共有から表をドラッグ・アンド・ドロップします
12.3.8 データ・ロードからのライブ・フィードの作成
データ・ロード・ツールは、クラウド・オブジェクト・ストアのフォルダからデータをロードし、繰り返されるデータ・ロードをリアルタイムでスケジュールできるようにします。これは、データ・ロード・ジョブからのライブ・フィードの作成です。
データ・ロードが完了したら、「表の作成」または「表の削除」および「新規表を作成」オプションを使用して、オブジェクト・ストア・フォルダをロードしたカート・アイテムからライブ・フィードを作成できます。
- セレクタ をクリックして、ナビゲーション・メニューを表示します。Data Studioで、「データ・ロード」を選択します。
- 「データのロード」タイルを選択して、ローカル・ファイル、データベース、クラウド・ストア、ディレクトリおよび共有などの様々なソースからデータをロードします。
- 「クラウド・ストア」をクリックして、URLまたはクラウド・ストア・リンクからオブジェクトをロードします。
- ドロップダウンからクラウド・ストアの場所を選択します。クラウド・ストアの場所を表示できない場合は、「クラウド・ストアの場所の作成」を選択して、新しいクラウド・ストアの場所を作成します。使用可能なクラウドの場所がない場合は、「Oracle Cloud Infrastructureネイティブ資格証明の作成」で説明されているステップに従います。
- クラウド・ストアの場所を選択すると、クラウド・ストレージに存在するフォルダおよびファイルのリストを表示できます。クラウド・ストアからデータ・ロード・カートにファイルを追加し、そこでロード・ジョブの詳細を編集できます。
ノート:
データ・ロード・ツールは、CSV、XLS、XLSX、TSV、TXT、XML、JSONおよびAVRO形式の単一ファイル、またはXLSX形式のファイルを含むフォルダで構成されるロード済カート・アイテムからのライブ・フィードの作成をサポートしていません。 - フォルダを追加するには、左側のファイル・ナビゲータからフォルダをドラッグし、右側のカートにドロップします。フォルダをカートに追加すると、複数のソース・ファイルから単一のターゲット表にすべてのオブジェクトをロードするかどうかを尋ねるプロンプトが表示されます。続行する場合は「はい」を、取り消す場合は「いいえ」をクリックします。複数のファイルをカートに追加でき、各カードで表されるデータが個別の表にロードされますが、カート内のすべてのアイテムが同じデータ・ロード・ジョブの一部として処理されます。
- データ・ロード・カートから「設定」(鉛筆アイコン)を選択し、データ・ロード・ジョブの詳細を入力します。
- クラウド・ストアの場所からのデータのロードの「設定」タブで、「オプション」ドロップダウンから「表の作成」または「表を削除して新規表を作成」を選択できます。
ノート:
ライブ・フィード・ツールは、表を作成してデータを新しい表に挿入するか、既存の表を削除してデータを新しい表に挿入する場合にのみ、データ・ロード・ジョブと連携します。 - データ・ロード・ジョブのその他の詳細を入力します。詳細の入力の詳細は、「データ・ロード・ジョブの詳細の入力」を参照してください。
- データ・ロード・カートにデータ・ソースを追加し、データ・ロード・ジョブの詳細を入力したら、「開始」を選択してジョブを実行します。
- データ・ロード・ジョブの実行後、データ・ロード・カートに緑色のチェック・マークが表示されます
データ・ロード・ジョブが完了したことを示します。 - データ・ロード・カートの「ライブ表フィードの作成」をクリックして、データ・ロード・ジョブからライブ表フィードを作成します。ライブ表フィードが作成されたことを示し、ライブ表フィードを編集するかどうかを尋ねる完了メッセージが表示されます。続行する場合は「はい」を、取り消す場合は「いいえ」をクリックします。「はい」を選択すると、「ライブ表フィードの編集」ウィザードが開きます。
- 「ライブ表フィードの編集」ウィザードで、ソース・フォルダの「クラウド・ストアの場所」と、データに適用された「オブジェクト・フィルタ」を表示できます。
「データ・ソース」タブの「プレビュー」ドロップダウンから、データをプレビューするファイルを選択します。このフィールドには、ロードしたクラウド・ストア・フォルダに存在するファイルの合計数が表示されます。データのプレビューが表示されます。
- 「次」をクリックして、「表の設定」タブに進みます。「表の設定」タブで、データ・ロード・ジョブのプロパティおよびマッピングの詳細を表示できます。
ノート:
このタブの詳細を選択または編集することはできません。 - 「次」をクリックして、ウィザードの「プレビュー」タブに進みます。
「プレビュー」ドロップダウンから任意のファイルを選択して、ファイルを表示します。「表プレビュー」には、ドロップダウンから選択したファイルのプレビューが表示されます。
- 「次」をクリックして、ウィザードの「ライブ・フィードの設定」タブを表示します。「ライブ・フィードの設定」タブで、フィールドに次の値を指定します:
-
通知に対して有効: Oracle Cloud Infrastructureの通知に基づいてデータ・ソース内の新規または変更済のデータがロードされるようにする場合に、このオプションを選択します。このオプションを選択すると、スケジュールに従ってポーリングが開始される場合(つまり、ライブ表フィードの「スケジュール済」オプションを選択した場合)に発生する可能性のある遅延を回避できます。
「通知に対して有効」オプションを選択した場合、通知を発行するためのオブジェクト・ストア・バケットも構成する必要があります
- スケジューリングに対して有効化: データ・フィードのスケジュールを設定するには、このオプションを選択します。時間間隔フィールドに数値を入力し、新規または変更済のファイルについてバケットをポーリングする時間タイプと曜日を選択します。たとえば、月曜日、水曜日および金曜日に2時間ごとにポーリングするには、「2」と入力し、「時間」を選択してから、該当するフィールドで「月曜日」、「水曜日」、「金曜日」を選択します。「平日」ドロップダウンから「すべての日」、「月曜から金曜」、「日曜から木曜」または「カスタム」を選択できます。「カスタム」フィールドを使用すると、「月曜日」、「火曜日」、「水曜日」、「木曜日」および「金曜日」を選択できます。
開始日と終了日を選択します。開始日を選択しない場合、現在の日時が開始日として使用されます。終了日はオプションです。ただし、終了日がないと、フィードはポーリングを継続します。
「ライブ表フィード名」、「ターゲット表名」、「コンシューマ・グループ」など、ウィザードに表示される残りのフィールドはグレー表示され、選択または編集が無効になります。
-
「保存」をクリックして、データ・ロード・カートからライブ表フィードを保存および作成します。