Autonomous Databaseのデータ・パイプラインについて

Autonomous Databaseデータ・パイプラインは、ロード・パイプラインまたはエクスポート・パイプラインです。

ロード・パイプラインは、外部ソースからの継続的な増分データ・ロードを提供します(データがオブジェクト・ストアに到着すると、データベース表にロードされます)。エクスポート・パイプラインは、オブジェクト・ストアへの継続的な増分データ・エクスポートを提供します(オブジェクト・ストアにエクスポートされるデータベース表に新しいデータが表示されます)。パイプラインでは、データベース・スケジューラを使用して、増分データを継続的にロードまたはエクスポートします。

Autonomous Databaseデータ・パイプラインは次のものを提供します:

統合された運用: パイプラインを使用すると、データを迅速かつ簡単にロードまたはエクスポートし、これらの操作を新しいデータに対して定期的に繰り返すことができます。 DBMS_CLOUD_PIPELINEパッケージには、パイプライン構成およびロードまたはエクスポート操作のスケジュール済ジョブの作成および開始のためのPL/SQLプロシージャの統合セットが用意されています。
スケジュール済データ処理: パイプラインは、データ・ソースを監視し、新しいデータが到着したときに定期的にデータをロードまたはエクスポートします。
高性能: パイプラインは、Autonomous Databaseで使用可能なリソースを使用してデータ転送操作をスケーリングします。デフォルトでは、パイプラインはすべてのロード操作またはエクスポート操作にパラレル化を使用し、Autonomous Databaseで使用可能なCPUリソースに基づいて、または構成可能な優先度属性に基づいてスケーリングします。
アトミシティとリカバリ: パイプラインは、オブジェクト・ストア内のファイルがロード・パイプラインに対して1回のみロードされるようにアトミックを保証します。
モニタリングとトラブルシューティング: パイプラインには、パイプライン操作を監視およびデバッグできる詳細なログおよびステータス表が用意されています。
マルチ・クラウド互換: Autonomous Databaseのパイプラインは、アプリケーションを変更せずにクラウド・プロバイダを簡単に切り替えることがサポートされています。パイプラインは、Autonomous Databaseがサポートするすべての資格証明およびオブジェクト・ストアのURI形式(Oracle Cloud Infrastructure Object Storage、Amazon S3、「Azure BlobストレージまたはAzure Data Lakeストレージ」、Google Cloud Storageおよび「Amazon S3互換」オブジェクト・ストア)をサポートします。

Autonomous Databaseのデータ・パイプライン・ライフサイクルについて
DBMS_CLOUD_PIPELINEパッケージには、パイプラインの作成、構成、テストおよび起動のためのプロシージャが用意されています。パイプラインのライフサイクルとプロシージャは、ロード・パイプラインとエクスポート・パイプラインの両方で同じです。
Autonomous Databaseのロード・パイプラインについて
ロード・パイプラインを使用して、オブジェクト・ストア内の外部ファイルからデータベース表に増分データを継続的にロードします。ロード・パイプラインは、オブジェクト・ストア内の新しいファイルを定期的に識別し、新しいデータをデータベース表にロードします。
Autonomous Databaseでのエクスポート・パイプラインについて
データベースからオブジェクト・ストアへのデータの継続的な増分エクスポートには、エクスポート・パイプラインを使用します。エクスポート・パイプラインは、候補データを定期的に識別し、データをオブジェクト・ストアにアップロードします。
Oracle管理パイプラインについて
Autonomous Databaseには、ログをオブジェクト・ストアにエクスポートするための組込みパイプラインが用意されています。これらのパイプラインは事前構成されており、ADMINユーザーが起動できます。

親トピック: 継続的なロードおよびエクスポートのためのデータ・パイプラインの使用

データ・パイプラインのライフサイクルon Autonomous Databaseについて

DBMS_CLOUD_PIPELINEパッケージには、パイプラインの作成、構成、テストおよび起動のためのプロシージャが用意されています。パイプラインのライフサイクルとプロシージャは、ロード・パイプラインとエクスポート・パイプラインの両方で同じです。

「図pipeline_lifecycle.epsの説明」

いずれのパイプライン・タイプでも、次のステップを実行してパイプラインを作成および使用します:

パイプラインを作成および構成します。詳細については、「パイプラインの作成と構成」を参照してください。
新しいパイプラインをテストします。詳細については、「パイプラインのテスト」を参照してください。
パイプラインを開始します。詳細については、「パイプラインの開始」を参照してください。

また、パイプラインを監視、停止または削除できます:

パイプラインの実行中は、テスト中またはパイプライン開始後の通常の使用中に、パイプラインをモニターできます。詳細については、「パイプラインのモニターおよびトラブルシューティング」を参照してください。
パイプラインを停止して後で再起動したり、パイプラインの使用が終了したらパイプラインをドロップできます。詳細については、「パイプラインの停止」と「パイプラインの削除」を参照してください。

親トピック: Autonomous Databaseのデータ・パイプラインについて

パイプラインのロードon Autonomous Databaseについて

ロード・パイプラインを使用して、オブジェクト・ストア内の外部ファイルからデータベース表に増分データを継続的にロードします。ロード・パイプラインは、オブジェクト・ストア内の新しいファイルを定期的に識別し、新しいデータをデータベース表にロードします。

ロード・パイプラインは次のように動作します(これらの機能の一部は、パイプライン属性を使用して構成できます):

オブジェクト・ストア・ファイルは、パラレルでデータベース表にロードされます。
- ロード・パイプラインでは、オブジェクト・ストア・ファイル名を使用して、新しいファイルを一意に識別およびロードします。
- オブジェクト・ストア内のファイルがデータベース表にロードされると、ファイル・コンテンツがオブジェクト・ストアで変更された場合、そのファイルは再度ロードされません。
- オブジェクト・ストア・ファイルを削除しても、データベース表のデータには影響しません。
障害が発生した場合、ロード・パイプラインは自動的に操作を再試行します。パイプライン・スケジュール済ジョブの後続の実行ごとに再試行が試行されます。
ファイル内のデータがデータベース表に準拠していない場合は、FAILEDとしてマークされ、問題をデバッグおよびトラブルシューティングするために確認できます。
- ファイルのロードに失敗した場合、パイプラインは停止せず、他のファイルのロードを続行します。
ロード・パイプラインは、次のような複数の入力ファイル形式をサポートしています: JSON、CSV、XML、Avro、ORCおよびParquet。

「図load-pipeline.epsの説明」

Oracle以外のデータベースからの移行は、ロード・パイプラインに使用できるユースケースの1つです。 Oracle以外のデータベースからOracle Autonomous Databaseにデータを移行する必要がある場合は、データを抽出してAutonomous Databaseにロードできます(Oracle以外のデータベースからの移行にはOracle Data Pump形式を使用できません)。 CSVなどの汎用ファイル形式を使用してOracle以外のデータベースからデータをエクスポートすることで、データをファイルに保存し、ファイルをオブジェクト・ストアにアップロードできます。次に、パイプラインを作成してデータをAutonomous Databaseにロードします。ロード・パイプラインを使用して大量のCSVファイルをロードすると、フォルト・トレランス、再開および再試行操作などの重要な利点が得られます。大規模なデータ・セットを使用する移行の場合は、Oracle以外のデータベース・ファイル用に表ごとに1つずつ複数のパイプラインを作成して、データをAutonomous Databaseにロードできます。

親トピック: Autonomous Databaseのデータ・パイプラインについて

エクスポート・パイプラインon Autonomous Databaseについて

データベースからオブジェクト・ストアへのデータの継続的な増分エクスポートには、エクスポート・パイプラインを使用します。エクスポート・パイプラインは、候補データを定期的に識別し、データをオブジェクト・ストアにアップロードします。

エクスポート・パイプライン・オプションは3つあります(エクスポート・オプションはパイプライン属性を使用して構成できます):

新しいデータをトラッキングするためのキーとして日付またはタイムスタンプ列を使用して、問合せの増分結果をオブジェクト・ストアにエクスポートします。
新しいデータをトラッキングするためのキーとして日付またはタイムスタンプ列を使用して、表の増分データをオブジェクト・ストアにエクスポートします。
日付またはタイムスタンプ列を参照せずにデータを選択する問合せを使用して、表のデータをオブジェクト・ストアにエクスポートします(これにより、パイプラインは各スケジューラ実行に対して問合せで選択したすべてのデータをエクスポートします)。

エクスポート・パイプラインには次の機能があります(一部はパイプライン属性を使用して構成できます):

結果はオブジェクト・ストアと並行してエクスポートされます。
障害が発生した場合、後続のパイプライン・ジョブによってエクスポート操作が繰り返されます。
エクスポート・パイプラインは、次のような複数のエクスポート・ファイル形式をサポートしています: CSV、JSON、ParquetまたはXML。

親トピック: Autonomous Databaseのデータ・パイプラインについて

Oracle管理パイプラインについて

Autonomous Databaseには、ログをオブジェクト・ストアにエクスポートするための組込みパイプラインが用意されています。これらのパイプラインは事前構成されており、ADMINユーザーが起動できます。

Oracle Maintainedパイプラインは次のとおりです:

ORA$AUDIT_EXPORT: このパイプラインは、データベース監査ログをJSON形式のオブジェクト・ストアにエクスポートし、(interval属性値に基づいて)パイプラインの開始後15分ごとに実行します。
ORA$APEX_ACTIVITY_EXPORT: このパイプラインは、Oracle APEXワークスペースのアクティビティ・ログをJSON形式のオブジェクト・ストアにエクスポートします。このパイプラインは、APEXアクティビティ・レコードを取得するためのSQL問合せで事前構成されており、(interval属性値に基づいて)パイプラインの開始後15分ごとに実行されます。

Oracle MaintainedパイプラインはADMINユーザーによって所有され、Oracle Maintained Pipelinesの属性はADMINユーザーが変更できます。

デフォルトでは、Oracle Maintained Pipelinesはcredential_nameとしてOCI$RESOURCE_PRINCIPALを使用します。

詳細については、「Oracle管理パイプラインの使用」を参照してください。

親トピック: Autonomous Databaseのデータ・パイプラインについて