Autonomous AI Database上のデータ・パイプラインについて

Autonomous AI Databaseのデータ・パイプラインは、ロード・パイプラインまたはエクスポート・パイプラインです。

ロード・パイプラインは、外部ソースからの継続的な増分データ・ロードを提供します(データがオブジェクト・ストアに到着すると、データベース表にロードされます)。エクスポート・パイプラインは、オブジェクト・ストアへの継続的な増分データ・エクスポートを提供します(オブジェクト・ストアにエクスポートされるデータベース表に新しいデータが表示されます)。パイプラインでは、データベース・スケジューラを使用して、増分データを継続的にロードまたはエクスポートします。

Autonomous AI Databaseのデータ・パイプラインには、次のものがあります:

統合された運用: パイプラインを使用すると、データを迅速かつ簡単にロードまたはエクスポートし、これらの操作を新しいデータに対して定期的に繰り返すことができます。 DBMS_CLOUD_PIPELINEパッケージには、パイプライン構成およびロードまたはエクスポート操作のスケジュール済ジョブの作成および開始のためのPL/SQLプロシージャの統合セットが用意されています。
スケジュール済データ処理: パイプラインは、データ・ソースを監視し、新しいデータが到着したときに定期的にデータをロードまたはエクスポートします。
High Performance: パイプラインは、Autonomous AI Database上の利用可能なリソースを使用して、データ転送操作をスケーリングします。デフォルトでは、パイプラインはすべてのロードまたはエクスポート操作に並列性を使用し、Autonomous AI Databaseで使用可能なCPUリソースに基づいて、または構成可能な優先度属性に基づいてスケーリングします。
アトミシティとリカバリ: パイプラインは、オブジェクト・ストア内のファイルがロード・パイプラインに対して1回のみロードされるようにアトミックを保証します。
モニタリングとトラブルシューティング: パイプラインには、パイプライン操作を監視およびデバッグできる詳細なログおよびステータス表が用意されています。
マルチクラウド対応: Autonomous AI Database上のパイプラインは、アプリケーションを変更することなく、クラウドプロバイダー間の簡単な切り替えをサポートします。パイプラインでは、Autonomous AI Databaseがサポートするすべての資格証明およびオブジェクト・ストアのURI形式(Oracle Cloud Infrastructure Object Storage、Amazon S3、Azure Blob StorageまたはAzure Data Lake Storage、Google Cloud StorageおよびAmazon S3互換オブジェクト・ストア)がサポートされています。

Autonomous AI Databaseでのデータ・パイプラインのライフサイクルについて
DBMS_CLOUD_PIPELINEパッケージには、パイプラインを作成、構成、テストおよび起動するためのプロシージャが用意されています。パイプラインのライフサイクルとプロシージャは、ロード・パイプラインとエクスポート・パイプラインの両方で同じです。
Autonomous AI Databaseでのパイプラインのロードについて
ロード・パイプラインは、オブジェクト・ストア内の外部ファイルからデータベース表への継続的な増分データ・ロードに使用します。ロード・パイプラインは、オブジェクト・ストア内の新しいファイルを定期的に識別し、新しいデータをデータベース表にロードします。
Autonomous AI Databaseでのエクスポート・パイプラインについて
エクスポート・パイプラインは、データベースからオブジェクト・ストアへのデータの継続的な増分エクスポートに使用します。エクスポート・パイプラインは、候補データを定期的に識別し、データをオブジェクト・ストアにアップロードします。
Oracle管理パイプラインについて
Autonomous Databaseには、ログをオブジェクト・ストアにエクスポートするための組込みパイプラインが用意されています。これらのパイプラインは事前構成されており、ADMINユーザーが起動できます。

親トピック: 継続的なロードおよびエクスポートのためのデータ・パイプラインの使用

Autonomous AI Databaseでのデータ・パイプラインのライフサイクルについて

DBMS_CLOUD_PIPELINEパッケージには、パイプラインの作成、構成、テストおよび起動のためのプロシージャが用意されています。パイプラインのライフサイクルとプロシージャは、ロード・パイプラインとエクスポート・パイプラインの両方で同じです。

「図pipeline_lifecycle.epsの説明」

いずれのパイプライン・タイプでも、次のステップを実行してパイプラインを作成および使用します:

パイプラインを作成および構成します。詳細については、「パイプラインの作成と構成」を参照してください。
新しいパイプラインをテストします。詳細については、「パイプラインのテスト」を参照してください。
パイプラインを開始します。詳細については、「パイプラインの開始」を参照してください。

また、パイプラインを監視、停止または削除できます:

パイプラインの実行中は、テスト中またはパイプライン開始後の通常の使用中に、パイプラインをモニターできます。詳細については、「パイプラインのモニターおよびトラブルシューティング」を参照してください。
パイプラインを停止して後で再起動したり、パイプラインの使用が終了したらパイプラインをドロップできます。詳細については、「パイプラインの停止」と「パイプラインの削除」を参照してください。

親トピック: Autonomous AI Databaseでのデータ・パイプラインについて

Autonomous AI Databaseでのロード・パイプラインについて

ロード・パイプラインを使用して、オブジェクト・ストア内の外部ファイルからデータベース表に増分データを継続的にロードします。ロード・パイプラインは、オブジェクト・ストア内の新しいファイルを定期的に識別し、新しいデータをデータベース表にロードします。

ロード・パイプラインは次のように動作します(これらの機能の一部は、パイプライン属性を使用して構成できます):

オブジェクト・ストア・ファイルは、パラレルでデータベース表にロードされます。
- ロード・パイプラインでは、オブジェクト・ストア・ファイル名を使用して、新しいファイルを一意に識別およびロードします。
- オブジェクト・ストア内のファイルがデータベース表にロードされると、ファイル・コンテンツがオブジェクト・ストアで変更された場合、そのファイルは再度ロードされません。
- オブジェクト・ストア・ファイルを削除しても、データベース表のデータには影響しません。
障害が発生した場合、ロード・パイプラインは自動的に操作を再試行します。パイプライン・スケジュール済ジョブの後続の実行ごとに再試行が試行されます。
ファイル内のデータがデータベース表に準拠していない場合は、FAILEDとしてマークされ、問題をデバッグおよびトラブルシューティングするために確認できます。
- ファイルのロードに失敗した場合、パイプラインは停止せず、他のファイルのロードを続行します。
ロード・パイプラインは、次のような複数の入力ファイル形式をサポートしています: JSON、CSV、XML、Avro、ORCおよびParquet。

「図load-pipeline.epsの説明」

Oracle以外のデータベースからの移行は、ロード・パイプラインに使用できるユースケースの1つです。 Oracle以外のデータベースからOracle Autonomous AI Databaseにデータを移行する必要がある場合は、データを抽出してAutonomous AI Databaseにロードできます(Oracle Data Pump形式は、Oracle以外のデータベースからの移行には使用できません)。 CSVなどの汎用ファイル形式を使用してOracle以外のデータベースからデータをエクスポートすることで、データをファイルに保存し、ファイルをオブジェクト・ストアにアップロードできます。次に、Autonomous AI Databaseにデータをロードするパイプラインを作成します。ロード・パイプラインを使用して大量のCSVファイルをロードすると、フォルト・トレランス、再開および再試行操作などの重要な利点が得られます。大規模なデータ・セットを使用した移行の場合、Oracle以外のデータベース・ファイル用に1つずつ複数のパイプラインを作成して、Autonomous AI Databaseにデータをロードできます。

親トピック: Autonomous AI Databaseでのデータ・パイプラインについて

Autonomous AI Databaseでのパイプラインのエクスポートについて

データベースからオブジェクト・ストアへのデータの継続的な増分エクスポートには、エクスポート・パイプラインを使用します。エクスポート・パイプラインは、候補データを定期的に識別し、データをオブジェクト・ストアにアップロードします。

エクスポート・パイプライン・オプションは3つあります(エクスポート・オプションはパイプライン属性を使用して構成できます):

新しいデータをトラッキングするためのキーとして日付またはタイムスタンプ列を使用して、問合せの増分結果をオブジェクト・ストアにエクスポートします。
新しいデータをトラッキングするためのキーとして日付またはタイムスタンプ列を使用して、表の増分データをオブジェクト・ストアにエクスポートします。
日付またはタイムスタンプ列を参照せずにデータを選択する問合せを使用して、表のデータをオブジェクト・ストアにエクスポートします(これにより、パイプラインは各スケジューラ実行に対して問合せで選択したすべてのデータをエクスポートします)。

エクスポート・パイプラインには次の機能があります(一部はパイプライン属性を使用して構成できます):

結果はオブジェクト・ストアと並行してエクスポートされます。
障害が発生した場合、後続のパイプライン・ジョブによってエクスポート操作が繰り返されます。
エクスポート・パイプラインは、次のような複数のエクスポート・ファイル形式をサポートしています: CSV、JSON、ParquetまたはXML。

親トピック: Autonomous AI Databaseでのデータ・パイプラインについて

Oracle管理パイプラインについて

Autonomous Databaseには、ログをオブジェクト・ストアにエクスポートするための組込みパイプラインが用意されています。これらのパイプラインは事前構成されており、ADMINユーザーが起動できます。

Oracle Maintainedパイプラインは次のとおりです:

ORA$AUDIT_EXPORT: このパイプラインは、データベース監査ログをJSON形式のオブジェクト・ストアにエクスポートし、(interval属性値に基づいて)パイプラインの開始後15分ごとに実行します。
ORA$APEX_ACTIVITY_EXPORT: このパイプラインは、Oracle APEXワークスペースのアクティビティ・ログをJSON形式のオブジェクト・ストアにエクスポートします。このパイプラインは、APEXアクティビティ・レコードを取得するためのSQL問合せで事前構成されており、(interval属性値に基づいて)パイプラインの開始後15分ごとに実行されます。

Oracle MaintainedパイプラインはADMINユーザーによって所有され、Oracle Maintained Pipelinesの属性はADMINユーザーが変更できます。

デフォルトでは、Oracle Maintained Pipelinesはcredential_nameとしてOCI$RESOURCE_PRINCIPALを使用します。

詳細については、「Oracle管理パイプラインの使用」を参照してください。

親トピック: Autonomous AI Databaseでのデータ・パイプラインについて