Autonomous AI Database上のデータ・パイプラインについて

Autonomous AI Databaseのデータ・パイプラインは、ロード・パイプラインまたはエクスポート・パイプラインです。

ロード・パイプラインは、外部ソースからの継続的な増分データ・ロードを提供します(データはオブジェクト・ストアに到着すると、データベース表にロードされます)。エクスポート・パイプラインは、オブジェクト・ストアへの継続的な増分データ・エクスポートを提供します(新しいデータはデータベース表に表示されるため、オブジェクト・ストアにエクスポートされます)。パイプラインでは、データベース・スケジューラを使用して、増分データを継続的にロードまたはエクスポートします。

Autonomous AI Databaseのデータ・パイプラインは、次のものを提供します。

データ・パイプラインのライフサイクル

DBMS_CLOUD_PIPELINEパッケージには、パイプラインを作成、構成、テストおよび起動するためのプロシージャが用意されています。パイプラインのライフサイクルとプロシージャは、ロード・パイプラインとエクスポート・パイプラインの両方で同じです。

図pipeline_lifecycle.pngの説明

いずれかのパイプライン・タイプについて、次のステップを実行してパイプラインを作成および使用します。

  1. パイプラインを作成して構成します。詳細は、パイプラインの作成および構成を参照してください。

  2. 新しいパイプラインをテストします。詳細は、テスト・パイプラインを参照してください。

  3. パイプラインを開始します。詳細は、パイプラインの開始を参照してください。

さらに、パイプラインをモニター、停止または削除できます。

パイプラインのロード

ロード・パイプラインを使用して、オブジェクト・ストアの外部ファイルからデータベース表に継続的に増分データをロードします。ロード・パイプラインは、オブジェクト・ストア内の新しいファイルを定期的に識別し、新しいデータをデータベース表にロードします。

ロード・パイプラインは次のように動作します(これらの機能の一部は、パイプライン属性を使用して構成できます)。

イメージの説明が続きます

図load-pipeline.svgの説明

Oracle以外のデータベースからの移行は、ロード・パイプラインの考えられるユースケースの1つです。Oracle以外のデータベースからOracle Autonomous AI Database on Dedicated Exadata Infrastructureにデータを移行する必要がある場合は、データを抽出してAutonomous AI Databaseにロードできます(Oracle Data Pump形式は、Oracle以外のデータベースからの移行には使用できません)。CSVなどの汎用ファイル形式を使用してOracle以外のデータベースからデータをエクスポートすることで、データをファイルに保存し、ファイルをオブジェクト・ストアにアップロードできます。次に、Autonomous AI Databaseにデータをロードするパイプラインを作成します。ロード・パイプラインを使用して大量のCSVファイルをロードすると、フォルト・トレランス、再開および再試行操作などの重要な利点が得られます。大規模なデータ・セットを使用する移行では、Oracle以外のデータベース・ファイル用に1つの表に1つずつ複数のパイプラインを作成して、Autonomous AI Databaseにデータをロードできます。

パイプラインのエクスポート

エクスポート・パイプラインを使用して、データベースからオブジェクト・ストアにデータを継続的に増分エクスポートします。エクスポート・パイプラインは、候補データを定期的に識別し、データをオブジェクト・ストアにアップロードします。

次の3つのエクスポート・パイプライン・オプションがあります(エクスポート・オプションはパイプライン属性を使用して構成できます)。

エクスポート・パイプラインには次の機能があります(これらの一部はパイプライン属性を使用して構成できます)。

Oracle管理パイプライン

Autonomous AI Database on Dedicated Exadata Infrastructureには、特定のログをJSON形式でオブジェクト・ストアにエクスポートするための組込みパイプラインが用意されています。これらのパイプラインは事前構成されており、ADMINユーザーが起動および所有します。

Oracle管理パイプラインは次のとおりです。

Oracle管理対象パイプラインを構成および起動するには:

  1. 使用するOracle Managed Pipeline: ORA$AUDIT_EXPORTまたはORA$APEX_ACTIVITY_EXPORTを決定します。

  2. credential_nameおよびlocation属性を設定します。

    ノート: credential_nameは、Autonomous AI Database on Dedicated Exadata Infrastructureの必須値です。

    たとえば:

     BEGIN
   DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
     pipeline_name => 'ORA$AUDIT_EXPORT',
     attribute_name => 'credential_name',
     attribute_value => 'DEF_CRED_OBJ_STORE'
   );
   DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
     pipeline_name => 'ORA$AUDIT_EXPORT',
     attribute_name => 'location',
     attribute_value => 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/'
   );
 END;
 /

    データベースのログ・データは、指定したオブジェクト・ストアの場所にエクスポートされます。

    詳細は、SET_ATTRIBUTEを参照してください。

  3. オプションで、interval、formatまたはpriority属性を設定します。

    詳細は、SET_ATTRIBUTEを参照してください。

  4. パイプラインを開始します。

    詳細は、START_PIPELINEを参照してください。

関連コンテンツ

DBMS_CLOUD_PIPELINEパッケージ