機械翻訳について

パイプラインの作成と構成

1つ以上のロード・パイプラインまたはエクスポート・パイプラインを作成できます。 パイプラインを作成する場合は、パラメータを使用し、パイプライン属性を設定してパイプラインを構成します。

パイプラインを作成および構成するオプションは次のとおりです:

親トピック: 継続的なロードおよびエクスポートのためのデータ・パイプラインの使用

データをロードするためのパイプラインの作成および構成

パイプラインを作成して、オブジェクト・ストアの外部ファイルからAutonomous Database内の表にデータをロードできます。

ロード・パイプラインは、オブジェクト・ストアに配置されたデータを消費し、Autonomous Database内の表にロードします。 ロード・パイプラインを作成すると、パイプラインは定期的に実行され、オブジェクト・ストアに配置されたデータが消費されます。新しいデータファイルが到着すると、パイプラインは新しいデータがロードされます。 パイプラインを使用して、再開および再試行機能を使用して、オブジェクト・ストアからデータベース上の表にファイルを確実にコピーすることもできます。

ロード・パイプラインでは、パイプライン・パッケージはDBMS_CLOUD.COPY_DATAを使用してデータをロードします。

Autonomous Databaseで、既存の表を使用するか、データをロードするデータベース表を作成します。 たとえば: 

CREATE TABLE EMPLOYEE
            (name     VARCHAR2(128),
             age      NUMBER,
             salary   NUMBER);
  1. オブジェクト・ストアからデータをロードするパイプラインを作成します。
    BEGIN
     DBMS_CLOUD_PIPELINE.CREATE_PIPELINE(
        pipeline_name => 'MY_PIPE1',
        pipeline_type => 'LOAD',
        description   => 'Load metrics from object store into a table'
  );
END;
/

    詳細については、「CREATE_PIPELINEプロシージャ」を参照してください。

  2. ロードするファイルを含むオブジェクト・ストアにアクセスするための資格証明オブジェクトを作成します。

    パイプライン・ソースのロケーションの資格証明は、属性credential_nameを使用して指定します。 次のステップでcredential_nameを指定しない場合、credential_name値はNULLに設定されます。 location属性がパブリックまたは事前認証済URLの場合、デフォルトのNULL値を使用できます。

    詳細については、「CREATE_CREDENTIALプロシージャ」を参照してください。

  3. 必要な属性を含むパイプライン属性を設定: location、table_name、およびformat。
    BEGIN
     DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
       pipeline_name => 'MY_PIPE1',
       attributes    => JSON_OBJECT(
            'credential_name' VALUE 'OBJECT_STORE_CRED',
            'location' VALUE 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/',
            'table_name' VALUE 'employee',
            'format' VALUE '{"type":"json", "columnpath":["$.NAME", "$.AGE", "$.SALARY"]}',
            'priority' VALUE 'HIGH',
            'interval' VALUE '20')
  );
END;
/

    ロード・パイプラインを実行するには、次の属性を設定する必要があります:

    • location: オブジェクト・ストアのソース・ファイルのロケーションを指定します。

    • table_name: データをロードするデータベースの表を指定します。 指定するlocationは、パイプラインごとに1つのtable_name用です。

    • format: ロードするデータの形式を示します。

      詳細については、「DBMS_CLOUDパッケージ・フォーマット・オプション」を参照してください。

    credential_nameは、前のステップで作成した資格証明です。

    priority値は、パラレルにロードされるファイルの数を決定します。 優先度の高いパイプラインは、より低い優先度での実行と比較して、より多くのデータベース・リソースを消費し、各実行をより速く完了します。

    interval値は、パイプライン・ジョブの連続実行間の時間間隔(分)を指定します。 デフォルトのintervalは15分です。

    パイプライン属性の詳細は、「DBMS_CLOUD_PIPELINE属性」を参照してください。

    パイプラインを作成した後、パイプラインをテストしたり、パイプラインを開始できます:

別の方法として、JSONの形式を設定するには、次の形式を使用できます:

BEGIN
    DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
        pipeline_name   => 'MY_PIPE1',
        attribute_name  => 'format',
        attribute_value => JSON_OBJECT('type' value 'json', 'columnpath' value '["$.NAME", "$.AGE", "$.SALARY"]')
    );
END;
/

親トピック: パイプラインの作成と構成

タイムスタンプ列を使用したエクスポート用のパイプラインの作成および構成

エクスポート・パイプラインを作成して、時系列データをAutonomous Databaseからオブジェクト・ストアに自動的にエクスポートできます。

このエクスポート・パイプライン・オプションを使用して、表またはSQL問合せと、パイプラインが最終アップロードの時間を追跡するために使用するタイムスタンプを含む列を指定します。 エクスポート・パイプラインを使用して、他のアプリケーションによる消費データを共有したり、データをオブジェクト・ストアに保存できます。

エクスポート・パイプラインでは、パイプライン・パッケージはDBMS_CLOUD.EXPORT_DATAを使用してデータをエクスポートします。

エクスポート・パイプラインは、Autonomous Databaseからオブジェクト・ストアにデータをエクスポートします。 エクスポート・パイプラインを作成すると、パイプラインは定期的に実行され、データがオブジェクト・ストアに配置されます。

  1. データをオブジェクト・ストアにエクスポートするパイプラインを作成します。
    BEGIN
     DBMS_CLOUD_PIPELINE.CREATE_PIPELINE(
        pipeline_name=>'EXP_PIPE1',
        pipeline_type=>'EXPORT',
        description=>'Export time series metrics to object store');
END;
/

    詳細については、「CREATE_PIPELINEプロシージャ」を参照してください。

  2. 資格証明オブジェクトを作成して、データ・ファイルをエクスポートする宛先オブジェクト・ストアのロケーションにアクセスします。

    パイプライン宛先のロケーションの資格証明は、属性credential_nameで指定します。 次のステップでcredential_nameを指定しない場合、credential_name値はNULLに設定されます。 location属性がパブリックまたは事前認証済URLの場合、デフォルトのNULL値を使用できます。

    詳細については、「CREATE_CREDENTIALプロシージャ」を参照してください。

  3. エクスポート・パイプライン属性を設定します。

    table_nameパラメータを指定すると、表の行がオブジェクト・ストアにエクスポートされます。 queryパラメータを指定すると、問合せによってSELECT文が指定され、必要なデータのみがオブジェクト・ストアにエクスポートされます。

    • table_nameパラメータの使用: 

      BEGIN
     DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
       pipeline_name => 'EXP_PIPE1',
       attributes    => JSON_OBJECT('credential_name' VALUE 'OBJECT_STORE_CRED',
          'location' VALUE 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/',
          'table_name' VALUE 'metric_table',
          'key_column' VALUE 'metric_time',
          'format' VALUE '{"type": "json"}',
          'priority' VALUE 'MEDIUM',
          'interval' VALUE '20')
  );
END;
/

    • queryパラメータの使用: 

      BEGIN
     DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
       pipeline_name => 'EXP_PIPE1',
       attributes    => JSON_OBJECT('credential_name' VALUE 'OBJECT_STORE_CRED',
           'location' VALUE 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/',
           'query' VALUE 'SELECT * from metrics_table',
           'key_column' VALUE 'metric_time',
           'format' VALUE '{"type": "json"}',
           'priority' VALUE 'MEDIUM',
           'interval' VALUE '20')
  );
END;
/

    credential_nameは、前のステップで作成した資格証明です。

    エクスポート・パイプラインを実行するには、次の属性を設定する必要があります:

    • location: 宛先オブジェクト・ストアのロケーションを指定します。 指定するlocationは、パイプラインごとに1つのtable_name用です。

    • table_name: エクスポートするデータを含むデータベース内の表を指定します(table_nameパラメータまたはqueryパラメータのいずれかが必要です)。

    • query: エクスポートするデータを提供するデータベースで実行する問合せを指定します(table_nameパラメータまたはqueryパラメータのいずれかが必要です)。

    • format: エクスポートするデータの形式を示します。

      詳細については、「EXPORT_DATAのDBMS_CLOUDパッケージ形式オプション」を参照してください。

    priority値は、データベースからデータをフェッチするための並列度を決定します。

    interval値は、パイプライン・ジョブの連続実行間の時間間隔(分)を指定します。 デフォルトのintervalは15分です。

    パイプライン属性の詳細は、「DBMS_CLOUD_PIPELINE属性」を参照してください。

    パイプラインを作成した後、パイプラインをテストしたり、パイプラインを開始できます:

親トピック: パイプラインの作成と構成

問合せ結果をエクスポートするパイプラインの作成および構成(タイムスタンプなし)

エクスポート・パイプラインを作成して、Autonomous Databaseからオブジェクト・ストアにデータを自動的にエクスポートできます。 このエクスポート・パイプライン・オプションを使用して、データをオブジェクト・ストアにエクスポートするためにパイプラインが定期的に実行するSQL問合せを指定します。 このエクスポート・オプションを使用して、Autonomous Databaseからオブジェクト・ストアに最新データを共有し、他のアプリケーションがデータを消費できるようにします。

エクスポート・パイプラインは、Autonomous Databaseからオブジェクト・ストアにデータをエクスポートします。 エクスポート・パイプラインを作成すると、パイプラインは定期的に実行され、データがオブジェクト・ストアに配置されます。

  1. データをオブジェクト・ストアにエクスポートするパイプラインを作成します。
    BEGIN
     DBMS_CLOUD_PIPELINE.CREATE_PIPELINE(
        pipeline_name=>'EXP_PIPE2',
        pipeline_type=>'EXPORT',
        description=>'Export query results to object store.');
END;
/

    詳細については、「CREATE_PIPELINEプロシージャ」を参照してください。

  2. 資格証明オブジェクトを作成して、データ・ファイルをエクスポートする宛先オブジェクト・ストアのロケーションにアクセスします。

    パイプライン宛先のロケーションの資格証明は、属性credential_nameで指定します。 次のステップでcredential_nameを指定しない場合、credential_name値はNULLに設定されます。 location属性がパブリックまたは事前認証済URLの場合、デフォルトのNULL値を使用できます。

    詳細については、「CREATE_CREDENTIALプロシージャ」を参照してください。

  3. エクスポート・パイプライン属性を設定します。
    BEGIN
     DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
       pipeline_name => 'EXP_PIPE2',
       attributes    => JSON_OBJECT(
          'credential_name' VALUE 'OBJECT_STORE_CRED',
          'location' VALUE 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/',
          'query' VALUE 'SELECT * FROM table_name',
          'format' VALUE '{"type": "json"}',
          'priority' VALUE 'MEDIUM',
          'interval' VALUE '20')
  );
END;
/

    credential_nameは、前のステップで作成した資格証明です。

    エクスポート・パイプラインを実行するには、次の属性を設定する必要があります:

    • location: 宛先オブジェクト・ストアのロケーションを指定します。

    • query: エクスポートするデータを提供するデータベースで実行する問合せを指定します。

    • format: エクスポートするデータの形式を示します。

      詳細については、「EXPORT_DATAのDBMS_CLOUDパッケージ形式オプション」を参照してください。

    priority値は、データベースからデータをフェッチするための並列度を決定します。

    interval値は、パイプライン・ジョブの連続実行間の時間間隔(分)を指定します。 デフォルトのintervalは15分です。

    パイプライン属性の詳細は、「DBMS_CLOUD_PIPELINE属性」を参照してください。

    パイプラインを作成した後、パイプラインをテストしたり、パイプラインを開始できます:

親トピック: パイプラインの作成と構成