Oracle Cloud Infrastructureドキュメント

データ・ローダー・タスクのターゲットの選択

ターゲットとして使用するデータ・アセット、接続およびスキーマを選択します。次に、新しいターゲット・エンティティを構成するか、既存のデータ・エンティティを選択してデータをロードします。

ターゲット・データ・アセット、接続およびスキーマの選択

データ・ローダー・タスクのターゲット・データ・エンティティを構成するには、まずデータ・アセット、接続およびスキーマを選択します。

リソースは、選択後にパラメータ化できます。

  1. 「データ・ローダー・タスクの作成」ページで、「ターゲット」ステップに移動します。
  2. このターゲットのデータ・アセットを作成して選択するには、「データ・アセット」の横にある「作成」を選択してデータ・アセットを作成します。
  3. 既存のデータ・アセットからターゲット・データ・エンティティを選択するには、最初にリソース・メニューを使用し、表示された順序でデータ・アセット、接続およびスキーマ(またはバケット)を選択します。次に注意してください:

    • 選択可能なデータ・アセット・リソースは、「基本情報」ステップで選択したターゲットのタイプによって異なります。リソース・メニューに必要な項目が見つからない場合は、リソースの横にある「すべて表示」をクリックします。

    • データ・アセット(オブジェクト・ストレージなど)に適用可能な場合は、バケット(スキーマ)を選択する前にコンパートメントを選択します。

    • データベース接続の場合は、「追加」をクリックして接続を作成および追加できます。

  4. (オプション)リソースの選択後に、データ・アセット、接続およびスキーマにパラメータを割り当てることができます。ターゲット上のリソースに対して次のいずれかを実行します。
    • リソースの横にある「パラメータ化」をクリックして、そのリソースにパラメータを割り当てます。パラメータ化すると、データ統合によって適切なタイプのパラメータが追加され、そのリソースに対して現在構成されている値にデフォルト・パラメータ値が設定されます。
    • 使用可能な場合は、「ソース<resource>パラメータの再使用」をクリックして、ソース上の同じタイプのリソースに追加されたものと同じパラメータを使用します。詳細は、ソース・リソースまたはターゲット・リソースのパラメータの再利用を参照してください。

    データ・アセット・タイプがオブジェクト・ストレージの場合は、バケット(スキーマ)をパラメータ化できますが、バケットを含むコンパートメントはパラメータ化できません。

  5. ターゲットのデータ・アセット・タイプによっては、選択する他のオプションがあります。
    データ・アセット・タイプ オプション

    オブジェクト・ストレージ、HDFS

    「ファイル設定」で、ファイル・タイプ、圧縮タイプおよびエンコーディング(該当する場合)を選択します。選択できる圧縮タイプは、ファイル・タイプによって異なります。

    CSVの場合、構成できるその他の設定は次のとおりです。

    • すべてのファイルの最初の行がヘッダー行である場合は、「データにはヘッダーがあります」を選択します。
    • データ行の値が複数の行にまたがる場合は、「複数行」を選択します。
    • データ値で検出される他の文字をエスケープするためのエスケープ文字を指定します。例: \
    • データ・フィールドを区切るデリミタ文字を選択します。例: 「コロン」(:)、COMMA(,)、PIPE(|)、SEMICOLON(;)またはTAB(\t)
    • 他の文字をリテラル文字として扱うための引用符文字を指定します。例: "
    • 列デリミタがすべてのファイルでデータ行の末尾に含まれる場合は、「末尾のデリミタ」を選択します。

    次は、「ターゲット・データ・エンティティのロード設定」で「既存のデータ・エンティティの使用」を選択した場合にのみ使用できます: JSONファイルの場合は、エンティティ・シェイプの推測に使用されるカスタム・サンプル・スキーマを貼り付けるかアップロードする場合は、「カスタム・スキーマの使用」を選択します。

    • 「アップロード」を選択した場合は、表示されたボックスにカスタム・スキーマ・ファイルを削除するか、「ファイルの選択」をクリックしてアップロードするスキーマ・ファイルを選択します。

    • 「スキーマに貼付け」を選択した場合は、スキーマ・テキスト・ファイルの内容をコピーして、表示されたボックスに貼り付けます。

    Autonomous Data Warehouse, Autonomous Transaction Processing

    • 選択したデータ・アセットにデフォルトのステージング場所が構成されている場合、データ統合は自動的にそのオブジェクト・ストレージ・バケットをステージングに使用します。データ・アセット用に構成されたデフォルトのステージング場所を使用するか、別のステージング場所を指定します。

      別のステージング場所を使用するには、「ステージング場所」で、チェック・ボックスの「デフォルトのステージング場所の設定を使用」をクリアします。次に、リソース・メニューを使用して、ステージングに使用するオブジェクト・ストレージ・データ・アセット、接続、コンパートメントおよびバケット(スキーマ)を選択します。

    • 選択したデータ・アセットにデフォルトのステージング場所が構成されていない場合は、リソース・メニューを使用して、ステージングに使用するオブジェクト・ストレージ・データ・アセット、接続、コンパートメントおよびバケット(スキーマ)を選択します。
データ・アセット、接続、スキーマ(またはバケット)および該当するターゲット・オプションを選択した後で、新しいデータ・エンティティまたは既存のデータ・エンティティのターゲット・ロード設定を構成します。
新しいターゲット・データ・エンティティの使用

データ統合は、ソース・エンティティからデータをロードするときに、新しいターゲット・データ・エンティティを作成することができます。

単一データ・エンティティ・ロード・タイプの場合、データ・エンティティ名を入力するオプションを選択した場合にのみ、データ・エンティティのパラメータを使用できます。

  1. 「ターゲット」ステップの「データ・エンティティ」タブに移動します。
  2. 「ターゲット・データ・エンティティのロード設定」で、「新規データ・エンティティの作成」を選択します。

    新規ターゲットの場合、統合戦略は常に「挿入」です。

  3. オブジェクト・ストレージ・ターゲットの場合のみ: 単一の出力ファイルを使用する場合は、「出力を単一ファイルとして作成」チェック・ボックスを選択します。そうしないと、複数のファイルが作成されます。

    タスクが実行されるたびに、単一の出力ファイルが上書きされます。単一出力ファイルの作成は、データ統合のパフォーマンスに影響することがあります。大規模なデータセットでは単一出力ファイルのオプションを使用しないでください。

    複数のデータ・エンティティ・ロード・タイプの場合、ターゲット内の各新規エンティティには対応する単一ファイルがあります。

  4. 新しいターゲットに使用する「ターゲット・データ・エンティティ名」オプションを指定します。次のいずれかを選択できます:

    • ソースと同じエンティティ名を使用: ソース・エンティティと同じ名前のターゲット・エンティティを作成するには、このオプションを選択します。

    • 接頭辞/接尾辞の追加: ソース・エンティティ名の先頭(接頭辞)または末尾(接尾辞)に文字列を追加して、ターゲット・エンティティ名を作成するには、このオプションを選択します。

    • (単一エンティティ・ロード・タイプのみ)エンティティ名の指定: 新しいターゲット・エンティティ名をフィールドに入力します。

      • オブジェクト・ストレージの場合: 新しいデータ・エンティティ名に続けてスラッシュ(/)を入力します。たとえば、newfile/またはnewdirectory/newfile/と入力します。ただし、単一ファイル出力を作成するために「出力を単一ファイルとして作成」チェック・ボックスを選択した場合は、末尾のスラッシュ(/)なしの新しいエンティティ名を入力します。

      • データベース・ターゲットの場合: 指定したエンティティ名が存在する場合、操作の結果は、データ・ローダー・タスクのターゲットのシェイプおよび既存のエンティティのシェイプによって決まります。

  5. (オプション)(単一エンティティ・ロード・タイプの場合のみ)前のステップでデータ・エンティティ名を入力することを選択した場合にのみ、パラメータをデータ・エンティティに割り当てることができます。次のいずれかを行います。
    • リソースの横にある「パラメータ化」をクリックして、そのリソースにパラメータを割り当てます。パラメータ化すると、データ統合によって適切なタイプのパラメータが追加され、そのリソースに対して現在構成されている値にデフォルト・パラメータ値が設定されます。
    • 使用可能な場合は、「ソース・データ・エンティティ・パラメータの再利用」をクリックして、このターゲット・データ・エンティティのパラメータとしてソース・エンティティ・パラメータを使用します。詳細は、ソース・リソースまたはターゲット・リソースのパラメータの再利用を参照してください。
  6. 該当する場合は、「設定」タブを選択し、「拒否制限」の値を入力します。

    Autonomous Data WarehouseまたはAutonomous Transaction Processingの場合:

    ターゲットにロードできない可能性があるエラー行の最大数を指定できます。これを超えるとタスクが失敗します。たとえば、データ・ソースに1,000行が含まれ、拒否制限を200に設定すると、200番目のエラー行が拒否された直後にタスクが失敗します。

    値を指定しない場合、デフォルトはゼロです。つまり、最初のエラー行が拒否されたときにタスクが失敗します。

    タスクが失敗した場合は、拒否された行を含む表名をログで確認してください。次に、Autonomous Database内で影響を受けた表と行を問い合せます。

既存のターゲット・データ・エンティティの使用

既存のターゲット・データ・エンティティを使用する場合は、既存のターゲットへのデータのロード方法を決定する統合戦略を選択します。

単一データ・エンティティ・ロード・タイプの場合、データ・エンティティの選択後にデータ・エンティティのパラメータを使用できます。

  1. 「ターゲット」ステップの「データ・エンティティ」タブに移動します。
  2. 「ターゲット・データ・エンティティのロード設定」で、「既存のデータ・エンティティの使用」を選択します。
  3. ターゲットへのデータのロード方法を指定するには、使用可能な統合戦略オプションのいずれかを選択します。

    • 挿入: 新しいレコードを挿入します。または、データがターゲットに存在するときはレコードを追加します。

    • 上書き: 新しいレコードを挿入する前にターゲット上で切捨てを実行します

      オブジェクト・ストレージ・ターゲットで出力を単一ファイルとして作成する場合は、統合戦略を「上書き」にする必要があります。

    • マージ: 新しいレコードを挿入し、既存のレコードをマージします。マージ戦略は、データベース・ターゲットでのみ使用できます。

      単一データ・エンティティ・ロード・タイプ(ステップ5を参照)の場合、データをマージする主キー以外の一意キーを選択するオプションがあります。

      複数データ・エンティティ・ロード・タイプでは、主キーがデフォルトで使用されます。追加のアクションまたは選択は必要ありません。

  4. 上書き方法およびオブジェクト・ストレージ・ターゲットの場合のみ: 1つの出力ファイルを使用する場合は、「出力を1つのファイルとして作成」チェック・ボックスを選択します。そうしないと、複数のファイルが作成されます。

    タスクが実行されるたびに、単一の出力ファイルが上書きされます。単一出力ファイルの作成は、データ統合のパフォーマンスに影響することがあります。大規模なデータセットでは単一出力ファイルのオプションを使用しないでください。

    複数のデータ・エンティティ・ロード・タイプの場合、ターゲットで選択した各エンティティには、対応する単一ファイルがあります。

  5. 単一データ・エンティティ・ロード・タイプの場合:
    1. 「使用可能なデータ・エンティティ」表で、1つのデータ・エンティティを選択します。次が可能です:

      • エンティティ名の横にあるチェック・ボックスを選択し、「ターゲットとして設定」を選択します。

      • フィールドの名前またはパターンを入力し、[Enter]を押してリストをフィルタ処理します。

        *などの特殊文字を使用して、名前の一部またはパターンを入力できます。たとえば、ADDRESS_*と入力して、ADDRESS_EU1、ADDRESS_EU2およびADDRESS_EU3を検索できます。

        フィルタ処理されたリストで、エンティティ名の横にあるチェック・ボックスを選択し、「ターゲットとして設定」を選択します。

      • 「上書き」統合戦略のオブジェクト・ストレージ・ターゲットの場合は、エンティティ名の最後にスラッシュ(/)が付いていない既存のデータ・エンティティを選択します。
      選択したデータ・エンティティの名前が「選択したデータ・エンティティ」ラベルの横に表示されます。別のデータ・エンティティを選択してターゲットとして使用するには、「削除」をクリックしてから、「使用可能なデータ・エンティティ」表のエンティティを選択します。
    2. (オプション)前のステップでデータ・エンティティを選択した後、データ・エンティティにパラメータを割り当てることができます。次のいずれかを行います。
      • リソースの横にある「パラメータ化」をクリックして、そのリソースにパラメータを割り当てます。パラメータ化すると、データ統合によって適切なタイプのパラメータが追加され、そのリソースに対して現在構成されている値にデフォルト・パラメータ値が設定されます。
      • 使用可能な場合は、「ソース・データ・エンティティ・パラメータの再利用」をクリックして、このターゲット・データ・エンティティのパラメータとしてソース・エンティティ・パラメータを使用します。詳細は、ソース・リソースまたはターゲット・リソースのパラメータの再利用を参照してください。
    3. (オプション)「マージ」統合戦略のデータベース・ターゲットの場合:

      マージ・キーは、属性または属性を識別して、更新または挿入する既存の行または新しい行を決定します。マージ・キーとして、主キー/一意キーまたは非主キーを選択できます。

      「選択」または「編集」をクリックします。「マージ・キー」パネルで、次のいずれかのアクションを実行します:

      • 主キー/一意キー属性を選択し、キーを選択します。
      • 「その他の属性」を選択して、他の(プライマリでない)属性を使用します。マージ・キーの名前を入力し、リストから属性を選択します。
  6. 複数データ・エンティティロード・タイプの場合: デフォルトでは、ソース・データ・エンティティが、使用可能なターゲット・データ・エンティティに名前で自動的にマップされます。
    1. 「ソース・データ・エンティティ」表の「マッピング」列で、緑色のチェック・マークを持つマッピングにカーソルを合せて、マップされたターゲット・エンティティ名を確認できます。
    2. 手動マッピングを作成するには、ソース・データ・エンティティをターゲット・データ・エンティティにドラッグします。手動マッピングを実行すると、マッピング・ルールが追加されます。
    3. 自動または手動マッピングを削除するには、「ターゲット・データ・エンティティ」表の「マッピング」列で、マッピングの横にある「クリア」を選択します。次に、「マッピングのクリア」を選択して、マッピングを削除することを確認します。マッピングをクリアすると、マッピング・ルールが追加されます。
    4. 「ソース・データ・エンティティ」または「ターゲット・データ・エンティティ」表のいずれかで、次を行うことができます:

      • フィールドの名前またはパターンを入力し、[Enter]を押してリストをフィルタ処理します。

        *などの特殊文字を使用して、名前の一部またはパターンを入力できます。たとえば、ADDRESS_*と入力して、ADDRESS_EU1、ADDRESS_EU2およびADDRESS_EU3を検索できます。

      • 表の上のメニューから適切なオプションを選択して、すべてのエンティティ、マップされたエンティティ、またはマップされていないエンティティを表示します。

    5. アクション・メニューから、次を選択できます:

      • 名前による自動マップ: このアクションを使用して、ソース・エンティティとターゲット・エンティティ間の名前によるマッピングがデータ統合で自動的に作成されるようにします。

      • パターンによるマップ: このアクションを使用して、ソース・エンティティをターゲット・エンティティにマッピングするためのソース・パターンとターゲット・パターンを定義します。パターンの照合では大文字と小文字が区別されます。

        パターンによるマップを参照してください。

    マッピング・ルールを管理するには、マッピング・ルールの表示と削除を参照してください。
マッピング・ルールの表示と削除(複数のターゲット・データ・エンティティ)

ソース・データ・エンティティをデータ・ローダー・タスクの既存のターゲット・データ・エンティティに手動でマップすると、データ統合によってマッピング・ルールが追加されます。

マッピングを削除したときもルールが追加されます。

  1. 「ターゲット」ステップの「データ・エンティティ」タブに移動します。
  2. データ・ローダー・タスクに対して作成されたルールを表示するには、「マッピングの表示」をクリックします。
  3. 「エンティティ・マッピング・ルール」パネルで、作成したマッピングを確認します。
  4. マッピング・ルールを削除するには、次の2つの方法のどちらかを使用できます:

    • ルールのチェック・ボックスを選択し、「削除」を選択します。

    • ルールのアクション・メニューを選択し、「削除」を選択します。