SFTPソースからFusion Data Intelligenceへのデータのロード(プレビュー)

サービス管理者は、Fusion Data Intelligence抽出サービスを使用して、セキュアなFTPソース(SFTP)からデータを取得し、それを使用してデータ拡張を作成できます。

この接続を作成する前に、「機能を有効化」ページでSFTPが有効になっていることを確認します。プレビュー機能を使用可能にする方法を参照してください。

  1. セキュアなFTPデータベースのポート番号を確認し、ポートを開くためのサービス・リクエストを作成します。

    ノート:

    SFTPサーバーのIPアドレスを指定する必要があります。これはパブリックIPである必要があり、ホスト名および完全修飾ドメイン名(FQDN)またはクラスAプライベートIPにできません。
  2. Fusion Data Intelligenceで、次の手順を使用してSFTPデータ接続を作成します:
    1. Fusion Data Intelligenceコンソールで、「アプリケーション管理」の下の「データ構成」をクリックします。
    2. 「データ構成」ページで、「接続の管理」をクリックします。
    3. 「接続の管理」ページで、「作成」、「接続」の順にクリックします。
    4. 「接続の作成」で、「使用タイプ」で「データ抽出」を選択し、接続タイプとして「SFTP」を選択します。

      SFTP接続オプション

    5. SFTP接続のダイアログで、「リモート・ホスト」、「ユーザー名」、「秘密キー」、「リモート・ホスト抽出ファイル・ディレクトリ」、「ファイル・タイプ」、「CSVデリミタ」、「CSV日付書式」および「CSVタイムスタンプ書式」に適用可能な値を指定します。問題を回避するには、リモート・ホスト抽出ファイル・ディレクトリの値が先頭に「/」で始まることを確認してください。「メタデータのロック」で、メタデータが変更されない場合に、最初のリフレッシュ後にメタデータ抽出をオフにするかどうかを指定します。このオプションは、メタデータ・ユーティリティを使用してデータファイルからメタデータを導出するフラグがソースでオンになっている場合に便利です。「リモート・ホスト」で、FIPS準拠のキー交換アルゴリズムをサポートするSFTPサーバーを指定してください。
      次を確認します:
      • SFTPソース内の表名とファイル名は同じである必要があります。
      • 指定する秘密キーは有効なOpenSSH形式であり、キーの最小ビット数は2048である必要があります。
      • データファイルの日付書式は、SFTPソースの日付書式と一致する必要があります。たとえば、ソースでMM/dd/yyyy (01/23/1998)を使用した場合は、CSV日付書式で同じ書式を指定する必要があります。CSVファイルベースのエクストラクタの日付およびタイムスタンプの書式設定についてを参照してください。
      • データファイルのタイムスタンプ書式は、SFTPソースのタイムスタンプ書式と一致する必要があります。たとえば、ソースでMM/dd/yyyy hh:mm:ss (01/23/1998 12:00:20)を使用した場合、CSVタイムスタンプ書式で同じ書式を指定する必要があります。

      「SFTP用接続の作成」ダイアログ

    6. 「メタデータのリフレッシュ」トグルが有効になっていることを確認して、接続の保存時にメタデータがリフレッシュされていることを確認します。
      必要に応じて、「接続の管理」ページの「アクション」メニューからメタデータを後でリフレッシュできます。

      ノート:

      メタデータ抽出を実行しないかぎり、SFTPの拡張は作成できません。
    7. 「保存」をクリックします
  3. SFTPソースの場合:
    1. 次のガイドラインを使用して、バケットにフォルダ構造を作成します。
      ベース・フォルダ
      • バケット内のベース・フォルダは、接続で指定された詳細と一致する必要があります。
      • ベース・フォルダ内で、各ファイルを独自のフォルダに配置してください。
      • Data_Store_Nameの接頭辞(フォルダ名と同じ)とターゲット・フォルダのファイルが完全に一致していることを確認します。

      コンソールの使用のフォルダまたはサブフォルダを作成するにはに関する項を参照してください。

    2. ベース・フォルダ内に、データ・ストア・リストのメタデータ・ファイルを作成します。このファイルには、サポートされているデータ・ストアがリストされます。各データ・ストアは、データ拡張で使用される実際のファイル(ASSETSなど)を含むフォルダです。ファイル名とフォルダ名が一致し、データストア、フォルダまたはファイル名に特殊文字(スペースを含む)が含まれていないことを確認してください。
      ベース・フォルダ構造
    3. 次のガイドラインを使用して、データ・ストア・フォルダの下にある各データファイルのメタデータ・ファイルを作成します。

      META_DATASTORES.csvには、次の列が必要です。

      • DATA_STORE_NAME - データ・ストア名を識別するための必須列。
      • DATA_STORE_LABEL - データ・ストアの説明を識別する非必須列。

      ノート:

      既存のソース接続に新しいデータストアを追加する場合は、META_DATASTORES.csvに古い既存のデータストアを含むデータストアの完全なリストが含まれていることを確認してください。

      各フォルダには次のものが必要です。

      • Fusion Data Intelligenceにロードされる実際のデータを含むデータ・ファイル。このファイルには、DATA STORE NAMEという接頭辞が必要です。
      • 列のリストのメタデータ・ファイルには、データに関するすべての列情報が含まれます。このファイルには、META_DATASTORES_<DATA_STORE_NAME>_COLの接頭辞が必要です。
        • このメタデータの列については、次のことを確認してください。
        • 列名がABCの場合、メタデータはABCまたはABCになります。二重引用符は無視されます。
        • 列名が"ABC"の場合、メタデータは"ABC"である必要があります。最初の二重引用符は無視されます。

      例

      このイメージでは、フォルダ名はACTIVITY_TYPESです。したがって、データ・ストア名はACTIVITY_TYPESです。これは、META_DATASTORES.csvファイルから確認できます。この例では、ファイルはACTIVITY_TYPES.xlsxまたはACTIVITY_TYPES.csvという名前です。メタデータ・ファイルはMETA_DATASTORES_ACTIVITY_TYPES_COL.csvである必要があります。サンプル・フォルダおよびメタデータ・ファイル

      META_DATASTORES_ACTIVITY_TYPES_COL.csvには次の列があります。
      • DATA_STORE_NAME - これは必須列です。
      • COLUMN_NAME - これは必須列です。
      • COLUMN_LABEL - これは必須ではない列です。
      • DATA_TYPE– これは必須列です。
      • WIDTH– この列は文字列の長さを示します。
      • PRECISION - この列値は数値データ型である必要があります。
      • SCALE - この列値は数値データ型である必要があります。
      • KEY_SEQUENCE - これは主キー定義を識別する必須列です。複合主キーを使用している場合は、列順序番号を値として使用します。
  4. 「接続の管理」ページで、SFTP接続の「アクション」を選択し、「接続のテスト」を選択します。
  5. 接続を削除するには、「接続の管理」ページで、該当する接続の「アクション」をクリックし、「削除」を選択します。

    ノート:

    データ接続を削除する前に、データ接続に関連する機能領域、データ拡張およびデータ・アプリケーションを削除してください。削除されたデータ接続からウェアハウスにデータを更新またはロードすることはできません。
  6. 接続が正常に確立されたら、「データ構成」ページの「データ拡張」タイルに移動し、「データ・ソース」で接続を選択して、SFTPデータを使用してデータ拡張を作成します。該当するセキュアFTPソース テーブルを選択します。データの拡張を参照してください。