SFTP 소스에서 Fusion Data Intelligence로 데이터 로드(미리보기)

서비스 관리자는 Fusion Data Intelligence 추출 서비스를 사용하여 SFTP(보안 FTP 소스)에서 데이터를 획득하고 이를 사용하여 데이터 보강을 생성할 수 있습니다.

이 접속을 생성하기 전에 [기능 사용] 페이지에서 SFTP가 사용으로 설정되었는지 확인합니다. 미리보기 기능을 사용 가능하도록 설정을 참조하십시오.

  1. 보안 FTP 데이터베이스의 포트 번호를 확인하고 포트 열기를 위한 서비스 요청을 생성합니다.

    참고:

    SFTP 서버의 IP 주소를 제공해야 합니다. 이 주소는 퍼블릭 IP여야 하며 호스트 이름 및 FQDN(정규화된 도메인 이름) 또는 클래스 A 프라이빗 IP일 수 없습니다.
  2. Fusion Data Intelligence에서 다음 지침을 사용하여 SFTP 데이터 연결을 생성합니다.
    1. Fusion Data Intelligence 콘솔에서 애플리케이션 관리 아래의 데이터 구성을 누릅니다.
    2. [데이터 구성] 페이지에서 접속 관리를 누릅니다.
    3. 연결 관리 페이지에서 생성, 연결 순으로 누릅니다.
    4. 접속 생성의 사용 유형에서 데이터 추출을 선택한 다음 접속 유형으로 SFTP를 선택합니다.

      SFTP 연결 옵션

    5. SFTP 연결에 대한 대화상자에서 원격 호스트, 사용자 이름, 전용 키, 원격 호스트 추출 파일 디렉토리, 파일 유형, CSV 구분자, CSV 날짜 형식 및 CSV 시간 기록 형식에 적용 가능한 값을 제공합니다. 문제를 방지하려면 Remote Host Extract Files Directory의 값이 선행 "/"로 시작해야 합니다. 메타데이터 잠금에서 메타데이터가 변경되지 않을 경우 첫 번째 새로고침 후 메타데이터 추출을 해제할지 여부를 지정합니다. 이 옵션은 메타데이터 유틸리티를 사용하여 데이터 파일에서 메타데이터를 파생하는 플래그가 소스에서 설정된 경우 유용합니다. 원격 호스트에서 FIPS 준수 키 교환 알고리즘을 지원하는 SFTP 서버를 지정해야 합니다.
      다음 사항을 확인합니다.
      • SFTP 소스의 테이블 이름과 파일 이름은 동일해야 합니다.
      • 제공한 개인 키는 유효한 OpenSSH 형식이며 키의 최소 비트 수는 2048이어야 합니다.
      • 데이터 파일의 날짜 형식은 SFTP 소스의 날짜 형식과 일치해야 합니다. 예를 들어, 소스에서 MM/dd/yyyy(01/23/1998)를 사용한 경우 CSV 날짜 형식에서 동일한 형식을 지정해야 합니다. CSV 파일 기반 추출기의 날짜 및 시간 기록 형식 지정 정보를 참조하십시오.
      • 데이터 파일의 시간 기록 형식은 SFTP 소스의 시간 기록 형식과 일치해야 합니다. 예를 들어, 소스에서 MM/dd/yyyy hh:mm:ss(01/23/1998 12:00:20)를 사용한 경우 CSV 시간 기록 형식에서 동일한 형식을 지정해야 합니다.

      SFTP에 대한 접속 생성 대화상자

    6. 연결을 저장할 때 메타데이터가 새로 고쳐지도록 메타데이터 새로고침 토글이 사용으로 설정되었는지 확인합니다.
      필요한 경우 나중에 연결 관리 페이지의 작업 메뉴에서 메타데이터를 새로 고칠 수 있습니다.

      참고:

      메타데이터 추출을 수행하지 않는 한 SFTP에 대한 보강을 생성할 수 없습니다.
    7. 저장을 누릅니다.
  3. SFTP 소스에서 다음을 수행합니다.
    1. 다음 지침을 사용하여 버킷에 폴더 구조를 생성합니다.
      기본 폴더
      • 버킷의 기본 폴더는 접속에 제공된 세부정보와 일치해야 합니다.
      • 기본 폴더 내부에서 각 파일을 고유 폴더에 배치해야 합니다.
      • 대상 폴더의 Data_Store_Name(폴더 이름과 동일) 및 Files 접두어가 정확히 일치하는지 확인합니다.

      콘솔 사용의 "폴더 또는 하위 폴더를 생성하려면" 섹션을 참조하십시오.

    2. 기본 폴더 내부에서 데이터 저장소 목록에 대한 메타데이터 파일을 생성합니다. 이 파일은 지원되는 데이터 저장소를 나열합니다. 각 데이터 저장소는 데이터 증강에 사용되는 실제 파일(예: ASSETS)이 있는 폴더입니다. 파일 이름 및 폴더 이름이 일치하고 데이터 저장소, 폴더 또는 파일 이름에 특수 문자(공백 포함)가 없는지 확인합니다.
      기본 폴더 구조
    3. 다음 지침을 사용하여 데이터 저장소 폴더 아래에 각 데이터 파일에 대한 메타데이터 파일을 만듭니다.

      META_DATASTORES.csv에는 다음 열이 있어야 합니다.

      • DATA_STORE_NAME - 데이터 저장소 이름을 식별하는 필수 열입니다.
      • DATA_STORE_LABEL - 데이터 저장소의 설명을 식별하는 필수가 아닌 열입니다.

      참고:

      기존 소스 연결에 새 데이터 저장소를 추가하는 경우 META_DATASTORES.csv에 이전 기존 데이터 저장소를 비롯한 전체 데이터 저장소 목록이 포함되어 있는지 확인합니다.

      각 폴더에는 다음이 포함되어야 합니다.

      • Fusion Data Intelligence로 로드되는 실제 데이터가 있는 데이터 파일입니다. 이 파일의 접두어는 DATA STORE NAME이어야 합니다.
      • 열 목록에 대한 메타 데이터 파일은 데이터에 대한 모든 열 정보를 포함합니다. 이 파일의 접두어는 META_DATASTORES_<DATA_STORE_NAME>_COL이어야 합니다.
        • 이 메타 데이터의 열에 대해 다음을 확인합니다.
        • 열 이름이 ABC인 경우 메타 데이터는 ABC 또는 "ABC"일 수 있습니다. 큰 따옴표는 무시됩니다.
        • 열 이름이 "ABC"인 경우 메타데이터는 ""ABC""여야 합니다. 첫번째 큰 따옴표는 무시됩니다.

      예제

      이미지에서 폴더 이름은 ACTIVITY_TYPES입니다. 따라서 데이터 저장소 이름은 ACTIVITY_TYPES입니다. META_DATASTORES.csv 파일에서 이를 확인할 수 있습니다. 이 예에서는 파일 이름이 ACTIVITY_TYPES.xlsx 또는 ACTIVITY_TYPES.csv입니다. 메타데이터 파일은 META_DATASTORES_ACTIVITY_TYPES_COL.csv여야 합니다.샘플 폴더 및 메타데이터 파일

      META_DATASTORES_ACTIVITY_TYPES_COL.csv에는 다음 열이 있습니다.
      • DATA_STORE_NAME - 필수 열입니다.
      • COLUMN_NAME - 필수 열입니다.
      • COLUMN_LABEL - 필수가 아닌 열입니다.
      • DATA_TYPE – 필수 열입니다.
      • WIDTH – 이 열은 문자열 길이를 식별합니다.
      • PRECISION - 이 열 값은 숫자 데이터 유형이어야 합니다.
      • SCALE - 이 열 값은 숫자 데이터 유형이어야 합니다.
      • KEY_SEQUENCE - 기본 키 정의를 식별하는 필수 열입니다. 조합 기본 키를 사용하는 경우 열 순서 번호를 값으로 사용합니다.
  4. 접속 관리 페이지에서 SFTP 접속에 대해 작업을 선택한 다음 접속 테스트를 선택합니다.
  5. 접속을 삭제하려면 [접속 관리] 페이지에서 해당 접속에 대한 작업을 누르고 삭제를 선택합니다.

    참고:

    삭제하기 전에 데이터 연결과 관련된 기능 영역, 데이터 보강 및 데이터 애플리케이션을 삭제해야 합니다. 삭제된 데이터 연결에서 웨어하우스로 데이터를 업데이트하거나 로드할 수 없습니다.
  6. 접속이 성공적으로 설정된 후 [데이터 구성] 페이지의 [데이터 보강] 타일로 이동하여 데이터 소스에서 접속을 선택하고 SFTP 데이터를 사용하여 데이터 보강을 생성합니다. 적용 가능한 보안 FTP 소스 테이블을 선택합니다. 데이터 보강을 참조하십시오.