클라우드 스토리지의 객체에 연결

Oracle Autonomous AI Database 에서 클라우드 저장소 버킷의 파일에 대한 링크를 생성할 때 클라우드 저장소의 파일에 링크되는 외부 테이블을 생성합니다.

AVRO, CSV, JSON, GeoJSON, Parquet, ORC, Delimited TXT 등의 파일 형식으로 파일에 연결할 수 있습니다. 지원되는 파일 형식에 대한 자세한 내용은 JSON, AVRO 및 XML 파일에 대한 사양 형식 지정을 참조하십시오.

클라우드 객체 링크 페이지에서 데이터 링크 작업을 구성하고 실행합니다. 해당 페이지를 열려면 다음을 수행합니다.

1. 데이터베이스 작업 실행 패드를 열고 Data Studio 탭을 누른 다음 데이터 로드 메뉴를 선택합니다. 데이터 로드 페이지를 참조하십시오.
2. LINK DATA 및 CLOUD STORE를 선택합니다.

페이지 왼쪽에는 클라우드 저장소 접속과 데이터가 포함된 폴더 또는 파일을 선택할 수 있는 네비게이터 창이 있습니다. 페이지 오른쪽에는 데이터 링크 작업에 대한 파일 및 폴더를 스테이지하는 데이터 로드 카트가 있습니다. 실행하기 전에 데이터 링크 작업에 대한 옵션을 설정할 수 있습니다. Autonomous Database는 다양한 소비자 그룹에 할당된 사전 정의된 CPU/IO 공유와 함께 제공됩니다. 작업 로드에 따라 데이터 로드 작업을 실행하는 동안 Consumer Group을 Low, Medium, High로 설정할 수 있습니다.

클라우드 저장소에서 파일에 링크하려면 다음을 수행합니다.

• 데이터 링크 작업에 대한 클라우드 스토리지 링크 관리
• 데이터 링크 작업 준비
• 데이터 링크 작업에 대한 파일 또는 폴더 추가
• 데이터 링크 작업에 대한 세부정보 입력
• 데이터 링크 작업 실행
• 실행 후 데이터 링크 작업에 대한 세부정보 보기
• 데이터 링크 작업의 결과 테이블 보기

• 데이터 링크 작업에 대한 클라우드 스토리지 링크 관리
  클라우드 저장소의 데이터에 링크하기 전에 사용하려는 클라우드 저장소에 대한 연결을 설정해야 합니다.
• 데이터 링크 작업 준비
  
• 데이터 링크 작업에 대한 파일 또는 폴더 추가
  
• 데이터 링크 작업에 대한 세부정보 입력
  클라우드 저장소의 데이터 링크 창에 데이터 링크 작업에 대한 세부정보를 입력합니다.
• 데이터 링크 작업 실행
  데이터 링크 카트에 데이터 소스를 추가하고 데이터 링크 작업에 대한 세부정보를 입력한 후 작업을 실행할 수 있습니다.
• 실행 후 데이터 링크 작업에 대한 세부정보 보기
  데이터 로드 대시보드에서 작업 진행률을 볼 수 있습니다.
• 데이터 링크 작업에서 결과 테이블 보기
  데이터 링크 작업을 실행한 후 데이터 로드 대시보드에서 데이터 링크 작업으로 생성된 테이블을 볼 수 있습니다.

데이터 링크 작업에 대한 클라우드 스토리지 링크 관리

클라우드 저장소의 데이터에 링크하려면 먼저 사용하려는 클라우드 저장소에 대한 연결을 설정해야 합니다.

[클라우드 객체 링크] 페이지에서 다음을 수행합니다.

1. 클라우드 저장소 위치를 입력하는 필드 옆에 있는 클라우드 저장소 관리 아이콘을 누릅니다. + 클라우드 저장소 위치 생성을 선택합니다.

2. 클라우드 저장소 위치 추가 창에 정보를 입력합니다. 클라우드 스토리지 위치 추가를 참조하십시오.

연결 관리를 참조하십시오.

[클라우드 객체 링크] 페이지로 돌아가려면 페이지 상단의 이동 경로에서 데이터 로드를 누른 다음 페이지로 돌아갑니다.

데이터 링크 작업 준비

소스 데이터가 외부 대상 테이블에 올바르게 링크되도록 소스 데이터나 대상 테이블을 조정해야 할 수도 있습니다. 다음을 사용하는 것이 좋습니다.

• 여러 파일에 연결하는 경우 다음 사항을 확인해야 합니다.

  • 모든 소스 파일은 CSV, JSON 등과 같이 동일한 유형입니다.

  • 모든 소스 파일에 있는 열의 수, 순서 및 데이터 유형이 일치합니다.

• 날짜별로 분할하려는 경우:

  • 소스 파일에는 데이터 유형이 날짜 또는 시간 기록인 데이터가 포함되어야 합니다.

  • 데이터 소스가 두 개 이상 포함된 폴더를 로드해야 합니다.

  • 폴더의 파일 이름은 날짜 또는 날짜를 나타내야 합니다(예: MAR-1999.csv 또는 2017-04-21.xlsx).

데이터 링크 작업에 대한 파일 또는 폴더 추가

클라우드 저장소의 파일을 데이터 링크 카트에 추가합니다. 여기서 데이터 링크 작업의 세부정보를 편집할 수 있습니다. 파일을 추가하려면 다음을 수행합니다.

1. 왼쪽 네비게이터 창의 맨 위에 있는 목록에서 소스 데이터가 있는 버킷을 선택합니다.

   이 목록에는 [클라우드 스토리지 관리] 페이지에 설정된 링크가 표시됩니다. 사용하려는 클라우드 저장소를 아직 등록하지 않은 경우 Data Studio 도구 모음의 데이터 로드 메뉴 아래에 있는 연결 단추를 누르고 접속을 등록합니다.

2. 왼쪽의 파일 네비게이터에서 하나 이상의 품목을 끌어오고 오른쪽의 카트에 놓습니다.

   • 파일, 폴더 또는 둘 다를 추가할 수 있습니다. 카드는 드래그하는 각 파일 또는 폴더에 대해 카트에 추가됩니다. 카드는 소스 파일 또는 폴더의 이름과 대상 테이블에 대해 제안된 이름을 나열합니다.

   • 여러 파일이 포함된 폴더를 추가하는 경우 모든 파일의 유형은 CSV, TXT 등이어야 합니다.

     카트에 폴더를 추가하면 여러 소스 파일의 모든 객체를 단일 대상 테이블로 로드할 것인지 묻는 프롬프트가 표시됩니다. 예를 눌러 계속하거나 아니오를 눌러 취소합니다.

   • 카트에 여러 개의 개별 파일 또는 여러 개의 폴더를 추가하면 각 카드가 나타내는 데이터가 별도의 테이블로 로드되지만 카트의 모든 항목은 동일한 데이터 로드 작업의 일부로 처리됩니다.

   • 다른 버킷에서 파일 또는 폴더를 추가할 수 있지만 이 경우 계속하기 전에 카트에 이미 있는 모든 파일을 제거하라는 메시지가 표시됩니다. 다른 버킷에서 파일을 선택하려면 왼쪽의 네비게이터 창에 있는 드롭다운 목록에서 버킷을 선택한 다음 위에 설명된 대로 파일을 추가합니다.

   • 파일 또는 폴더를 데이터 로드 카트로 끌어 놓은 다음 [데이터 링크 객체] 페이지에서 나갈 수 있습니다. 페이지로 돌아가면 해당 항목은 페이지에 남아 있지만 "Remove All Data Link Items"라는 메시지가 표시될 수 있습니다. 다른 클라우드 스토리지 위치로 변경하려면 데이터 로드 작업에서 모든 항목을 제거해야 합니다. 계속하시겠습니까?" 카트에서 품목을 제거하려면 예를 클릭하십시오. 카트에 품목을 보관하려면 아니요를 클릭하십시오. 그런 다음 작업을 계속할 수 있습니다.

데이터 링크 작업을 실행하기 전에 카트에서 품목을 제거할 수 있습니다.

• 카트에서 품목을 제거하려면 창 상단의 품목 데이터 링크 카트 메뉴 모음에 대해 카드에서 제거를 선택합니다.

• 카트에서 모든 항목을 제거하려면 창 상단의 데이터 링크 카트 메뉴 모음에서 모두 제거를 누릅니다.

데이터 링크 작업에 대한 세부정보 입력

클라우드 저장소의 데이터 링크 창에 데이터 링크 작업에 대한 세부정보를 입력합니다.

데이터 링크 카트의 카드에서 설정을 눌러 해당 작업에 대한 클라우드 저장소의 데이터 링크 창을 엽니다. 창에는 다음이 포함됩니다.

• 설정 탭 - 테이블 섹션
• 설정 탭 - 속성 섹션
• 설정 탭 - 매핑 섹션
• 파일 탭
• 테이블 탭
• SQL 탭
• 닫기 버튼 - 창 저장 후 닫기

설정 탭 - 테이블 섹션

테이블 섹션에서 대상 테이블에 대한 세부정보를 설정합니다.

• 이름: 대상 테이블의 이름입니다.

• 분할 영역 열:

  목록 분할 영역 및 날짜 기반 분할 영역은 데이터 링크에서 사용할 수 있는 여러 유형의 분할 영역입니다.

  목록(List) 분할은 비연속 값을 기반으로 행을 분할 영역에 매핑하려는 경우에 필요합니다.

  특정 열에 따라 분할하려면 Partition Column 드롭다운 목록을 누르고 분할에 사용할 열을 선택합니다.

  분할 영역 값당 N개의 파일이 있으며, 모두 선택한 분할 영역 열에 의해 분할됩니다.

  주:

  • External Table의 링크된 파일의 경우 각 파일에 대해 목록 분할 열이 모든 행에 대해 하나의 구분 값만 포함할 수 있어야 합니다.
  • 파일이 목록 분할된 경우 분할 키는 테이블의 단일 열로만 구성될 수 있습니다.

  날짜 기반 분할은 날짜 또는 시간 기록 데이터가 포함된 열이 있는 데이터 소스가 두 개 이상 포함된 폴더를 링크할 때 사용할 수 있습니다.

  날짜에 따라 분할하려면 Partition Column 드롭다운 목록을 누르고 분할에 사용할 DATE 또는 TIMESTAMP 열을 선택합니다.

• 검증 유형: 검증을 통해 소스 파일, 선택적 분할 정보 및 지정된 형식 옵션과 일치하지 않는 행 보고를 검사합니다. 검증하지 않으려면 없음을 선택하고, 데이터 샘플을 기반으로 검증을 수행하려면 샘플을 선택하고, 모든 데이터를 기반으로 검증을 수행하려면 전체를 선택합니다.

• 와일드카드 사용: 검색 조건에서 와일드카드 문자를 사용하여 필터 조건과 일치하는 특정 파일 그룹을 검색할 수 있습니다.

  새 파일을 감지하여 외부 테이블에 추가하는 파일 그룹을 검색, 필터 및 지정하는 별표(*)와 같은 와일드카드 문자를 사용할 수 있습니다.

  예를 들어, file*을 입력하면 file01, file02, file03 등이 키워드와 일치하는 것으로 간주됩니다. 별표(*)는 가능성의 0개 이상의 문자를 키워드와 일치시킵니다.

  주:

  와일드카드 지원은 분할과 호환되지 않습니다. 분할된 데이터와 함께 와일드카드를 사용하면 소스 파일 검증이 실패합니다.

설정 탭 - 속성 섹션

소스 데이터의 해석, 미리보기 및 처리 방법을 제어하는 옵션을 지정합니다. 이러한 옵션은 소스 데이터 유형에 따라 다릅니다.

• 인코딩: 목록에서 문자 인코딩 유형을 선택합니다. 이 옵션은 링크된 파일이 일반 텍스트 형식(CSV, TSV 또는 TXT)인 경우 사용할 수 있습니다. 기본 인코딩 유형은 UTF-8입니다.

• 텍스트 인클로저: "(큰 따옴표 문자), '(단일 따옴표 문자) 또는 없음으로 묶을 문자를 선택합니다. 이 옵션은 선택한 파일이 일반 텍스트 형식(CSV, TSV 또는 TXT)인 경우에만 표시됩니다.

• 필드 구분자: 소스에서 열을 구분하는 데 사용되는 구분자 문자를 선택합니다. 예를 들어, 소스 파일에서 세미콜론을 사용하여 열을 구분하는 경우 이 목록에서 세미콜론을 선택합니다. 기본값은 쉼표입니다. 이 옵션은 선택한 파일이 일반 텍스트 형식(CSV, TSV 또는 TXT)인 경우에만 표시됩니다.

• 행에서 데이터 처리 시작: 소스 데이터를 대상 외부 테이블에 연결할 때 건너뛸 행 수를 지정합니다.

  • 소스 열 이름(아래 참조)에서 열 머리글 행 옵션을 선택하고 행에서 데이터 처리 시작 필드에 0보다 큰 숫자를 입력하는 경우 첫번째 행 이후의 행 수는 대상에 연결되지 않습니다.

  • 소스 열 이름에서 열 머리글 행 옵션을 선택 해제하고 행에서 데이터 처리 시작 필드에 0보다 큰 숫자를 입력하는 경우 첫번째 행을 포함한 해당 행 수가 대상에 연결되지 않습니다.

• 소스 열 이름: 대상 테이블의 소스 테이블을 형성하는 열 이름을 사용하려면 열 머리글 행 확인란을 선택합니다.

  • 이 옵션을 선택하면 파일의 첫 번째 행이 열 이름으로 처리됩니다. 아래의 매핑 섹션의 행에는 해당 이름(변경하지 않는 한 기존 데이터 유형)이 채워집니다.

  • 이 옵션의 선택을 해제하면 첫번째 행이 데이터로 처리됩니다. 열 이름을 수동으로 지정하려면 매핑 섹션에 각 대상 열의 이름을 입력합니다. 데이터 유형도 입력해야 합니다.

• 숫자 열: 부적합한 숫자 열 값을 널 값으로 변환하려면 부적합한 데이터를 널로 변환 확인란을 선택합니다.

• 데이터 값에 포함된 새 행: 데이터 필드에서 아래쪽으로 전진하지 않고 줄바꿈 문자가 있거나 현재 행의 시작으로 돌아가는 경우 이 옵션을 선택합니다. 이 옵션을 선택하면 로드를 처리하는 데 걸리는 시간이 늘어납니다. 데이터를 로드할 때 이 옵션을 선택하지 않으면 필드에 줄바꿈이 있는 행이 거부됩니다. Job Report 패널에서 거부된 행을 볼 수 있습니다.

설정 탭 - 매핑 섹션

매핑 섹션의 설정은 소스 파일의 데이터가 대상 외부 테이블의 행에 연결되는 방법을 제어합니다. 각 행에 대해 소스 열 아래에 나열된 열의 데이터가 대상 열 아래에 나열된 열에 연결됩니다.

• 소스 열: 소스 파일의 열을 나열합니다.

  속성 아래의 열 머리글 행 옵션을 선택하면 소스 열에 소스 파일의 열 이름이 표시됩니다. 열 헤더 행 옵션을 선택하지 않으면 COLUMN_1, COLUMN_2 등과 같은 일반 이름이 사용됩니다. 이 필드는 항상 읽기 전용입니다.

  두 개의 소스 열 FILE$NAME 및 SYSTIMESTAMP를 볼 수 있습니다. FILE$NAME 열에서는 특정 데이터 레코드를 포함하는 소스 파일을 찾을 수 있습니다. 예를 들어, 파일 목록이 포함된 소스 파일을 로드합니다. 파일 목록의 파일 이름은 조직 전체의 부서 이름을 나타냅니다. 예를 들어, finance.txt 파일은 Finance 부서의 데이터를 포함합니다. 매핑에서 문자열 데이터 유형을 사용하여 파일 이름 열의 출력에서 부서 이름을 추출할 수 있습니다. 추출된 부서 이름을 사용하여 부서마다 다르게 데이터를 처리할 수 있습니다.

  SYSTIMESTAMP 열에서는 데이터베이스의 현재 시간 기록을 볼 수 있습니다.

  주:

  • FILE$NAME 및 SYSTIMESTAMP 소스 열은 기본적으로 포함되지 않습니다. 포함 확인란을 선택하고 대상 테이블에 대한 로드를 실행하여 이러한 두 열을 표시해야 합니다.
  • 라이브 피드를 생성할 때 기본적으로 FILE$NAME 및 SYSTIMESTAMP 소스 열이 매핑 테이블에 나타납니다.

• 대상 열: 대상 테이블의 열을 나열합니다.

  • 열 머리글 행 옵션이 선택된 경우 대상 열은 소스 파일의 열 이름을 사용합니다. 제공된 이름을 새 이름으로 바꾸어 대상 열의 이름을 변경할 수 있습니다. 대상 열이 비어 있지 않은지 확인해야 합니다. 대상 열 이름은 다른 대상 열과 중복되지 않아야 합니다. 대상 열 이름은 다른 대상 열과 중복될 수 없습니다. 대상 열 길이는 128바이트를 초과할 수 없습니다. 128바이트 제한은 데이터베이스 제한입니다.

  • 열 머리글 행 옵션을 선택하지 않으면 COLUMN_1, COLUMN_2 등과 같은 일반 이름이 사용됩니다. 제공된 이름을 새 이름으로 바꾸어 대상 열의 이름을 변경할 수 있습니다.

  주:

  단일 데이터 링크 작업에서 폴더의 여러 파일을 링크하는 경우 첫 번째 파일만 매핑 섹션에 표시됩니다. 그러나 열 이름과 데이터 유형이 일치하는 경우 모든 소스 파일의 데이터가 연결됩니다.

• 데이터 유형: 해당 열의 데이터에 사용할 데이터 유형을 나열합니다. 파일 헤더에서 가져오기 옵션이 선택되었는지 여부에 따라 내용이 변경됩니다.

  • 열 머리글 행 옵션이 선택된 경우 데이터 유형은 소스 파일에 있는 열의 데이터 유형을 표시합니다. 대상의 데이터 유형을 변경하려면 이름을 누르고 목록에서 다른 이름을 선택합니다.

  • 열 머리글 행 옵션이 선택되지 않은 경우 데이터 유형은 사용 가능한 모든 데이터 유형을 표시합니다. 목록에서 대상 열에 사용할 데이터 유형을 선택합니다.

• 길이/정밀도(선택 사항): 데이터 유형이 NUMBER인 열의 경우 열의 숫자에 대한 길이/정밀도를 입력합니다. 전체 자릿수는 숫자의 유효 자릿수입니다. 전체 자릿수 범위는 1에서 38까지이고

  데이터 유형이 VARCHAR2인 열의 경우 길이/정밀도 필드의 자동 값은 자동 크기 기능을 사용으로 설정합니다.

  [열 너비 자동 조정] 기능을 사용하면 열에서 가장 큰 값에 맞게 열의 크기를 자동으로 조절할 수 있습니다. 길이/정밀도 드롭다운 값에서 자동을 선택하거나 드롭다운 목록에서 값을 선택합니다.

• 배율(선택 사항): 데이터 유형이 NUMBER인 열의 경우 열에 숫자의 배율을 입력합니다. 소수점 자릿수는 소수점의 오른쪽(양수) 또는 왼쪽(음수) 자릿수입니다. 소수점 이하 자릿수는 -84에서 127까지 범위입니다.

• 형식: 데이터 유형 열의 데이터 유형이 DATE이거나 TIMESTAMP 유형 중 하나인 경우 형식 드롭다운 목록에서 해당 유형의 형식을 선택합니다.

미리 보기 탭

미리보기 탭의 미리보기 로드 메뉴에는 소스 데이터가 표 형식으로 표시됩니다. 속성 섹션에서 선택한 설정이 표시됩니다. 파일 메뉴에는 열 이름과 함께 소스 데이터가 표시됩니다.

여러 파일이 포함된 폴더를 데이터 링크 카트로 끌어온 후 해당 카드에 대해 설정을 누른 경우 미리보기 창에는 폴더의 모든 파일을 나열하는 창 상단에 객체 미리보기(파일) 드롭다운 목록이 포함됩니다. 해당 목록에서 미리 볼 소스 파일을 선택합니다.

테이블 탭

테이블 탭에는 데이터가 링크된 후 대상 테이블의 모양이 표시됩니다.

SQL 탭

SQL 탭에는 이 데이터 링크 작업을 완료하기 위해 실행할 SQL 명령이 표시됩니다.

주:

테이블이 생성되기 전까지는 SQL 코드를 볼 수 있습니다.

닫기 버튼 - 창 저장 후 닫기

데이터 링크 작업에 대한 모든 세부정보를 입력한 후 페이지 하단에서 닫기를 누릅니다. 이렇게 하면 입력한 세부 정보가 저장되고 [클라우드 저장소의 데이터 링크] 창으로 돌아갑니다.

데이터 링크 작업 실행

데이터 링크 카트에 데이터 소스를 추가하고 데이터 링크 작업에 대한 세부정보를 입력한 후에는 작업을 실행할 수 있습니다.

작업을 실행하려면 다음과 같이 하십시오.

1. 아직 저장하지 않은 경우 클라우드 스토리지의 데이터 링크 창에서 닫기 단추를 눌러 설정을 저장하고 창을 닫습니다. 잘못된 설정이 있으면 오류 메시지가 문제를 보고합니다. 문제를 해결하고 마감을 누릅니다.

2. 데이터 링크 카트 메뉴 모음에서 Start를 누릅니다. 데이터 링크 작업을 정지하려면 중지를 누릅니다.

   데이터 링크 작업이 완료되면 데이터 로드 대시보드 페이지에 테이블 및 뷰 로드 섹션 아래에 작업 결과가 표시됩니다.

   데이터 링크 작업이 시작되면 데이터 로드 대시보드에서 작업 진행률을 볼 수 있습니다.

실행 후 데이터 링크 작업에 대한 세부정보 보기

데이터 로드 대시보드에서 작업 진행률을 볼 수 있습니다.

데이터 로드 작업이 완료되면 [데이터 로드] 대시보드 페이지에 작업 결과가 표시됩니다. 테이블 로드 헤더의 맨 위에서 테이블에 있는 총 열과 함께 테이블 이름을 볼 수 있습니다.

성공적으로 처리된 총 행 수와 거부된 행 수를 보려면 작업 보고서를 누릅니다. 또한 시작 시간을 볼 수 있습니다. Job Report의 SQL 창에는 해당 작업의 SQL 코드가 표시됩니다.

작업의 항목에 대한 정보를 보려면 테이블 로드에서 작업 아이콘을 누릅니다.

로드 작업의 로그를 보려면 Logging 아이콘을 누릅니다. 로그를 저장하거나 지우거나 새로 고칠 수 있습니다. OK를 눌러 로그를 해제합니다.

데이터 링크 작업의 결과 테이블 보기

데이터 링크 작업을 실행한 후 데이터 로드 대시보드에서 데이터 링크 작업으로 생성된 테이블을 볼 수 있습니다.

데이터 로드 작업을 수정합니다. 데이터 로드 작업 후 수정하려는 오류가 표시되거나 검사 시 열 이름을 다르게 지정한다는 사실을 깨달을 수 있습니다. 이 경우 선택한 테이블 로드에서 다시 로드 옵션을 눌러 최근 카트에서 카드를 다시 로드하고 처음 시도하기 전과 같이 편집합니다. 다시 로드 아이콘은 도구에서 제안한 수정 사항으로 소스 데이터를 다시 로드합니다. 테이블 헤더에서 작업 아이콘을 누르고 테이블을 누른 다음 편집을 선택하여 데이터 로드 작업을 변경합니다(즉, 열 이름 변경).