6 카탈로그 자동 채우기
이 장에서는 데이터를 카탈로그로 가져오기 위해 자동화된 추출기를 만들고 관리하는 방법에 대해 설명합니다.
자동 채우기 정보
소스에서 데이터 카탈로그로 직접 메타데이터를 추출하는 프로세스를 자동화할 수 있습니다.
데이터 소스에서 스키마, 테이블 및 파티션을 수동으로 생성하는 것은 시간이 많이 걸리고 복잡합니다. Oracle AI Data Platform Workbench는 데이터 소스에서 메타데이터를 자동으로 추출하고 메타데이터 추출기에 지정된 카탈로그에 엔티티를 생성할 수 있는 기능을 제공합니다.
메타데이터 추출기를 생성하여 카탈로그에 이 메타데이터를 자동으로 채웁니다. 추출기 생성의 일부로 메타데이터를 추출할 대상 카탈로그와 메타데이터의 소스를 지정합니다. 추출기가 지정된 스키마에 테이블을 생성하도록 선택하거나 스키마가 지정되거나 감지되지 않은 경우 시스템에서 테이블이 생성되는 위치를 제안하도록 할 수 있습니다.
자동 채우기는 다음 파일 유형에서 메타데이터를 추출할 수 있습니다.
- CSV
- JSON
- Avro
- ORC
- Parquet
- Delta Lake
주:
메타데이터 추출기를 생성할 때 소스 폴더를 지정하는 경우 최하위 폴더의 모든 파일은 동일한 데이터 형식이어야 합니다.주:
자동 채우기는 열 이름에 특수 문자로 밑줄( _ )만 지원합니다.추출된 엔티티를 수동으로 검토하거나 시스템에서 추출된 메타데이터에서 엔티티를 자동으로 생성하도록 선택할 수 있습니다. 메타데이터를 추출할 때 오류가 발생하는 엔티티가 로그에 캡처됩니다. 로그를 보고 오류가 발생한 엔티티를 확인하고 수정할 조치를 취할 수 있습니다.
엔티티를 수동으로 검토하면 개별적으로 엔티티를 수락하거나 거부할 수 있습니다. 검토된 엔티티 탭에서 엔티티가 이미 승인되었거나 거부된 것을 볼 수 있습니다.
추출기는 현재 진행 중인 단계와 사용자 개입이 필요한 경우 알 수 있도록 상태를 표시합니다.
| 추출기 상태 | 설명 |
|---|---|
| 시작되지 않음 | 추출기가 시작되지 않았습니다. 추출기를 시작하여 시작합니다. |
| 실행 중 | 추출기가 진행 중입니다. |
| 검토 준비 | 추출기가 실행되었으며 수동 승인을 선택했습니다. 추출된 개체를 검토하고 수락 또는 승인해야 합니다. |
| 검토 중 | 추출기가 실행되었으며 수동 승인을 선택했습니다. 일부 엔티티는 사용자가 검토 또는 승인했지만 엔티티는 검토가 필요한 상태로 유지됩니다. |
| 완료됨 | 추출기가 실행되었으며 개체가 자동으로 승인되었거나 사용자가 수동으로 승인했습니다. |
필요한 권한이 있는 경우 다른 사용자가 생성한 메타데이터 추출기를 보고 사용할 수 있습니다.
메타데이터 추출기 생성
메타데이터 추출기를 생성하여 스키마 및 테이블과 같은 엔티티를 카탈로그로 추출할 수 있습니다.
- 홈 페이지에서 카탈로그 자동 채우기를 누릅니다.
메타데이터 추출기 생성을 누릅니다.- 메타데이터 추출기에 대한 이름을 입력합니다.
- 카탈로그 드롭다운에서 대상 카탈로그를 선택합니다.
- 소스 유형 드롭다운에서 적합한 소스 유형을 선택합니다.
- 컴퓨트 옆에 있는 찾아보기를 누르고 추출기에서 사용할 클러스터를 선택합니다. 선택을 누릅니다.
- 오브젝트 스토리지 URI의 경우 메타데이터를 추출할 버킷이나 폴더에 대한 구획을 찾아볼지, 버킷이나 폴더에 대한 URI를 지정할지 선택합니다.
- 버킷 또는 폴더 선택의 경우 찾아보기를 눌러 메타데이터를 추출할 컴파트먼트, 버킷 및 폴더를 선택합니다.
- 수동으로 URI 입력의 경우 제공된 필드에 URI를 입력합니다.
- 개체가 수동 승인으로 생성될지 아니면 시스템에서 자동으로 승인될지 선택합니다.
- 선택 사항: 외부 테이블이 생성되는 스키마를 선택합니다. 스키마가 지정되지 않은 경우 시스템은 폴더 구조를 기반으로 스키마에 테이블을 생성하거나, 스키마가 감지되지 않은 경우 기본 스키마에 테이블을 생성합니다.
추출된 메타데이터 엔티티 수동 검토
메타데이터 추출기에서 엔티티를 생성하는 수동 방법을 선택할 경우 추출된 엔티티를 검토하고 카탈로그에 엔티티 추가를 승인하거나 거부해야 합니다.
- 홈 페이지에서 카탈로그 자동 채우기를 누릅니다.
- 메타데이터 추출기의 이름을 누릅니다.
- 검토 대기 중인 엔티티 탭을 누릅니다.
- 각 개체에 대해 승인 또는 거부를 선택합니다.
- 선택 사항: 모두 승인 또는 모두 거부를 선택하여 검토 중인 모든 엔티티를 선택한 상태로 설정합니다.
- 제출을 누릅니다.
검토된 엔티티 보기
메타데이터 추출의 일부로 수동 또는 자동으로 검토된 엔티티를 확인하고 해당 엔티티에 대한 로그 세부정보, 테이블 세부정보 또는 열 스키마를 볼 수 있습니다.
- 홈 페이지에서 카탈로그 자동 채우기를 누릅니다.
- 메타데이터 추출기의 이름을 누릅니다.
- 검토된 엔티티 탭을 누릅니다.
- 개체 옆에 있는
작업을 누릅니다.- 선택한 엔티티에 대한 테이블 세부정보를 보려면 테이블 세부정보 보기를 누릅니다.
- 선택한 엔티티에 대한 열 스키마를 보려면 열 스키마 보기를 누릅니다.
- 선택한 엔티티에 대한 메타데이터 추출기 로그를 보려면 로그 보기를 누릅니다.