Oracle Compute Cloud at Customer의 외부 데이터 쿼리

Exadata Cloud@Customer의 Autonomous Database 배포에서 데이터 레이크의 객체로부터 외부 테이블 및 외부 분할 테이블을 구축하여 구조화되지 않은 데이터를 로드, 쿼리 및 관리할 수 있도록 허용하는 패키지 및 도구에 대해 설명합니다.

DBMS_CLOUD 패키지를 사용하여 Exadata Cloud@Customer에서 Autonomous Database 배포를 구성하여 Oracle Compute Cloud at Customer(C3) Object Storage 버킷에 저장된 비구조적 데이터에 액세스할 수 있습니다.

개요

정형 및 비정형 데이터에서 비즈니스 인사이트를 추출할 수 있는 데이터 플랫폼이 필요합니다. 데이터 웨어하우스에서 사용할 수 있는 정형 데이터와 데이터 레이크에서 사용할 수 있는 비정형 데이터의 조합을 데이터 레이크하우스라고 합니다.

자율운영 데이터 레이크하우스는 정형 데이터와 비정형 데이터 모두에 대한 데이터 분석을 허용합니다. 구조화된 데이터는 Autonomous Data Warehouse에 저장되고, 구조화되지 않은 데이터는 C3 Object Storage 버킷에 구성된 Data Lake에 저장됩니다. Autonomous Data Warehouse는 DBMS_CLOUD라는 데이터베이스 패키지를 사용하여 데이터 레이크에서 객체를 쿼리, 로드 및 관리할 수 있습니다. 이 패키지를 사용하면 Autonomous Database가 csv, txt, Avro 및 Parquet 파일과 같은 데이터 레이크 객체에 외부 및 외부 분할 테이블을 생성할 수 있습니다. Exadata Cloud@Customer 및 Oracle C3에서 Autonomous Database 배포의 기능을 결합하여 자율운영 데이터 레이크하우스를 구축할 수 있습니다.

자율운영 데이터 레이크하우스에는 두 가지 주요 구성요소인 자율운영 데이터 웨어하우스(Autonomous Data Warehouse)와 데이터 레이크가 있습니다. Autonomous Data Warehouse는 Exadata Cloud@Customer에서 Autonomous Database 배포를 사용하여 빌드되고, Data Lake는 C3 Object Storage 버킷을 사용하여 빌드됩니다. Autonomous Database는 구조화된 관계형 데이터를 호스팅하고, Data Lake는 txt, csv, Avro, Parquet 및 기타 파일 형식의 구조화되지 않은 데이터 모음을 호스팅합니다. Autonomous Database를 쿼리할 수 있으며, 데이터베이스는 정형 데이터, 비정형 데이터 또는 이 둘의 조합에서 결과를 찾을 위치를 결정합니다. DBMS_CLOUD 패키지를 사용하면 Exadata Cloud@Customer에서 Autonomous Database 배치를 구성하여 데이터 레이크의 객체로부터 외부 및 외부 분할된 테이블을 구축하여 비정형 데이터를 로드, 쿼리 및 관리할 수 있습니다.

필수 조건

아래 단계에 따라 C3 오브젝트 스토리지 버킷을 구성하고 다양한 Autonomous Database 구성요소를 프로비전합니다. C3 오브젝트 스토리지 버킷과 통신하도록 Autonomous Database를 구성하기 전에 이 단계를 완료해야 합니다.
  • C3 오브젝트 스토리지 버킷을 생성합니다.
  • 유저 및 그룹을 생성합니다. 그룹에 사용자를 추가하고 사용자가 C3 오브젝트 스토리지 버킷에 대한 파일(추가/읽기/제거)을 관리할 수 있도록 필요한 정책을 구성합니다.
    예:
    Allow group <group_name> to manage objects in tenancy where
target.bucket.name='<new_bucket_name_created>'
  • 생성된 사용자에 대한 API 키를 생성합니다. API 키 생성 프로세스에서 user_ocid, tenancy_ocid, fingerprint, region 정보를 확인합니다. 또한 API 키 생성 프로세스 중에 생성된 공용(public) 및 전용(private) PEM 키 파일을 저장합니다. 이 정보는 나중에 DBMS_CLOUD 패키지를 구성하는 데 필요합니다.
  • 아래와 같이 https 인증 기관 체인을 다운로드합니다. 이 인증 기관 체인을 사용하면 클라이언트 애플리케이션이 https 프로토콜을 통해 C3 오브젝트 스토리지 버킷을 인증할 수 있습니다. https 인증서는 일반적으로 crt 파일(예: c3_ca.crt)에 저장됩니다. 브라우저에 다음 URL을 지정하여 인증 기관 체인을 얻습니다. https://iaas.domainname/cachain 여기서 domainname은 C3 기반 구조 배치 중 구성된 DNS 도메인의 이름입니다.
  • 새 컴퓨트 VM을 만듭니다. 새 VM이 시작되면 위 단계에서 만든 개인 PEM 키 파일 및 C3 https 인증서 파일을 VM에 복사합니다.
  • Exadata 인프라 리소스를 생성합니다.
  • 자율운영 VM 클러스터를 생성합니다.
  • 자율운영 컨테이너 데이터베이스(ACD)를 생성합니다.
  • Autonomous Database를 생성합니다.

C3 오브젝트 스토리지 버킷과 통신하도록 Autonomous Database 구성

C3 오브젝트 스토리지 버킷과 통신하려면 Autonomous Database에 대해 다음 두 가지 작업을 완료해야 합니다.
  • C3 오브젝트 스토리지 https 인증서를 자율운영 VM 클러스터 Grid Infrastructure TCPS 전자 지갑에 추가합니다. 예를 들어, 전자 지갑 위치는 /var/opt/oracle/dbaas_acfs/grid/tcps_wallets입니다. 이는 Autonomous Database가 C3 Object Storage에 대한 https 연결을 인증할 수 있도록 하기 위해 필요합니다.
  • 위에서 생성한 ACD의 C##CLOUD$SERVICE_dbms_cloud_store 테이블에 항목을 추가합니다. 이는 DBMS_CLOUD 패키지에 C3 오브젝트 스토리지 버킷이 유효한 클라우드 저장소임을 알리기 위한 것입니다. 이를 위한 예제 SQL 명령은 다음과 같습니다.
    SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
Autonomous Database에서는 위의 두 작업을 일반 사용자로 완료할 수 없습니다. Oracle Cloud Operations는 일반 사용자를 대신하여 이 두 가지 작업을 실행해야 합니다. 두 가지 작업을 수행하려면 MOS(My Oracle Support)에 로그인하여 Oracle Cloud Operations에 대한 새 지원 요청을 생성해야 합니다. 티켓에 다음 정보를 추가해야 합니다. 의 단계를 완료하면 이러한 값이 표시됩니다.
  • Exadata 인프라 리소스의 OCID
  • 자율운영 VM 클러스터의 OCID
  • ACD의 OCID
  • C3 오브젝트 저장 영역 URL
  • C3 오브젝트 스토리지 https 인증서 파일

클라우드 운영에서 위 작업을 완료한 후 Autonomous Database에 로그인합니다. DBMS_CLOUD.CREATE_CREDENTIAL 절차를 사용하여 C3 오브젝트 스토리지 버킷에 접속하는 데 필요한 인증 정보를 Autonomous Database에 제공합니다. 자세한 내용은 CREATE_CREDENTIAL을 참조하십시오.