Oracle Compute Cloud at Customer의 외부 데이터 쿼리

Exadata Cloud@Customer에서 자율운영 AI 데이터베이스 배치가 데이터 레이크의 객체에서 외부 테이블 및 외부 분할 테이블을 구축하여 비정형 데이터를 로드, 쿼리 및 관리할 수 있도록 허용하는 패키지 및 툴에 대해 설명합니다.

DBMS_CLOUD 패키지를 사용하여 Exadata Cloud@Customer에서 자율운영 AI 데이터베이스 배치를 구성하면 C3(Oracle Compute Cloud at Customer) 오브젝트 스토리지 버킷에 저장된 비구조적 데이터에 액세스할 수 있습니다.

개요

정형 및 비정형 데이터에서 비즈니스 인사이트를 추출할 수 있는 데이터 플랫폼이 필요합니다. 데이터 웨어하우스에서 사용할 수 있는 정형 데이터와 데이터 레이크에서 사용할 수 있는 비정형 데이터의 조합을 데이터 레이크하우스라고 합니다.

자율운영 데이터 레이크하우스는 정형 데이터와 비정형 데이터 모두에 대한 데이터 분석을 허용합니다. 구조화된 데이터는 자율운영 AI 레이크하우스에 저장되고, 구조화되지 않은 데이터는 C3 오브젝트 스토리지 버킷에 구성된 데이터 레이크에 저장됩니다. 자율운영 AI 레이크하우스는 DBMS_CLOUD이라는 데이터베이스 패키지를 사용하여 데이터 레이크에서 객체를 쿼리, 로드 및 관리할 수 있습니다. 이 패키지를 사용하면 자율운영 AI 데이터베이스가 csv, txt, Avro 및 Parquet 파일과 같은 데이터 레이크 객체에 외부 및 외부 분할 테이블을 생성할 수 있습니다. Exadata Cloud@Customer 및 Oracle C3에서 자율운영 AI 데이터베이스 배포의 기능을 결합하여 자율운영 데이터 레이크하우스를 구축할 수 있습니다.

자율운영 데이터 레이크하우스에는 두 가지 주요 구성요소인 자율운영 AI 레이크하우스와 데이터 레이크가 있습니다. 자율운영 AI 레이크하우스는 Exadata Cloud@Customer에서 자율운영 AI 데이터베이스 배치를 사용하여 빌드되고, 데이터 레이크는 C3 객체 스토리지 버킷을 사용하여 빌드됩니다. 자율운영 AI 데이터베이스는 구조화된 관계형 데이터를 호스팅하고, 데이터 레이크는 txt, csv, Avro, Parquet 및 기타 파일 유형의 형태로 구조화되지 않은 데이터 모음을 호스팅합니다. 자율운영 AI 데이터베이스를 쿼리할 수 있고, 데이터베이스는 정형 데이터, 비정형 데이터 또는 이 둘의 조합에서 결과를 찾을 위치를 결정합니다. DBMS_CLOUD 패키지를 사용하여 Exadata Cloud@Customer에서 자율운영 AI 데이터베이스 배치를 구성하면 데이터 레이크의 객체에서 외부 및 외부 분할 테이블을 구축하여 비정형 데이터를 로드, 쿼리 및 관리할 수 있습니다.

필수 조건

아래 단계에 따라 C3 오브젝트 스토리지 버킷을 구성하고 다양한 자율운영 AI 데이터베이스 구성요소를 프로비전합니다. C3 오브젝트 스토리지 버킷과 통신하도록 자율운영 AI 데이터베이스를 구성하기 전에 이 단계를 완료해야 합니다.

• C3 오브젝트 스토리지 버킷을 생성합니다.

• 유저 및 그룹을 생성합니다. 그룹에 사용자를 추가하고 사용자가 C3 오브젝트 스토리지 버킷에 대한 파일(추가/읽기/제거)을 관리할 수 있도록 필요한 정책을 구성합니다.

  예:

  Allow group <group_name> to manage objects in tenancy where
  target.bucket.name='<new_bucket_name_created>'
  

• 생성된 사용자에 대한 API 키를 생성합니다. API 키 생성 프로세스에서 user_ocid, tenancy_ocid, fingerprint, region 정보를 확인합니다. 또한 API 키 생성 프로세스 중에 생성된 공용(public) 및 전용(private) PEM 키 파일을 저장합니다. 이 정보는 나중에 DBMS_CLOUD 패키지를 구성하는 데 필요합니다.

• 아래와 같이 https 인증 기관 체인을 다운로드합니다. 이 인증 기관 체인을 사용하면 클라이언트 애플리케이션이 https 프로토콜을 통해 C3 오브젝트 스토리지 버킷을 인증할 수 있습니다. https 인증서는 일반적으로 crt 파일(예: c3_ca.crt)에 저장됩니다. 브라우저에 다음 URL을 지정하여 인증 기관 체인을 얻습니다. https://iaas.domainname/cachain 여기서 domainname은 C3 기반 구조 배치 중 구성된 DNS 도메인의 이름입니다.

• 새 컴퓨트 VM을 만듭니다. 새 VM이 시작되면 위 단계에서 만든 개인 PEM 키 파일 및 C3 https 인증서 파일을 VM에 복사합니다.

• Exadata 인프라 리소스를 생성합니다.

• 자율운영 VM 클러스터를 생성합니다.

• 자율운영 컨테이너 데이터베이스(ACD)를 생성합니다.

• 자율운영 AI 데이터베이스를 생성합니다.

C3 오브젝트 스토리지 버킷과 통신하도록 자율운영 AI 데이터베이스 구성

C3 오브젝트 스토리지 버킷과 통신하려면 자율운영 AI 데이터베이스에 대해 다음 두 가지 작업을 완료해야 합니다.

• 자율운영 VM 클러스터 Grid Infrastructure TCPS 전자 지갑에 C3 오브젝트 스토리지 https 인증서를 추가합니다. 예를 들어, 전자 지갑 위치는 /var/opt/oracle/dbaas_acfs/grid/tcps_wallets입니다. 자율운영 AI 데이터베이스가 C3 객체 스토리지에 대한 https 접속을 인증할 수 있도록 이 작업이 필요합니다.

• 위에서 생성한 ACD의 C##CLOUD$SERVICE_dbms_cloud_store 테이블에 항목을 추가합니다. C3 Object Storage 버킷이 유효한 클라우드 저장소임을 DBMS_CLOUD 패키지에 알리기 위한 것입니다. 이를 위한 예제 SQL 명령은 다음과 같습니다.

  SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
  

자율운영 AI 데이터베이스에서는 위의 두 작업을 일반 사용자로 완료할 수 없습니다. Oracle Cloud Operations는 일반 사용자를 대신하여 이 두 가지 작업을 실행해야 합니다. 두 가지 작업을 수행하려면 MOS(My Oracle Support)에 로그인하여 Oracle Cloud Operations에 대한 새 지원 요청을 생성해야 합니다. 티켓에 다음 정보를 추가해야 합니다. 의 단계를 완료하면 이러한 값이 표시됩니다.

• Exadata 인프라 리소스의 OCID

• 자율운영 VM 클러스터의 OCID

• ACD의 OCID

• C3 객체 스토리지 URL

• C3 오브젝트 스토리지 https 인증서 파일

클라우드 작업이 위 작업을 완료한 후 자율운영 AI 데이터베이스에 로그인합니다. DBMS_CLOUD.CREATE_CREDENTIAL 절차를 사용하여 자율운영 AI 데이터베이스에 C3 오브젝트 스토리지 버킷에 접속하는 데 필요한 인증 정보를 제공합니다. 자세한 내용은 CREATE_CREDENTIAL을 참조하십시오.