외부 카탈로그

Oracle AI Data Platform 외부의 위치에서 데이터를 소싱할 외부 카탈로그를 생성합니다.

LiveLabs Sprint

외부 카탈로그는 AI Data Platform을 Oracle Autonomous AI Lakehouse, Oracle AI Database, Oracle Autonomous AI Transaction Processing과 같은 외부 데이터 소스 및 Snowflake, Azure SQL, MySQL와 같은 타사 저장소에 연결합니다. AI 데이터 플랫폼은 이러한 소스의 메타데이터를 검색 및 마스터 카탈로그로 동기화하여 사용자가 기본 데이터를 복제하지 않고도 원격 스키마 및 테이블을 찾아보고 쿼리할 수 있도록 합니다.

외부 카탈로그는 외부 소스 질의를 위해 외부 카탈로그 생성 중에 제공된 인증서를 사용합니다. 데이터 소스에 대한 자세한 내용은 내부 소스를 참조하십시오.

예를 들어, 사용된 Autonomous AI Lakehouse 사용자 자격 증명이 schema2가 아닌 schema1에 대한 액세스 권한이 있는 Autonomous AI Lakehouse 인스턴스에 대한 외부 카탈로그를 생성하는 경우 schema1만 외부 카탈로그에 나타납니다. 외부 카탈로그에 대한 권한이 있는 사용자는 자율운영 AI 레이크하우스 사용자가 액세스할 수 있는 스키마만 질의할 수 있습니다.

주:

AI 데이터 플랫폼은 PDB(플러그인할 수 있는 데이터베이스) 또는 Oracle에서 유지 관리하는 스키마 및 테이블에서 공유되는 스키마 및 테이블에서 데이터 수집을 지원하지 않습니다.

자율운영 AI 레이크하우스 및 자율운영 AI 트랜잭션 처리(ATP)에 필요한 권한

AI 데이터 플랫폼에서 외부 카탈로그를 생성하는 경우 연결에 사용하는 사용자 인증서에 최소한 다음 권한이 있어야 합니다.

• CREATE SESSION: 데이터베이스 연결
• 최소 권한 부여 또는 전용 읽기 롤을 통해 필요한 객체(테이블/뷰/외부 테이블)에 대한 SELECT 액세스 권한 부여
• READ, WRITE on DIRECTORY DATA_PUMP_DIR

외부 카탈로그에 데이터를 삽입하거나 새 테이블을 생성하는 경우 사용자가 DWROLE의 일부인지 확인합니다. 자세한 내용은 Oracle Autonomous AI Transaction Processing 설명서, Manage User Privileges on Autonomous AI Database - Connecting with a Client Tool을 참조하십시오.

제한사항

UPDATE 작업은 외부 카탈로그에 대해 지원되지 않습니다. 검색 및 질의 액세스에 외부 카탈로그 테이블을 사용합니다.

외부 카탈로그 생성에 사용된 인증서에 DDL 문을 실행할 수 있는 권한이 있는 경우에도 DDL은 지원되지 않습니다.

테이블 이름 대소문자는 Oracle Autonomous AI Lakehouse에서 테이블이 생성되는 방식에 영향을 줍니다.

• 테이블 이름을 대문자로 제공할 경우 테이블은 대문자를 사용하여 생성되며 Autonomous AI Lakehouse에서 대소문자를 구분하지 않는 기본 동작을 따릅니다.
• 테이블 이름을 소문자로 제공할 경우 Autonomous AI Lakehouse에서 대소문자를 구분하여 테이블이 생성됩니다. 자율운영 AI 레이크하우스를 통해 생성된 테이블의 열 이름은 항상 대소문자를 구분하여 생성됩니다.
• 소스 열 설명은 외부 카탈로그 수집 및 새로고침 중 256 UTF-8바이트로 제한됩니다. 제한은 문자가 아닌 바이트 단위로 측정되므로 멀티바이트 문자를 포함하는 주석은 256자 이하의 문자를 포함할 경우 제한을 초과할 수 있습니다. 제한을 초과하면 메타데이터 수집 또는 새로고침이 실패할 수 있습니다. 소스 열 주석을 256 UTF-8바이트 이하로 줄인 다음 재시도하십시오.

외부 카탈로그 생성

Oracle AI Data Platform 인스턴스의 카탈로그를 외부 소스에 연결할 수 있습니다.

1. 왼쪽 탐색 창에서 생성을 누르고 카탈로그를 선택합니다. 마스터 카탈로그로 이동하고 마스터 카탈로그에서 카탈로그 생성을 누를 수도 있습니다.
2. 이름 및 설명 필드를 채웁니다.
3. 카탈로그 유형 드롭다운 목록에서 외부 카탈로그를 선택합니다.
4. 외부 소스 유형을 선택하십시오.

   데이터 소스	필드
   Oracle Autonomous AI Lakehouse	전자 지갑 파일 또는 인스턴스 구성을 제공하십시오.
   Oracle Autonomous AI Transaction Processing	전자 지갑 파일 또는 인스턴스 구성을 제공하십시오.
   Oracle AI Database	전자 지갑 파일 또는 인스턴스 구성을 제공하십시오.
   Oracle Exadata Database Service	호스트, 포트, 서비스 이름/SID를 제공합니다.
   눈송이	Snowflake 계정 이름, 데이터베이스 이름, 웨어하우스를 제공합니다. Key Pair로 Authentication 메소드를 선택한 다음 Private Key File과 Private Key Pass 구문을 제공합니다.
   Azure SQL	호스트, 포트 및 데이터베이스 이름을 제공합니다(선택 사항).
   MySQL	호스트 및 포트를 제공합니다.
   Google Big Query	호스트, 포트, 프로젝트 ID, 서비스 계정 전자메일, 프라이빗 키를 제공합니다.
   DB2	호스트, 포트 및 데이터베이스 이름을 제공합니다.
   Kafka(준비 중)	부트스트랩 서버를 제공합니다. 콤마로 여러 서버를 구분합니다.

5. 해당되는 경우 사용자 이름 및 암호를 입력하십시오.
6. SSL은 기본적으로 사용으로 설정되어 있습니다. SSL을 사용 안함으로 설정하려면 상자를 선택 해제합니다.
7. 생성을 누릅니다.
   외부 소스에서 데이터를 추출하는 외부 카탈로그에는 회전 원 아이콘이 표시됩니다.
   

   

   
   

   작업 실행에서 진행률을 모니터링할 수도 있습니다.

프라이빗 네트워크에 대한 외부 카탈로그 생성

전용(private) 네트워크에서 데이터 소스에 액세스하는 외부 카탈로그를 생성할 수 있습니다.

1. 왼쪽 탐색 창에서 생성을 누르고 카탈로그를 선택합니다. 마스터 카탈로그로 이동하고 마스터 카탈로그에서 카탈로그 생성을 누를 수도 있습니다.
2. 이름 및 설명 필드를 채웁니다.
3. 카탈로그 유형 드롭다운 목록에서 외부 카탈로그를 선택합니다.
4. 외부 소스 유형 선택:

   데이터 소스	필드
   Oracle Autonomous AI Lakehouse	전자 지갑 파일 또는 인스턴스 구성을 제공하십시오.
   Oracle Autonomous AI Transaction Processing	전자 지갑 파일 또는 인스턴스 구성을 제공하십시오.
   Oracle AI Database	전자 지갑 파일 또는 인스턴스 구성을 제공하십시오.
   Oracle Exadata Database Service	호스트, 포트, 서비스 이름/SID를 제공합니다.
   Kafka(준비 중)	부트스트랩 서버를 제공합니다. 콤마로 여러 서버를 구분합니다.

5. 해당되는 경우 사용자 이름 및 암호를 입력하십시오.
6. SSL은 기본적으로 사용으로 설정되어 있습니다. SSL을 사용 안함으로 설정하려면 상자를 선택 해제합니다.
7. 개인 네트워크 사용을 선택합니다.
8. 원하는 개인 네트워크 구성으로 작업 영역을 선택합니다.
   개인 네트워크에 대해 구성된 작업 영역 설정에 대한 자세한 내용은 Create a Workspace with Private Network Access Enabled를 참조하십시오.
9. 생성을 누릅니다.
   외부 소스에서 데이터를 추출하는 외부 카탈로그에는 회전 원 아이콘이 표시됩니다.
   

   

   
   

   작업 실행에서 진행률을 모니터링할 수도 있습니다.

Oracle Autonomous AI Database on Exadata Cloud@Customer를 Oracle AI Data Platform에 연결하는 방법

Oracle Autonomous AI Database on Exadata Cloud@Customer에서 실행되는 Oracle Autonomous AI Transaction Processing, Oracle Autonomous AI Database 또는 Oracle Autonomous AI Lakehouse 데이터베이스에 대한 외부 카탈로그를 생성할 수 있습니다. 전용 네트워크를 통해서만 데이터베이스에 액세스할 수 있는 경우 전용 네트워크 액세스 및 데이터베이스 SCAN 세부정보를 사용하여 AI 데이터 플랫폼 작업 영역을 구성합니다.

접속은 클라이언트 인증서 전자 지갑과 함께 TLS를 사용합니다.

요구 사항

시작하기 전에 다음 사항을 확인하십시오.

• 데이터베이스가 프로비전되어 사용 가능합니다.
• 데이터베이스 클라이언트 인증서 전자 지갑을 다운로드했습니다.
• 데이터베이스 SCAN 정규화된 도메인 이름과 TLS 리스너 포트를 알고 있습니다.
• SCAN 이름은 AI 데이터 플랫폼 작업 영역에서 사용되는 개인 네트워크에서 확인할 수 있습니다.
• 네트워크 경로 및 보안 규칙은 작업 영역 네트워크에서 데이터베이스 리스너 포트로의 트래픽을 허용합니다.
• 필요한 VCN, 서브넷 및 네트워크 보안 그룹을 검사할 수 있는 권한이 있습니다.
• 데이터베이스 유저는 외부 카탈로그를 통해 표시하려는 스키마 및 객체에 대해 CREATE SESSION 및 SELECT 권한을 가집니다.
• 데이터베이스 사용자는 의도한 읽기 또는 쓰기 작업에 필요한 추가 권한을 가집니다.

지정된 데이터베이스 유저가 액세스할 수 있는 스키마 및 객체만 검색되고 외부 카탈로그에 추가됩니다.

전용(private) 연결로 작업 영역 생성

다음 변경사항과 함께 Create a Workspace with Private Network Access Enabled의 단계를 따릅니다.

• Oracle Exadata Cloud@Customer 환경에 대한 접속을 제공하는 VCN 및 서브넷을 제공합니다.
• 고급 네트워크 옵션에서 내 데이터 소스에 SCAN 프록시를 통한 액세스 필요를 선택합니다.
• 데이터베이스 SCAN 정규화된 도메인 이름을 입력합니다.
• 데이터베이스 TLS 리스너 포트를 입력합니다.

외부 카탈로그 생성

Create an External Catalog for Private Networks에 제공된 단계에 따라 다음 항목을 선택합니다.

• 외부 소스 유형의 경우 Oracle Autonomous AI Transaction Processing을 선택합니다.
• 접속 방법에 대해 전자 지갑을 선택합니다.
• 데이터베이스에서 다운로드한 클라이언트 인증서 전자 지갑을 업로드합니다.
• 전자 지갑에서 필요한 데이터베이스 서비스를 선택합니다.
• 필요한 경우 전자지갑 비밀번호를 제공하십시오.
• 데이터베이스 네트워크 및 SCAN 주소에 대한 액세스 권한으로 위에서 구성한 작업 영역을 선택합니다.
• 연결을 테스트하여 모든 항목이 올바르게 구성되었는지 확인합니다.

연결 유효성 검사

카탈로그 생성 및 메타데이터 검색이 완료된 후:

• 예상한 스키마 및 테이블이 외부 카탈로그에 나타나는지 확인합니다.
• 프라이빗 작업 영역에서 컴퓨트 클러스터를 시작하거나 선택합니다.
• 다음 세 부분으로 구성된 이름을 사용하여 검색된 테이블을 query합니다.

SELECT *
FROM <catalog_name>.<schema_name>.<table_name>;

외부 데이터 카탈로그 새로고침

Oracle AI Data Platform에서 외부 카탈로그를 새로고침하여 해당 콘텐츠를 외부 소스와 동기화할 수 있습니다.

1. 왼쪽 탐색 창에서 마스터 카탈로그를 누릅니다.
2. 마스터 카탈로그 트리에서 새로 고칠 외부 카탈로그를 선택합니다.
3. 새로 고침을 누릅니다.
   외부 카탈로그는 데이터를 추출하고 외부 소스에서 메타데이터를 업데이트하는 동안 회전 원 아이콘과 함께 마스터 카탈로그 아래에 표시됩니다.
   

   

   
   

   작업 실행에서 진행률을 모니터할 수도 있습니다. 모니터 작업을 참조하십시오.

SQL을 사용하여 외부 카탈로그 새로고침

SQL 문법을 사용하여 외부 카탈로그에 대한 메타 데이터와 해당 스키마 및 테이블을 새로 고치면 컨텐트가 외부 소스와 동기화됩니다.

외부 카탈로그를 새로 고치려면 노트북에서 다음 SQL 명령을 사용합니다.

REFRESH EXTERNAL CATALOG <<catalog_name>>

외부 카탈로그의 스키마를 새로 고치려면 다음을 사용합니다.

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

External Catalog의 스키마에 있는 테이블을 Refresh하려면 다음을 사용합니다.

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

자세한 내용은 SQL 문법을 참조하십시오.

외부 카탈로그 이름 바꾸기

내용이나 용도가 변경된 경우 외부 카탈로그의 이름을 바꿀 수 있습니다.

1. 왼쪽 탐색 창에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 탭에서 카탈로그를 찾고 작업을 누른 다음 이름 바꾸기를 누릅니다.
   
   

   

   
   
3. 카탈로그 이름을 편집하고 Enter를 누릅니다.

외부 카탈로그 설명 편집

외부 카탈로그의 내용이나 용도가 변경된 경우 외부 카탈로그에 대한 설명을 수정할 수 있습니다.

1. 왼쪽 탐색 창에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 탭에서 카탈로그를 찾고 작업을 누른 다음 설명 편집을 누릅니다.
   
   

   

   
   
3. 카탈로그 설명을 편집하고 저장을 누릅니다.

외부 카탈로그 비밀번호 변경

소스 액세스를 계속할 수 있도록 외부 카탈로그에 대한 필수 비밀번호를 업데이트할 수 있습니다.

1. 왼쪽 탐색 창에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 탭에서 카탈로그를 찾고 작업을 누른 다음 비밀번호 변경을 누릅니다.
3. 외부 카탈로그에 대한 새 비밀번호를 입력하고 저장을 누릅니다.

외부 카탈로그 삭제

더 이상 필요하지 않은 경우 외부 카탈로그를 삭제할 수 있습니다.

외부 카탈로그를 삭제하면 로컬에 저장된 메타 데이터만 삭제됩니다. 외부 데이터 소스의 데이터는 영향을 받지 않습니다.

1. 왼쪽 탐색 창에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 탭에서 카탈로그를 찾고 작업을 누른 다음 삭제를 누릅니다.
   
   

   

   
   
3. 카탈로그 삭제 확인을 선택합니다.
4. 삭제를 누릅니다.

외부 카탈로그 내의 테이블에서 데이터 삭제

카탈로그 및 테이블이 푸시다운 SQL DELETE를 지원하도록 구성된 경우 Spark 쓰기 경로를 사용하여 외부 카탈로그 테이블에서 행을 삭제할 수 있습니다.

카탈로그 ID를 사용하여 테이블 데이터 삭제: Python 예제

from pyspark.sql.types import StructType

df = spark.createDataFrame([], StructType([]))


    df.write
      .format("aidataplatform")
      .option("catalog.id", "<catalog>")
      .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
      .save()

카탈로그 ID를 사용하여 테이블 데이터 삭제: Scala 예제

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("catalog.id", "<catalog>")
  .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
  .save()

테이블 데이터 삭제를 위한 수집 스타일 샘플: Python 예제

from pyspark.sql.types import StructType
df = spark.createDataFrame([], StructType([]))

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()

테이블 데이터 삭제를 위한 수집 스타일 샘플: Scala 예제

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()