외부 카탈로그

외부 카탈로그는 Oracle AI Data Platform 워크벤치 외부의 위치에서 데이터를 가져오는 카탈로그입니다.

LiveLabs Sprint

외부 카탈로그는 Oracle Autonomous AI Lakehouse, Oracle AI Database, Oracle Autonomous AI Transaction Processing과 같은 소스에 연결하여 AI Data Platform Workbench에 데이터를 추출합니다. 외부 카탈로그는 외부 소스 질의를 위해 외부 카탈로그 생성 중에 제공된 인증서를 사용합니다. 데이터 소스에 대한 자세한 내용은 내부 소스를 참조하십시오.

예를 들어, 사용된 Autonomous AI Lakehouse 사용자 자격 증명이 schema2가 아닌 schema1에 대한 액세스 권한이 있는 Autonomous AI Lakehouse 인스턴스에 대한 외부 카탈로그를 생성하는 경우 schema1만 외부 카탈로그에 나타납니다. 외부 카탈로그에 대한 권한이 있는 사용자는 자율운영 AI 레이크하우스 사용자가 액세스할 수 있는 스키마만 질의할 수 있습니다.

주:

AI 데이터 플랫폼 워크벤치는 PDB(플러그인할 수 있는 데이터베이스) 또는 Oracle에서 유지 관리하는 스키마 및 테이블에서 공유되는 스키마 및 테이블에서 데이터 수집을 지원하지 않습니다.

자율운영 AI 레이크하우스 및 자율운영 AI 트랜잭션 처리(ATP)에 필요한 권한

AI 데이터 플랫폼 워크벤치에서 외부 카탈로그를 생성하는 경우 연결에 사용하는 사용자 인증서에 최소한 다음 권한이 있어야 합니다.

• CREATE SESSION: 데이터베이스 연결
• 최소 권한 부여 또는 전용 읽기 롤을 통해 필요한 객체(테이블/뷰/외부 테이블)에 대한 SELECT 액세스 권한 부여
• READ, WRITE on DIRECTORY DATA_PUMP_DIR

외부 카탈로그에 데이터를 삽입하거나 새 테이블을 생성하는 경우 유저가 DWROLE의 일부인지 확인합니다. 자세한 내용은 Oracle Autonomous AI Transaction Processing 설명서, Manage User Privileges on Autonomous AI Database - Connecting with a Client Tool을 참조하십시오.

제한사항

외부 카탈로그는 Query 및 DML을 지원합니다. 외부 카탈로그 생성에 사용된 인증서에 DDL 문을 실행할 수 있는 권한이 있는 경우에도 DDL은 지원되지 않습니다.

외부 카탈로그 생성

AI 데이터 플랫폼 워크벤치에서 외부 소스에 카탈로그를 연결할 수 있습니다.

1. 왼쪽 탐색 창에서 생성을 누르고 카탈로그를 선택합니다. 마스터 카탈로그로 이동하고 마스터 카탈로그에서 카탈로그 생성을 누를 수도 있습니다.
2. 이름 및 설명 필드를 채웁니다.
3. 카탈로그 유형 드롭다운 목록에서 외부 카탈로그를 선택합니다.
4. 외부 소스 유형을 선택하십시오.
   • Oracle Autonomous AI Lakehouse의 경우 전자 지갑 파일 또는 인스턴스 구성을 제공합니다.
   • Oracle Autonomous AI Transaction Processing의 경우 전자 지갑 파일 또는 인스턴스 구성을 제공합니다.
   • Oracle AI Database의 경우 전자 지갑 파일 또는 인스턴스 구성을 제공합니다.
   • Kafka의 경우 부트스트랩 서버를 제공합니다. 콤마로 여러 서버를 구분합니다. (곧 출시)
5. 사용자 이름 및 암호를 입력합니다.
6. SSL은 기본적으로 사용으로 설정되어 있습니다. SSL을 사용 안함으로 설정하려면 상자를 선택 해제합니다.
7. 생성을 누릅니다.
   외부 소스에서 데이터를 추출하는 외부 카탈로그에는 회전 원 아이콘이 표시됩니다.
   

   

   
   

   작업 실행에서 진행률을 모니터링할 수도 있습니다.

프라이빗 네트워크에 대한 외부 카탈로그 생성

전용(private) 네트워크에서 데이터 소스에 액세스하는 외부 카탈로그를 생성할 수 있습니다.

1. 왼쪽 탐색 창에서 생성을 누르고 카탈로그를 선택합니다. 마스터 카탈로그로 이동하고 마스터 카탈로그에서 카탈로그 생성을 누를 수도 있습니다.
2. 이름 및 설명 필드를 채웁니다.
3. 카탈로그 유형 드롭다운 목록에서 외부 카탈로그를 선택합니다.
4. 외부 소스 유형을 선택하십시오.
   • Oracle Autonomous AI Lakehouse의 경우 전자 지갑 파일 또는 인스턴스 구성을 제공합니다.
   • Oracle Autonomous AI Transaction Processing의 경우 전자 지갑 파일 또는 인스턴스 구성을 제공합니다.
   • Oracle AI Database의 경우 전자 지갑 파일 또는 인스턴스 구성을 제공합니다.
   • Oracle Exadata Database Service의 경우 호스트, 포트 및 서비스 이름(SID)을 제공합니다.
   • Kafka의 경우 부트스트랩 서버를 제공합니다. 콤마로 여러 서버를 구분합니다. (곧 출시)
5. 사용자 이름 및 암호를 입력합니다.
6. SSL은 기본적으로 사용으로 설정되어 있습니다. SSL을 사용 안함으로 설정하려면 상자를 선택 해제합니다.
7. 개인 네트워크 사용을 선택합니다.
8. 원하는 개인 네트워크 구성으로 작업 영역을 선택합니다.
   개인 네트워크에 대해 구성된 작업 영역 설정에 대한 자세한 내용은 Create a Workspace with Private Network Access Enabled를 참조하십시오.
9. 생성을 누릅니다.
   외부 소스에서 데이터를 추출하는 외부 카탈로그에는 회전 원 아이콘이 표시됩니다.
   

   

   
   

   작업 실행에서 진행률을 모니터링할 수도 있습니다.

외부 데이터 카탈로그 새로고침

모든 외부 카탈로그의 refresh를 트리거하여 소스에서 컨텐트를 갱신할 수 있습니다.

1. 홈 페이지에서 마스터 카탈로그를 누릅니다.
2. 새로 고칠 외부 카탈로그를 선택합니다.
3. 새로 고침을 누릅니다.
   새로고침을 누르면 워크플로우가 백그라운드에서 시작되어 외부 카탈로그에서 메타데이터를 추출하고 업데이트합니다. 외부 소스에서 데이터를 추출하는 카탈로그에는 회전 원 아이콘이 표시됩니다.
   

   

   
   

   작업 실행에서 진행률을 모니터링할 수도 있습니다.

외부 카탈로그 설명 편집

내용이나 용도가 변경된 경우 작성 후 외부 카탈로그에 대한 설명을 편집할 수 있습니다.

1. 홈 페이지에서 마스터 카탈로그를 누릅니다.
2. 외부 카탈로그 옆에 있는 작업을 누르고 설명 편집을 누릅니다.
   
   

   

   
   
3. 카탈로그 설명을 변경하고 저장을 누릅니다.

외부 카탈로그 이름 바꾸기

카탈로그의 내용이나 용도가 변경된 경우 설명 레이블을 제공하도록 외부 카탈로그의 이름을 바꿀 수 있습니다.

기본 카탈로그의 이름을 바꿀 수 없습니다.

1. 홈 페이지에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 옆에 있는 작업을 누르고 이름 바꾸기를 누릅니다.
   
   

   

   
   
3. 카탈로그 이름을 변경하고 저장을 누릅니다.

외부 카탈로그 구성 편집

외부 카탈로그의 구성을 편집하여 필요한 비밀번호를 업데이트할 수 있습니다.

1. 홈 페이지에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 옆에 있는 작업을 누르고 구성 편집을 누릅니다.
3. 외부 카탈로그에 대한 새 비밀번호를 입력하고 저장을 누릅니다.

노트북에서 외부 카탈로그 테이블 액세스

세 부분으로 구성된 이름을 사용하여 노트북의 외부 카탈로그에서 테이블에 액세스할 수 있습니다.

기본적으로 푸시 다운은 사용으로 설정되며 집계, 투영, 필터, 열 제거, topN, 제한, 오프셋, 부울, 논리적 및 관계형 연산자와 같은 작업이 소스로 푸시 다운됩니다.

1. 노트북의 코드 인터페이스로 이동합니다.
2. External Catalog 테이블에서 데이터를 읽으려면 다음을 사용합니다.

   df = spark.read.table("<<catalog_name>>.<<schema_name>>.<<table_name>>")

3. 외부 카탈로그에 데이터를 쓰려면 다음과 같은 네 가지 옵션이 있습니다.

   Option#1
   df.write.saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#2
   df.write.mode("append").insertInto("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#3
   df.write.mode("overwrite").saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#4
   df.write.option('write.mode', 'MERGE').option('write.merge.keys','merge column(s)').insertInto('<<catalog_name>>.<<schema_name>>.<<table_name>>')

외부 카탈로그 삭제

외부 카탈로그를 삭제하여 로컬에 저장된 모든 메타 데이터를 제거할 수 있습니다.

외부 카탈로그를 삭제하면 로컬에 저장된 메타 데이터만 삭제됩니다. 데이터 소스의 데이터는 영향을 받지 않습니다.

1. 홈 페이지에서 마스터 카탈로그를 누릅니다.
2. 카탈로그 옆에 있는 작업을 누른 다음 삭제를 누릅니다.
   
   

   

   
   
3. 카탈로그 삭제 확인을 선택합니다.
4. 삭제를 누릅니다.