자율운영 AI 데이터베이스의 데이터 파이프라인 정보

자율운영 AI 데이터베이스 데이터 파이프라인은 로드 파이프라인이거나 익스포트 파이프라인입니다.

로드 파이프라인은 외부 소스에서 데이터를 지속적으로 증분 로드하는 기능을 제공합니다(데이터가 객체 저장소에 도착하면 데이터베이스 테이블로 로드됨). 엑스포트 파이프라인은 객체 저장소로 엑스포트되는 데이터베이스 테이블에 새 데이터가 나타나므로 객체 저장소로 엑스포트되는 연속 증분 데이터를 제공합니다. 파이프라인은 데이터베이스 스케줄러를 사용하여 증분 데이터를 지속적으로 로드하거나 내보냅니다.

자율운영 AI 데이터베이스 데이터 파이프라인은 다음을 제공합니다.

데이터 파이프라인 수명 주기

DBMS_CLOUD_PIPELINE 패키지는 파이프라인을 생성, 구성, 테스트 및 시작하는 프로시저를 제공합니다. 파이프라인 수명 주기와 프로시저는 로드 및 익스포트 파이프라인에 대해 동일합니다.

그림 pipeline_lifecycle.png에 대한 설명

두 파이프라인 유형에 대해 다음 단계를 수행하여 파이프라인을 생성하고 사용합니다.

  1. 파이프라인을 생성하고 구성합니다. 자세한 내용은 파이프라인 생성 및 구성을 참조하십시오.

  2. 새 파이프라인을 테스트합니다. 자세한 내용은 테스트 파이프라인을 참조하십시오.

  3. 파이프라인을 시작합니다. 자세한 내용은 파이프라인 시작을 참조하십시오.

또한 파이프라인을 모니터, 정지 또는 삭제할 수 있습니다.

파이프라인 로드

객체 저장소의 외부 파일에서 데이터베이스 테이블로 연속 증분 데이터 로드를 수행하려면 로드 파이프라인을 사용합니다. 로드 파이프라인은 객체 저장소의 새 파일을 주기적으로 식별하고 새 데이터를 데이터베이스 테이블로 로드합니다.

로드 파이프라인은 다음과 같이 작동합니다. 이러한 기능 중 일부는 파이프라인 속성을 사용하여 구성할 수 있습니다.

다음에 대한 이미지 설명입니다.

load-pipeline.svg 그림에 대한 설명

비Oracle 데이터베이스로부터의 마이그레이션은 로드 파이프라인의 사용 사례 중 하나입니다. When you need to migrate your data from a non-Oracle database to Oracle Autonomous AI Database on Dedicated Exadata Infrastructure, you can extract the data and load it into Autonomous AI Database (Oracle Data Pump format cannot be used for migrations from non-Oracle databases). CSV와 같은 일반 파일 형식을 사용하여 비Oracle 데이터베이스에서 데이터를 익스포트하면 데이터를 파일에 저장하고 파일을 객체 저장소에 업로드할 수 있습니다. 그런 다음 자율운영 AI 데이터베이스로 데이터를 로드하는 파이프라인을 생성합니다. 로드 파이프라인을 사용하여 많은 CSV 파일 집합을 로드하면 내결함성, 재개 및 재시도 작업과 같은 중요한 이점이 있습니다. 큰 데이터 세트를 사용한 마이그레이션의 경우 비Oracle 데이터베이스 파일에 대해 테이블당 하나씩 여러 개의 파이프라인을 생성하여 자율운영 AI 데이터베이스로 데이터를 로드할 수 있습니다.

파이프라인 익스포트

익스포트 파이프라인을 사용하여 데이터베이스에서 객체 저장소로 데이터를 지속적으로 증분 익스포트할 수 있습니다. 익스포트 파이프라인은 주기적으로 후보자 데이터를 식별하고 데이터를 객체 저장소에 업로드합니다.

내보내기 파이프라인 옵션에는 다음 세 가지가 있습니다. 내보내기 옵션은 파이프라인 속성을 사용하여 구성할 수 있습니다.

내보내기 파이프라인에는 다음과 같은 기능이 있습니다. 이들 중 일부는 파이프라인 속성을 사용하여 구성할 수 있습니다.

Oracle 유지 관리 파이프라인

전용 Exadata 인프라의 자율운영 AI 데이터베이스는 특정 로그를 JSON 형식의 객체 저장소로 익스포트할 수 있는 내장 파이프라인을 제공합니다. 이러한 파이프라인은 미리 구성되어 있으며 ADMIN 사용자가 시작하고 소유합니다.

Oracle 유지 관리 파이프라인은 다음과 같습니다.

Oracle 관리 파이프라인을 구성하고 시작하려면 다음과 같이 하십시오.

  1. 사용할 Oracle 관리 파이프라인(ORA$AUDIT_EXPORT 또는 ORA$APEX_ACTIVITY_EXPORT)을 결정합니다.

  2. credential_name 및 location 속성을 설정합니다.

    참고: credential_name은 전용 Exadata 인프라의 자율운영 AI 데이터베이스에서 필수 값입니다.

    예:

     BEGIN
   DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
     pipeline_name => 'ORA$AUDIT_EXPORT',
     attribute_name => 'credential_name',
     attribute_value => 'DEF_CRED_OBJ_STORE'
   );
   DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
     pipeline_name => 'ORA$AUDIT_EXPORT',
     attribute_name => 'location',
     attribute_value => 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/'
   );
 END;
 /

    데이터베이스의 로그 데이터가 지정한 객체 저장소 위치로 익스포트됩니다.

    자세한 내용은 SET_ATTRIBUTE를 참조하십시오.

  3. 선택적으로 interval, format 또는 priority 속성을 설정합니다.

    자세한 내용은 SET_ATTRIBUTE를 참조하십시오.

  4. 파이프라인을 시작합니다.

    자세한 내용은 START_PIPELINE을 참조하십시오.

관련 콘텐츠

DBMS_CLOUD_PIPELINE 패키지