Autonomous Database의 데이터 파이프라인 정보

Autonomous Database 데이터 파이프라인은 로드 파이프라인 또는 익스포트 파이프라인입니다.

로드 파이프라인은 데이터베이스 테이블로 로드되는 객체 저장소에 데이터가 도착할 때 외부 소스에서 연속 증분 데이터 로드를 제공합니다. 익스포트 파이프라인은 객체 저장소로 익스포트되는 연속 증분 데이터를 제공합니다(새 데이터가 객체 저장소로 익스포트되는 데이터베이스 테이블에 나타남). 파이프라인은 데이터베이스 스케줄러를 사용하여 증분 데이터를 지속적으로 로드하거나 엑스포트합니다.

Autonomous Database 데이터 파이프라인은 다음을 제공합니다.

통합 작업: 파이프라인을 사용하면 데이터를 빠르고 쉽게 로드하거나 내보내고 새 데이터에 대해 정기적으로 이러한 작업을 반복할 수 있습니다. DBMS_CLOUD_PIPELINE 패키지는 파이프라인 구성을 위한 통합 PL/SQL 프로시저 집합을 제공하고 로드 또는 익스포트 작업을 위해 일정이 잡힌 작업을 생성 및 시작합니다.
일정이 잡힌 데이터 처리: 파이프라인은 데이터 소스를 모니터하고 새 데이터가 도착하면 데이터를 주기적으로 로드하거나 익스포트합니다.
고성능: 파이프라인은 Autonomous Database에서 사용 가능한 리소스로 데이터 전송 작업을 확장합니다. 파이프라인은 기본적으로 모든 로드 또는 익스포트 작업에 병렬화를 사용하고, Autonomous Database에서 사용 가능한 CPU 리소스 또는 구성 가능한 우선순위 속성에 따라 확장할 수 있습니다.
원자성 및 복구: 파이프라인은 객체 저장소의 파일이 로드 파이프라인에 대해 정확히 한 번 로드되도록 원자성을 보장합니다.
모니터링 및 문제 해결: 파이프라인은 파이프라인 작업을 모니터하고 디버그할 수 있는 자세한 로그 및 상태 테이블을 제공합니다.
멀티클라우드 호환: Autonomous Database의 파이프라인은 애플리케이션 변경 없이도 클라우드 제공업체 간 손쉬운 전환을 지원합니다. 파이프라인은 Autonomous Database가 지원하는 모든 인증서 및 객체 저장소 URI 형식(Oracle Cloud Infrastructure Object Storage, Amazon S3, Azure Blob Storage, Google Cloud Storage, Amazon S3 호환 객체 저장소)을 지원합니다.

관련 항목

DBMS_CLOUD_PIPELINE 패키지

데이터 파이프라인 수명 주기

DBMS_CLOUD_PIPELINE 패키지는 파이프라인을 만들고, 구성하고, 테스트하고 시작하는 절차를 제공합니다. 파이프라인 수명 주기와 프로시저는 로드 및 엑스포트 파이프라인에 대해 동일합니다.

pipeline_lifecycle.eps에 대한 설명은 다음과 같습니다.

pipeline_lifecycle.eps 그림 설명

두 파이프라인 유형에 대해 다음 단계를 수행하여 파이프라인을 생성하고 사용합니다.

파이프라인을 생성하고 구성합니다. 자세한 내용은 파이프라인 생성 및 구성을 참조하십시오.
새 파이프라인을 테스트합니다. 자세한 내용은 테스트 파이프라인을 참조하십시오.
파이프라인을 시작합니다. 자세한 내용은 파이프라인 시작을 참조하십시오.

또한 다음과 같이 파이프라인을 모니터, 정지 또는 삭제할 수 있습니다.

파이프라인이 실행되는 동안 테스트 중에 또는 파이프라인을 시작한 후 정기적으로 사용하는 동안 파이프라인을 모니터링할 수 있습니다. 자세한 내용은 Monitor and Troubleshoot Pipelines을 참조하십시오.
파이프라인 사용을 마쳤으면 파이프라인을 중지하고 나중에 다시 시작하거나 파이프라인을 삭제할 수 있습니다. 자세한 내용은 파이프라인 중지 및 파이프라인 삭제를 참조하십시오.

파이프라인 로드

객체 저장소의 외부 파일에서 데이터베이스 테이블로 연속 증분 데이터 로드를 위해 로드 파이프라인을 사용합니다. 로드 파이프라인은 정기적으로 객체 저장소의 새 파일을 식별하고 새 데이터를 데이터베이스 테이블로 로드합니다.

로드 파이프라인은 다음과 같이 작동합니다. 이러한 기능 중 일부는 파이프라인 속성을 사용하여 구성할 수 있습니다.

객체 저장소 파일은 데이터베이스 테이블로 병렬로 로드됩니다.
- 로드 파이프라인은 객체 저장소 파일 이름을 사용하여 새 파일을 고유하게 식별하고 로드합니다.
- 객체 저장소의 파일이 데이터베이스 테이블에 로드되면 파일 콘텐츠가 객체 저장소에서 변경될 경우 다시 로드되지 않습니다.
- 객체 저장소 파일이 삭제된 경우 데이터베이스 테이블의 데이터에 영향을 주지 않습니다.
오류가 발생하면 로드 파이프라인이 자동으로 작업을 재시도합니다. 파이프라인의 일정이 잡힌 작업을 나중에 실행할 때마다 재시도가 시도됩니다.
파일의 데이터가 데이터베이스 테이블을 준수하지 않는 경우 FAILED로 표시되며 문제를 디버그하고 해결하기 위해 검토할 수 있습니다.
- 파일을 로드하지 못하면 파이프라인이 정지되지 않고 다른 파일도 계속 로드됩니다.
로드 파이프라인은 JSON, CSV, XML, Avro, ORC, Parquet 등 여러 입력 파일 형식을 지원합니다.

그림 load-pipeline.eps에 대한 설명

비Oracle 데이터베이스로부터의 마이그레이션은 로드 파이프라인을 위한 사용 사례 중 하나입니다. 비 Oracle 데이터베이스에서 Oracle Autonomous Database on Dedicated Exadata Infrastructure로 데이터를 마이그레이션해야 하는 경우 데이터를 추출하여 Autonomous Database로 로드할 수 있습니다. 비 Oracle 데이터베이스에서 마이그레이션할 때는 Oracle Data Pump 형식을 사용할 수 없습니다. CSV와 같은 일반 파일 형식을 사용하여 비Oracle 데이터베이스에서 데이터를 익스포트하면 데이터를 파일에 저장하고 파일을 객체 저장소에 업로드할 수 있습니다. 그런 다음 Autonomous Database에 데이터를 로드할 파이프라인을 생성합니다. 로드 파이프라인을 사용하여 많은 CSV 파일 집합을 로드하면 내결함성, 재개 및 재시도 작업과 같은 중요한 이점을 얻을 수 있습니다. 대용량 데이터 세트를 사용한 마이그레이션의 경우 비Oracle 데이터베이스 파일에 대해 테이블당 하나씩 여러 개의 파이프라인을 생성하여 데이터를 Autonomous Database로 로드할 수 있습니다.

파이프라인 익스포트

데이터베이스에서 객체 저장소로 데이터를 지속적으로 증분 익스포트하려면 익스포트 파이프라인을 사용합니다. 익스포트 파이프라인은 정기적으로 후보자 데이터를 식별하고 데이터를 객체 저장소로 업로드합니다.

세 가지 내보내기 파이프라인 옵션이 있습니다. 내보내기 옵션은 파이프라인 속성을 사용하여 구성할 수 있습니다.

최신 데이터를 추적하기 위한 키로 날짜 또는 시간 기록 열을 사용하여 질의의 증분 결과를 객체 저장소로 익스포트합니다.
최신 데이터를 추적하기 위한 키로 날짜 또는 시간 기록 열을 사용하여 테이블의 증분 데이터를 객체 저장소로 익스포트합니다.
날짜 또는 시간 기록 열에 대한 참조 없이 데이터를 선택하기 위한 질의를 사용하여 테이블 데이터를 객체 저장소로 익스포트합니다(파이프라인이 각 스케줄러 실행에 대해 질의가 선택하는 모든 데이터를 익스포트하도록 함).

익스포트 파이프라인에는 다음과 같은 기능이 있습니다. 이들 중 일부는 파이프라인 속성을 사용하여 구성할 수 있습니다.

결과는 객체 저장소와 병렬로 익스포트됩니다.
장애가 발생하면 후속 파이프라인 작업이 엑스포트 작업을 반복합니다.
익스포트 파이프라인은 CSV, JSON, Parquet, XML 등 여러 익스포트 파일 형식을 지원합니다.

Oracle 유지 관리 파이프라인

Autonomous Database on Dedicated Exadata Infrastructure는 특정 로그를 JSON 형식으로 객체 저장소로 익스포트할 수 있는 내장 파이프라인을 제공합니다. 이러한 파이프라인은 미리 구성되어 있으며 ADMIN 유저가 시작하고 소유합니다.

Oracle 유지 관리 파이프라인은 다음과 같습니다.

ORA$AUDIT_EXPORT: 이 파이프라인은 데이터베이스 감사 로그를 JSON 형식의 객체 저장소로 익스포트하고 interval 속성 값에 따라 파이프라인을 시작한 후 15분마다 실행됩니다.
ORA$APEX_ACTIVITY_EXPORT: 이 파이프라인은 Oracle APEX 작업영역 작업 로그를 JSON 형식의 객체 저장소로 익스포트합니다. 이 파이프라인은 APEX 작업 레코드를 검색하기 위한 SQL 질의로 미리 구성되어 있으며 interval 속성 값을 기반으로 파이프라인을 시작한 후 15분마다 실행됩니다.

Oracle 관리 파이프라인을 구성하고 시작하려면 다음과 같이 하십시오.

ORA$AUDIT_EXPORT 또는 ORA$APEX_ACTIVITY_EXPORT 중에서 사용할 Oracle 관리 파이프라인을 결정합니다.

credential_name 및 location 속성을 설정합니다.

주:

credential_name는 Autonomous Database on Dedicated Exadata Infrastructure에서 필수 값입니다.

예:

BEGIN
  DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
    pipeline_name => 'ORA$AUDIT_EXPORT',
    attribute_name => 'credential_name',
    attribute_value => 'DEF_CRED_OBJ_STORE'
  );
  DBMS_CLOUD_PIPELINE.SET_ATTRIBUTE(
    pipeline_name => 'ORA$AUDIT_EXPORT',
    attribute_name => 'location',
    attribute_value => 'https://objectstorage.us-phoenix-1.oraclecloud.com/n/namespace-string/b/bucketname/o/'
  );
END;
/

데이터베이스의 로그 데이터가 지정한 객체 저장소 위치로 익스포트됩니다.

자세한 내용은 SET_ATTRIBUTE를 참조하십시오.

선택적으로 interval, format 또는 priority 속성을 설정합니다.

자세한 내용은 SET_ATTRIBUTE를 참조하십시오.
파이프라인을 시작합니다.

자세한 내용은 START_PIPELINE를 참조하십시오.

제목 및 저작권 정보

Oracle and/or its affiliates.