이 다이어그램은 엔터프라이즈 애플리케이션, 플랫 파일, 이벤트 및 센서 데이터를 여러 소스에서 Oracle Cloud Infrastructure 지역의 구성요소를 통해 데이터 소비자를 위해 사용 가능한 인사이트로 변환하는 방법을 보여줍니다.
다음 구성요소는 전체 Oracle Cloud Infrastructure 지역에 적용됩니다.
영역은 물리적 또는 기능적 구성 요소를 포함하는 기능 계층으로 나뉩니다.
데이터 소스 계층: 데이터 공유 제공자, 장치, 최종 사용자, 이벤트, 센서, 파일, 모든 유형의 데이터 소스 및 엔터프라이즈 애플리케이션. 엔터프라이즈 애플리케이션 데이터베이스의 메타데이터를 수집하여 블록 거버넌스(데이터 카탈로그)로 이동합니다.
연결, 수집, 변환 계층: 데이터는 배치, API 및 스트리밍 수집으로 세분화되어 사용 사례에 따라 다양한 서비스를 활용합니다.
일괄 처리 수집(OCI Data Integration, Data Integrator, Data Transforms)이라는 레이블이 붙은 블록은 일괄 처리 또는 마이크로 일괄 처리로 수집 및 변환되는 데이터를 처리합니다. 원시 데이터는 객체 스토리지에 저장됩니다.
레이블이 지정된 API 기반 수집(OIC, ORDS, API 게이트웨이, 함수) 블록은 수집된 API인 데이터를 처리합니다. 원시 데이터는 객체 스토리지에 저장됩니다.
실시간 수집(GoldenGate 서비스/OGG 마켓플레이스)이라는 레이블이 붙은 블록은 거의 실시간으로 수집된 데이터를 처리합니다. 또한 실시간으로 수집된 데이터는 일괄 수집 구성요소에서 제공하는 기능으로 처리 및 세분화됩니다. 원시 및 세분화된 응용 프로그램 데이터는 별도의 경로를 따라 유지, 선별, 작성 레이어에 전달됩니다. 원시 데이터는 객체 스토리지에 저장됩니다.
대량 전송(FastConnect, 데이터 전송, 스토리지 게이트웨이, CLI, SDK, API)이라는 레이블이 붙은 블록은 대량(파일) 데이터를 처리한 후 클라우드 스토리지 블록으로 전달합니다.
스트리밍 데이터는 스트리밍 수집(OCI Streaming, Service Connector Hub, Kafka Connect)이라는 레이블이 붙은 블록에 의해 수집되고, 클라우드 스토리지(오브젝트 스토리지), 스트리밍 처리(OCI Golden Gate, Streaming Analytics) 또는 스트리밍 분석(Golden Gate Stream Analytics)으로 유입됩니다.
유지, 선별, 생성: 데이터는 Oracle Autonomous Data Warehouse 또는 Object Storage 또는 둘 다의 레이크하우스에 보관됩니다. API에서 액세스하며 분석, 시각화 및 데이터 과학에 사용됩니다.
데이터 공유에서 처리된 데이터와 데이터는 Serving(Oracle Autonomous Data Warehouse)이라는 레이크하우스 내의 블록으로 이동을 제공합니다. 레이크하우스에는 클라우드/스토리지/날짜 레이크(오브젝트 스토리지)도 포함됩니다.
추가 처리는 일괄 처리(데이터 플로우, OCI 데이터 통합, 데이터 통합기), 오픈 소스 에코시스템(빅 데이터 서비스) 및 스트리밍 처리(OCI GoldenGate 스트림 분석, OCI 데이터 플로우)에서 제공합니다. 메타데이터는 Data Governance(Data Catalog)라는 블록으로 전달됩니다.
분석, 학습, 예측 계층: 레이크하우스 데이터는 Oracle Analytics Cloud가 분석 및 시각화를 위해 사용하고, 데이터 과학 및 AI가 학습 및 예측을 위해 사용하고, AI 및 생성형 AI 서비스를 통해, 데이터 보강을 위해 데이터 레이블링을 통해, OCI Search를 통해 사람과 파트너에게 결과를 제공하고, API를 사용하는 애플리케이션 및 IoT 소비자에게 결과를 제공합니다.
레이크하우스 및 스트리밍 데이터는 역 ETL Writeback을 사용하여 애플리케이션 및 IoT 소비자에게 데이터를 제공할 수 있습니다.
측정, 실행 계층: 데이터 공유 수신자는 공유 데이터를 사용하고, 사람 및 파트너는 분석 데이터를 사용하며, 애플리케이션 및 IoT 소비자는 세분화된 데이터를 사용합니다.