이 다이어그램은 Oracle Cloud Infrastructure 지역의 구성요소를 통해 엔터프라이즈 애플리케이션, 플랫 파일, 이벤트 및 센서 데이터를 여러 소스에서 데이터 소비자에게 사용 가능한 인사이트로 변환하는 과정을 보여줍니다.
다음 구성요소는 전체 Oracle Cloud Infrastructure 지역에 적용됩니다.
영역은 물리적 또는 기능적 구성 요소를 포함하는 기능적 계층으로 구분됩니다.
데이터 소스 계층: 데이터 공유 제공자, 장치, 최종 사용자, 이벤트, 센서, 파일, 모든 유형의 모든 데이터 소스 및 엔터프라이즈 애플리케이션. 엔터프라이즈 애플리케이션 데이터베이스의 메타데이터가 수집되고 블록 거버넌스(데이터 카탈로그)로 흐릅니다.
연결, 수집, 변환 계층: 데이터는 일괄 처리, API 및 스트리밍 수집으로 세분화되어 사용 사례에 따라 다양한 서비스를 활용합니다.
일괄 처리 수집(OCI Data Integration, Data Integrator, Data Transforms)이라는 레이블이 붙은 블록은 일괄 처리 또는 마이크로 일괄 처리로 수집 및 변환되는 데이터를 처리합니다. 원시 데이터는 객체 스토리지에 저장됩니다.
API 기반 수집(OIC, ORDS, API 게이트웨이, 함수)이라는 레이블이 지정된 블록은 수집된 API인 데이터를 처리합니다. 원시 데이터는 객체 스토리지에 저장됩니다.
Real Time Ingest(GoldenGate 서비스/OGG 마켓플레이스)라는 레이블이 붙은 블록은 거의 실시간으로 수집된 데이터를 처리합니다. 또한 실시간으로 수집된 데이터는 일괄 수집 구성 요소에서 제공하는 기능으로 처리되고 세분화됩니다. 원시 및 세분화된 애플리케이션 데이터가 별도의 경로를 따라 유지, 선별, 생성 층에 전달됩니다. 원시 데이터는 객체 스토리지에 저장됩니다.
대량 전송(FastConnect, 데이터 전송, 스토리지 게이트웨이, CLI, SDK, API)이라는 레이블이 지정된 블록은 대량(파일) 데이터를 처리한 다음 클라우드 스토리지 블록에 전달합니다.
스트리밍 데이터는 스트리밍 수집(OCI Streaming, Service Connector Hub, Kafka Connect)이라는 레이블이 붙은 블록에 의해 수집됩니다. 이 블록은 클라우드 스토리지(오브젝트 스토리지), 스트리밍 처리(OCI Golden Gate, 스트리밍 분석) 또는 스트리밍 분석(Golden Gate Stream Analytics)으로 흐릅니다.
유지, 선별, 생성: Oracle Cloud Infrastructure Lakehouse 또는 Object Storage 또는 두 가지 모두의 레이크하우스에 데이터가 보관됩니다. API에서 액세스하며 분석, 시각화 및 데이터 과학에 사용됩니다.
데이터 공유의 처리된 데이터와 데이터는 Serving(Oracle Cloud Infrastructure Lakehouse)이라는 레이크하우스 내의 블록으로의 이동을 제공합니다. 레이크하우스에는 클라우드/스토리지/날짜 레이크(오브젝트 스토리지)도 포함되어 있습니다.
일괄 처리(Data Flow, OCI Data Integration, Data Integrator), 오픈 소스 에코시스템(Big Data Service) 및 스트리밍 처리(OCI GoldenGate Stream Analytics, OCI Data Flow)를 통해 추가 처리가 제공됩니다. 메타데이터가 데이터 거버넌스(데이터 카탈로그)라는 레이블이 지정된 블록으로 전달됩니다.
분석, 학습, 예측 계층: 레이크하우스 데이터는 Oracle Analytics Cloud가 분석 및 시각화를 위해 사용하고, 데이터 과학 및 AI는 린닝 및 예측을 위해 사용하고, AI 및 생성형 AI 서비스는 데이터 보강을 위해 Data Labeling을 사용하고, OCI Search는 사람과 파트너, API를 사용하는 지원 및 IoT 소비자에게 결과를 제공합니다.
레이크하우스 및 스트리밍 데이터는 역방향 ETL 쓰기 되돌림을 사용하여 애플리케이션 및 IoT 소비자에게 데이터를 제공할 수 있습니다.
측정, 조치 계층: 데이터 공유 수신자는 공유 데이터를 사용하고, 사람 및 파트너는 분석 데이터를 사용하며, 애플리케이션 및 IoT 소비자는 세분화된 데이터를 사용합니다.