데이터 레이크하우스 계획
데이터 레이크하우스를 계획할 때 은행, 브로커, 금융 서비스에 대해 수십억 개의 데이터 레코드가 있는 다음과 같은 관련 사용 사례를 고려하십시오.
- 구조적 데이터를 위한 데이터 웨어하우스와 반구조적 및 비구조적 데이터를 위한 데이터 레이크로 구성된 전사적 데이터 허브를 설정합니다. 이 데이터 레이크하우스는 데이터에 대한 단일 정보 소스가 됩니다.
- 빅 데이터 처리 기술을 사용하여 관계형 데이터 소스를 다른 구조화되지 않은 데이터 세트와 통합합니다.
- 의미 기반 모델링과 강력한 시각화 툴을 사용하여 데이터 분석을 간소화할 수 있습니다.
비즈니스 사용 사례 이해
다음은 기존 회계 시스템을 사용하여 평가 데이터를 데이터 마트에 뱃치로 제공하는 자금 평가 시스템의 상위 레벨 보기입니다.
또한 데이터 마트는 다른 참조 데이터 소스에서 일괄 처리 참조 데이터를 가져옵니다. 데이터 마트는 자금 평가 데이터를 뱃치로 워크플로우의 다운스트림 시스템으로 푸시합니다.
가격은 정적인 방식이기 때문에 일반적으로 하루가 끝날 때 레거시 시스템은 모든 시스템이 제대로 작동하더라도 사용자가 필요로 하는 만큼 반응이 없습니다.
예를 들어, 2022 년 2 분기에 시장에서 극도의 변동성이 있었을 때 모든 사용자 그룹은 높은 경고를 받았으며 모든 사람들은 하루 종일 보유 위치를 식별 할 수 있도록 최신 가격과 시장 가치를 알고 싶어했습니다. 최신 가격을 캡처하고 시장 가치를 실시간으로 얻는 것은 전통적인 자금 평가 시스템에 대한 큰 요구였습니다.
최신 가격을 캡처하고 시장 가치를 실시간으로 얻기 위해서는 레거시 회계 시스템이 최신 가격을 캡처하고 데이터를 데이터 마트로 푸시하고 매일 여러 번 배치 워크플로우를 반복해야 합니다. 이는 응답성이 충분하지 않거나 지속 가능하지 않습니다.
솔루션 이해
이 솔루션은 기존 시스템을 변경하지 않아도 되므로 항상 배치 평가 데이터를 계속 게시할 수 있습니다.
실시간 가격 책정 및 환율은 해당 스트림에서 수집되고 가격에 적용되어 다양한 통화로 시장 가치를 찾습니다.
서버를 사용하지 않는 Oracle Cloud Infrastructure 아키텍처는 뱃치 및 실시간 데이터 모두를 지원합니다. 뱃치 데이터에는 포트폴리오 참조 데이터, 증분 델타 및 평가 데이터에 대한 CDC(변경 데이터 수집) 플로우에 대한 스냅샷 플로우가 포함됩니다. 실시간 데이터에는 가격 및 환율 스트림이 포함됩니다. 이 아키텍처에는 배치 및 실시간 데이터를 조합하여 실시간 가격, 기준 통화의 시장 가치 및 외화 시장 가치를 확보하는 프로세스가 포함되어 있습니다.
예제 구조
아래 다이어그램은 OCI(Oracle Cloud Infrastructure)에서 고객이 유입한 최신 데이터 플랫폼 아키텍처를 보여줍니다.
이 아키텍처는 실시간 자금 통찰력 확보, 비정상 거래 감지, 일반 재무 데이터 정제, 집계 및 시각화 등 재무 사용 사례에 사용할 수 있습니다.
oci-fund-lakehouse-arch-oracle.zip
이 아키텍처의 핵심 기능 중 하나는 다계층 데이터 레이크하우스입니다. 데이터 레이크에는 세 가지 고유한 레벨의 데이터 처리, 즉 구조화된 웨어하우징용 ADW(Oracle Autonomous Data Warehouse), 메타데이터 및 거버넌스용 Oracle Cloud Infrastructure Data Catalog, Spark 작업을 통한 빅데이터 처리 및 변환용 데이터 플로우로 구성됩니다.
청동 데이터 레이크는 종종 원시 또는 가까운 형식의 데이터에 대한 최초의 목적지입니다. 여기에는 OCI에 상주하는 데이터와 타사 플랫폼의 데이터가 포함됩니다. ODI(Oracle Data Integration)는 이 통합에 사용되는 툴 중 하나입니다.
데이터 플로우 응용 프로그램은 대부분의 청동-실버 데이터 변환 및 정제를 처리합니다. Oracle Cloud Infrastructure Vision은 OCR(광학 문자 인식) 기술을 사용하여 팩스 이미지에서 텍스트를 추출합니다. Vision 출력 데이터(텍스트)는 Oracle Functions를 사용하여 청동 호수에서 은색 호수로 전송됩니다.
데이터 플로우는 실버 레이크 계층에서 골드 데이터 레이크까지 추가 데이터 변환을 수행하며, 데이터는 ADW로 로드되고 Oracle Analytics Cloud 및 타사 분석 및 시각화 툴이 제공됩니다.
이 아키텍처에는 다음과 같은 추가 기능이 포함되어 있습니다.
- OCI 서비스 커넥터 허브를 사용하여 통합된 OCI 스트리밍 및 OCI 통지를 사용하여 비정상적인 거래 통지를 제공합니다.
- Kafka Connect를 사용하여 OpenSearch을 통해 OCI Streaming 데이터를 OCI Search Service로 전송하여 실시간 자금 통찰력을 제공하기 위한 스트리밍 애널리틱스가 제공됩니다. OpenSearch OCI Search Service의 통합 구성요소인 대시보드는 OpenSearch 데이터에 대한 직접 시각화를 제공할 수 있습니다.
- 데이터 과학자는 ADW, 오브젝트 스토리지, 타사 클라우드 및 적절히 연결된 온프레미스 시스템을 쿼리하는 데 사용할 수 있는 전담 관리 서버 미사용 플랫폼인 OCI 데이터 과학을 사용하여 데이터 레이크하우스를 탐색할 수 있습니다.