OCI에 오픈 소스 데이터 레이크하우스 배치
구조
이 아키텍처는 플랫폼 토폴로지, 구성요소 개요, 권장 모범사례, Terraform 자동화를 도입하여 OCI에 오픈 소스 데이터 레이크하우스를 배포합니다.
데이터 레이크하우스는 엔터프라이즈 애플리케이션 데이터를 저장하고 집계할 수 있습니다. 데이터는 데이터 레이크 또는 데이터 웨어하우스로 전송할 수 있습니다. 데이터 레이크에 있는 데이터는 처리 및 데이터 웨어하우스로 로드되거나 고급 분석을 위해 데이터 레이크에서 직접 읽을 수 있습니다.
다음 다이어그램은 이 참조 구조를 보여 줍니다.
open-source-data-lakehouse.png 그림에 대한 설명
open-source-data-lakehouse-oracle.zip
OCI의 이 데이터 레이크하우스 구조에서 Oracle MySQL HeatWave는 데이터 웨어하우징에 사용됩니다. Oracle MySQL HeatWave는 고성능 인메모리 쿼리 가속기가 내장된 유일한 MySQL 클라우드 서비스입니다. 데이터베이스 관리자와 응용 프로그램 개발자의 경우에는 MySQL 데이터베이스에서 OLTP 및 OLAP 작업 로드를 직접 실행할 수 있는 유일한 서비스입니다. MySQL은 OLTP에 최적화되어 있으므로 많은 MySQL 구현에서는 업무 분석을 위해 별도의 OLAP 데이터베이스를 사용합니다.
Oracle MySQL HeatWave는 기존 애플리케이션을 변경하지 않고도 분석 및 혼합 작업 로드에 대해 MySQL 성능을 크게 향상시킵니다. Oracle MySQL HeatWave는 트랜잭션 및 분석 워크로드를 위한 단일화된 플랫폼을 제공합니다. 따라서 복잡하고 시간이 많이 걸리고 비용이 많이 드는 ETL 및 별도의 분석 데이터베이스와의 통합이 필요하지 않습니다. Oracle MySQL HeatWave의 MySQL Autopilot은 프로비저닝, 데이터 로드, 쿼리 실행 및 실패 처리를 자동화하여 개발자와 DBA에게 상당한 시간을 절약합니다.
Oracle Cloud Infrastructure Object Storage는 이 아키텍처의 데이터 레이크 역할을 합니다. OCI Object Storage를 사용하면 기업이 모든 데이터를 비용 효율적이고 탄력적인 환경에 저장하고 필요한 처리, 지속성 및 애널리틱스 서비스를 제공하여 새로운 비즈니스 통찰력을 도출할 수 있습니다. OCI Object Storage에 데이터 레이크를 사용하면 구조적/비구조적 데이터를 저장하고 선별할 수 있으며, 여러 소스에서 매우 다양한 대량의 데이터를 구성할 수 있는 방법을 사용할 수 있습니다.
제시된 구조는 다음과 같은 오픈 소스 구성 요소를 포함합니다.
- Apache Zeppelin
Apache Zeppelin은 SQL, Scala, Python, R 등을 통해 데이터 기반의 대화식 데이터 애널리틱스 및 협업 문서를 지원하는 웹 기반 노트북입니다.
Zeppelin은 이 아키텍처의 데이터 과학 및 데이터 탐색에 사용됩니다. Zeppelin에서는 노트북을 생성하고 Zeppelin 인터프리터 개념을 활용하여 모든 언어 또는 백엔드 데이터 처리 시스템을 플러그인할 수 있습니다. Zeppelin에서 MySQL과 Object Storage에 연결이 설정되면 진정한 데이터 레이크하우스 쿼리 환경에서 공동 쿼리를 실행하고 데이터 웨어하우스와 데이터 레이크에서 데이터를 동시에 검색할 수 있습니다.
- Grafana
Grafana는 이 아키텍처의 오픈 소스 플랫폼입니다. Grafana는 TypeScript(프론트 엔드) 및 Go(백엔드)로 작성된 인기 웹 애플리케이션입니다. 지원되는 데이터 소스 중 하나인 MySQL에 대한 차트와 그래프를 제공합니다. Grafana를 확장할 수 있도록 온라인에서 여러 플러그인을 사용할 수 있습니다.
Zeppelin과 Grafana는 전용 서브넷에 배치된 두 개의 가상 머신 인스턴스에서 공유되는 NFS(네트워크 파일 시스템)를 사용합니다. 이러한 인스턴스는 가용성 도메인 내 두 개의 개별 장애 도메인에 있습니다. 파일 시스템은 모든 인스턴스에서 마운트 대상에 액세스할 수 있도록 해주는 NSG(네트워크 보안 그룹)가 포함된 전용 전용 서브넷에 있습니다. 사용자는 이 고가용성 설계의 일부인 OCI 로드 밸런서를 통해 Zeppelin 및 Grafana에 액세스할 수 있습니다.
이 아키텍처는 Oracle Cloud Infrastructure Data Integration을 사용하여 오브젝트 스토리지에서 MySQL로 파일을 로드합니다. MySQL, Data Integration and Data Science for Marine Life Workshop에서는 오브젝트 스토리지에서 소스로, MySQL을 대상으로 데이터 플로우를 설정하고 실행하는 방법을 안내합니다.
구조에는 다음과 같은 OCI 구성 요소가 포함됩니다.
- 테넌시
테넌시는 Oracle Cloud Infrastructure에 등록할 때 Oracle이 Oracle Cloud 내에서 설정하는 안전하고 격리된 파티션입니다. 테넌시 내 Oracle Cloud에서 리소스를 생성, 구성 및 관리할 수 있습니다. 테넌시는 회사 또는 조직과 동의어입니다. 일반적으로 회사는 단일 테넌시를 가지며 해당 테넌시 내의 조직 구조를 반영합니다. 단일 테넌시는 일반적으로 단일 구독과 연관되며, 단일 구독에는 일반적으로 하나의 테넌시만 포함됩니다.
- 구획
구획은 Oracle Cloud Infrastructure 테넌시 내의 지역 간 논리적 파티션입니다. 구획을 사용하여 Oracle Cloud에서 리소스를 구성하고, 리소스에 대한 액세스를 제어하고, 사용 할당량을 설정합니다. 제공된 구획의 리소스에 대한 액세스를 제어하려면 리소스에 액세스할 수 있는 사용자 및 수행할 수 있는 작업을 지정하는 정책을 정의합니다.
- 정책
Oracle Cloud Infrastructure Identity and Access Management 정책은 어떤 리소스에 접근할 수 있는 사용자와 방법을 지정합니다. 접근 권한은 그룹 및 구획 레벨에서 부여되므로 특정 구획 또는 테넌시 내에서 그룹에 특정 유형의 접근 권한을 부여하는 정책을 작성할 수 있습니다.
- 지역
Oracle Cloud Infrastructure 지역은 가용성 도메인이라고 하는 하나 이상의 데이터 센터를 포함하는 지역화된 지리적 영역입니다. 지역은 다른 지역과 독립적이며, 방대한 거리로 이들을 분리할 수 있습니다(국가 또는 대륙 간).
- VCN(가상 클라우드 네트워크) 및 서브넷
VCN은 Oracle Cloud Infrastructure 영역에서 설정하는 커스터마이징 가능한 소프트웨어 정의 네트워크입니다. 기존의 데이터 센터 네트워크와 마찬가지로 VCN도 네트워크 환경을 완벽하게 제어할 수 있습니다. VCN에는 VCN을 생성한 후 변경할 수 있는 겹치지 않는 여러 CIDR 블록이 있을 수 있습니다. VCN을 서브넷으로 분할할 수 있으며, 지역 또는 가용성 도메인으로 범위가 지정될 수 있습니다. 각 서브넷은 VCN의 다른 서브넷과 겹치지 않는 연속적인 주소 범위로 구성됩니다. 서브넷을 생성한 후 크기를 변경할 수 있습니다. 서브넷은 공용 또는 전용일 수 있습니다.
- 가용성 도메인
가용성 도메인은 한 지역 내의 독립형 데이터 센터입니다. 각 가용성 도메인의 물리적 리소스는 내결함성을 제공하는 다른 가용성 도메인의 리소스와 분리됩니다. 가용성 도메인은 전원, 냉각 또는 내부 가용성 도메인 네트워크와 같은 인프라를 공유하지 않습니다. 따라서 하나의 가용성 도메인에서 장애가 발생하면 해당 영역의 다른 가용성 도메인에 영향을 주지 않습니다.
- 결함 도메인
장애 도메인은 한 가용성 도메인 내 하드웨어 및 인프라의 그룹입니다. 각 가용성 도메인은 3개의 장애 도메인과 독립적인 전원 및 하드웨어를 제공합니다. 여러 장애 도메인에 리소스를 분산하면 애플리케이션은 장애 도메인 내에서 물리적 서버 장애, 시스템 유지보수 및 전원 장애를 허용할 수 있습니다.
- 객체 스토리지
OCI Object Storage는 신뢰할 수 있고 비용 효율적인 데이터 지속성을 제공하는 인터넷급 고성능 스토리지 플랫폼입니다. 오브젝트 스토리지는 애널리틱스 데이터를 포함하여 모든 컨텐츠 유형의 비구조적 데이터를 무제한으로 저장할 수 있습니다. 인터넷 또는 클라우드 플랫폼 내에서 직접 안전하게 데이터를 저장 또는 검색할 수 있습니다. 여러 관리 인터페이스를 통해 성능 또는 서비스 안정성이 저하되지 않고도 소규모로 쉽게 시작하고 원활하게 확장할 수 있습니다.
오브젝트 스토리지를 자주 사용되지 않는 데이터를 저장한 다음 Apache Zeppelin을 통해 가장 최근 데이터와 원활하게 연결하여 데이터 웨어하우스의 콜드 스토리지 계층으로 사용할 수 있습니다. 장기간 보존해야 하며 거의 액세스하지 않아야 하는 파일의 아카이브 스토리지를 사용합니다.
- MySQL HeatWave
Oracle MySQL Database Service는 전담 관리 데이터베이스 서비스로, 개발자가 세계에서 가장 유명한 오픈 소스 데이터베이스를 사용하여 안전한 클라우드 전용 애플리케이션을 빠르게 개발하고 배포할 수 있도록 해줍니다. Oracle MySQL HeatWave는 분석 및 트랜잭션 질의에 대한 MySQL 성능을 가속화하는 Oracle MySQL Database Service용 통합 고성능 인메모리 쿼리 가속기입니다.
- 데이터 통합
Oracle Cloud Infrastructure Data Integration은 다양한 데이터 소스에서 대상 Oracle Cloud Infrastructure 서비스로 데이터를 추출, 로드, 변환, 정리 및 재구성하는 전담 관리 서버 미사용 클라우드 전용 서비스입니다. ETL(Extract Transform Load)은 Spark에서 완전 관리형 수평 확장 처리를 활용합니다. 사용자는 통합 플로우를 최적화하여 가장 효율적인 엔진 및 통합관리를 생성함으로써 실행 환경을 자동으로 할당하고 확장하는 직관적인 코드리스 사용자 인터페이스를 사용하여 데이터 통합 프로세스를 설계합니다. OCI 데이터 통합은 대화식 탐색 및 데이터 준비를 제공하고 데이터 엔지니어가 스키마 변경사항을 처리하는 규칙을 정의하여 스키마 드리프트로부터 보호할 수 있도록 지원합니다.
- 로드 밸런서
Oracle Cloud Infrastructure Load Balancing 서비스는 단일 시작점에서 백엔드의 여러 서버로 트래픽을 자동으로 분산합니다.
- Compute Instance
Oracle Cloud Infrastructure Compute 서비스를 사용하면 클라우드의 컴퓨트 호스트를 프로비저닝하고 관리할 수 있습니다. CPU, 메모리, 네트워크 대역폭, 스토리지 리소스 요구사항을 충족하는 구성으로 컴퓨트 인스턴스를 실행할 수 있습니다. 컴퓨트 인스턴스를 만든 후 안전하게 접근하고, 다시 시작하고, 볼륨을 연결 및 분리하고, 더 이상 필요하지 않을 때는 종료할 수 있습니다.
- 파일 저장소
Oracle Cloud Infrastructure File Storage 서비스는 내구성과 확장성이 뛰어나며 안전한 엔터프라이즈급 네트워크 파일 시스템을 제공합니다. VCN의 베어메탈, 가상 머신 또는 컨테이너 인스턴스에서 파일 스토리지 서비스 파일 시스템에 연결할 수 있습니다. Oracle Cloud Infrastructure FastConnect 및 IPSec VPN을 사용하여 VCN 외부에서 파일 시스템에 접근할 수도 있습니다.
- 인터넷 게이트웨이
인터넷 게이트웨이는 VCN의 공용 서브넷과 공용 인터넷 사이의 트래픽을 허용합니다.
- NAT(네트워크 주소 변환) 게이트웨이
NAT 게이트웨이를 사용하면 VCN의 전용 리소스가 수신 인터넷 연결에 리소스를 노출하지 않고도 인터넷의 호스트에 접근할 수 있습니다.
- NSG(네트워크 보안 그룹)
NSG는 클라우드 리소스에 대한 가상 방화벽 역할을 합니다. Oracle Cloud Infrastructure의 신뢰할 수 없는 보안 모델을 사용하면 모든 트래픽이 거부되며, VCN 내에서 네트워크 트래픽을 제어할 수 있습니다. NSG는 단일 VCN의 지정된 VNIC 집합에만 적용되는 일련의 수신 및 송신 보안 규칙으로 구성됩니다.
권장 사항
- VCN
VCN을 생성할 때 VCN의 서브넷에 연결할 리소스의 수에 따라 필요한 CIDR 블록 수 및 각 블록의 크기를 결정합니다. 표준 전용 IP 주소 공간 내에 있는 CIDR 블록을 사용합니다.
필요한 경우 VCN과 온프레미스 네트워크 간에 연결을 설정할 수 있도록 온프레미스 네트워크 또는 다른 네트워크와 겹치지 않는 주소 범위를 선택합니다.
서브넷을 설계할 때는 트래픽 플로우와 보안 요구사항을 고려하십시오. 특정 계층 또는 역할 내의 모든 리소스를 보안 경계로 사용할 수 있는 동일한 서브넷에 연결합니다.
- 보안
정책을 사용하여 기업이 보유한 OCI(Oracle Cloud Infrastructure) 리소스에 접근할 수 있는 사람과 해당 리소스에 접근할 수 있는 방법을 제한합니다.
보안 구현에 성공하려면 특정 정책이 필요합니다. 키, 인증서 및 암호에 대한 추가 보호를 위해 Oracle Cloud Infrastructure Vault 사용을 고려합니다.네트워킹 서비스는 보안 규칙을 사용하여 패킷 레벨에서 트래픽을 제어하는 두 가지 가상 방화벽 기능인 보안 목록 및 NSG(네트워크 보안 그룹)를 제공합니다. NSG는 단일 VCN에서 선택한 일련의 VNIC에만 적용되는 수신 및 송신 보안 규칙 모음으로 구성됩니다. 예를 들어 VCN 내 다계층 애플리케이션의 웹 계층에서 웹 서버로 작동하는 모든 컴퓨트 인스턴스를 선택할 수 있습니다.
NSG 보안 규칙은 보안 목록 규칙과 동일하게 작동합니다. 그러나 NSG 보안 규칙의 소스 또는 대상에 대해 CIDR 블록 대신 NSG를 지정할 수 있습니다. 따라서 손쉽게 보안 규칙을 작성하여 동일한 VCN의 두 NSG 또는 단일 NSG의 트래픽을 제어할 수 있습니다. 데이터베이스 시스템을 생성할 때 하나 이상의 NSG를 지정할 수 있습니다. 하나 이상의 NSG를 사용하도록 기존 데이터베이스 시스템을 업데이트할 수도 있습니다.
- 컴퓨트
적절한 OCPU 및 메모리 조합으로 구성을 선택하고 각 인스턴스에 대해 필요에 따라 로컬 NVMe 및/또는 블록 스토리지를 프로비저닝합니다. OCPU와 메모리를 결합할 때 유연성이 더 높은 유연한 구성 사용을 고려하십시오.
고려 사항
OCI(Oracle Cloud Infrastructure)에 데이터 레이크하우스를 배포할 때 다음 사항을 고려하십시오.
- 데이터 소스 통합
MySQL의 오브젝트 스토리지 통합을 위해 Oracle Cloud Infrastructure Data Integration을 선택했습니다. 오픈 소스 도구를 사용하려면 Talend가 옵션입니다. 다운로드를 자동화할 수 없으므로 Talend가 이 아키텍처에 포함되지 않았습니다(다운로드하려면 Talend에 등록해야 함).
- 데이터 과학 및 머신 러닝
우리는 오픈 소스 Apache Zeppelin을 데이터 과학 및 데이터 검색을 위한 플랫폼으로 선택했습니다. 또는 고급 데이터 기반 통찰력 및 애플리케이션의 핵심 요소인 Oracle Cloud Infrastructure Data Science를 사용할 수 있습니다. 이를 통해 데이터 과학자에게 자동화된 워크플로우, JupyterLab 노트북 및 수백 개의 오픈 소스 툴에 대한 접근 권한과 모델 구축에 대한 간소화된 접근 방식을 제공할 수 있습니다. 팀이 구조화된 모델을 공유하고 재생성하는 방법과 함께 작업할 수 있도록 지원하는 협업 플랫폼이며 엔터프라이즈급 결과를 달성하는 안전한 방법입니다. 이 플랫폼은 전담 관리되며 최신 기업의 요구사항을 충족합니다.
- 분석 및 보고
이 아키텍처에서 Grafana는 분석 플랫폼으로 선택되었습니다. 애널리틱스 및 보고 요구사항을 포괄적으로 충족할 수 있는 고급 관리 서비스인 Oracle Analytics Cloud 사용을 고려하십시오.
- 인스턴스 가용성 및 확장성
이 예제에서는 고가용성 아키텍처에서 동일한 가용성 도메인 내 서로 다른 장애 도메인에 있는 두 개의 인스턴스를 표시합니다. 고도의 내결함성을 위해 여러 가용성 도메인(사용 가능한 지역 내)에 인스턴스를 배치하도록 선택할 수 있습니다.
더욱 까다롭고 다양한 성능 요구에 맞게 동적으로 조정하는 또 다른 접근 방식은 인스턴스 풀 및 자동 크기 조정을 사용하는 것입니다.
인스턴스 풀을 사용하면 동일한 지역 내에서 동일한 구성을 기반으로 여러 Oracle Cloud Infrastructure Compute 인스턴스를 프로비저닝하고 생성할 수 있습니다.
자동 크기 조정을 사용하면 CPU 활용률과 같은 성능 측정지표를 기반으로 인스턴스 풀의 컴퓨트 인스턴스 수를 자동으로 조정할 수 있습니다. 자동 크기 조정을 사용하면 높은 수요 기간 동안 사용자에게 일관된 성능을 제공하고 낮은 수요 기간 동안 비용을 절감할 수 있습니다.
- 데이터베이스 가용성 및 확장성
고가용성을 위해서는 추가 Oracle MySQL DB 시스템을 대기 복제본으로 배포하는 것이 좋습니다. 복제본을 다른 장애 도메인, 가용성 도메인 또는 영역에 배치할 수 있습니다.
- 데이터베이스 백업
Oracle MySQL Database Service는 두 가지 유형의 백업을 지원합니다. 즉, 데이터베이스 시스템에 포함된 모든 데이터의 전체 백업과 마지막 전체 백업 이후 추가되거나 변경된 데이터의 증분 백업만 지원합니다. 백업은 다음과 같은 방식으로 실행됩니다.
- 수동: API를 통해 수행된 콘솔 또는 요청의 작업이 백업을 시작합니다. 수동 백업은 최소 1일 및 최대 365일 동안 보존할 수 있습니다.
- 자동: 예약된 백업은 선택한 시간에 필요한 상호 작용 없이 자동으로 실행됩니다. 자동 백업은 1~35일 동안 유지됩니다. 기본 보존 값은 7일입니다. 정의된 경우 자동 백업의 보존 기간을 편집할 수 없습니다.
- 파일 저장소
이 예에서는 Oracle Cloud Infrastructure File Storage 서비스를 활용하고 있습니다. 또는 다중 노드 아키텍처에 공유 블록 볼륨을 포함할 수 있습니다. 블록 볼륨을 읽기/쓰기로 여러 인스턴스에 연결할 수 있습니다. 이 경우 Oracle Cluster File System 버전 2(OCFS2)와 같은 클러스터 인식 시스템 또는 솔루션을 설치해야 합니다.
- 보안
Oracle Cloud Guard를 사용하여 OCI의 리소스 보안을 사전에 모니터링하고 유지관리하는 것이 좋습니다. Oracle Cloud Guard는 사용자가 정의할 수 있는 감지기 레시피를 사용하여 보안 약점의 리소스를 검사하고 운영자와 사용자의 위험한 작업을 모니터합니다. 잘못된 구성 또는 비보안 작업이 감지된 경우 Oracle Cloud Guard는 수정 조치를 권장하고 사용자가 정의할 수 있는 응답기 레시피를 기반으로 이러한 작업을 지원합니다. 최대 보안이 필요한 리소스의 경우 Oracle은 보안 영역을 사용할 것을 권장합니다. 보안 영역은 모범 사례를 기반으로 하는 Oracle 정의 보안 정책 레시피와 연관된 구획입니다. 예를 들어, 보안 영역의 리소스는 공용 인터넷에서 액세스할 수 없으며 고객 관리 키를 사용하여 암호화되어야 합니다. 보안 영역에서 리소스를 만들고 업데이트할 때 OCI는 보안 영역 레시피의 정책에 대해 작업을 검증하고 정책을 위반하는 작업을 거부합니다.
- 애플리케이션 개발
Oracle의 로우 코드 개발 플랫폼인 Oracle Application Express(Oracle APEX)는 데이터 레이크하우스 위에 확장 가능하고 안전한 엔터프라이즈 앱을 구축하는 데 사용할 수 있는 툴의 예입니다.
Oracle APEX를 사용하여 개발자는 실제 문제를 해결하고 즉각적인 가치를 제공하는 강력한 앱을 빠르게 개발하고 배포할 수 있습니다. 정교한 솔루션을 제공하기 위해 광범위한 기술의 전문가가 될 필요는 없습니다. 문제 해결에 집중하고 Oracle APEX가 나머지 부분을 처리하도록 합니다. 세계적 수준의 기능을 갖추고 있어 어디서나 배포할 수 있습니다.
배치
이 참조 아키텍처의 Terraform 코드는 GitHub에서 사용할 수 있습니다. 한 번의 클릭으로 코드를 Oracle Cloud Infrastructure Resource Manager로 풀링하고 스택을 생성한 다음 배포할 수 있습니다. 또는 Terraform CLI를 사용하여 GitHub의 코드를 컴퓨터로 다운로드하고 코드를 커스터마이즈한 다음 구조를 배치할 수 있습니다.
- Oracle Cloud Infrastructure Resource Manager의 샘플 스택을 사용하여 배포합니다.
을 누릅니다.아직 사인인하지 않은 경우 테넌시 및 사용자 인증서를 입력합니다.
- 조건 및 조항을 검토하고 수락합니다.
- 스택을 배치할 영역을 선택합니다.
- 화면의 프롬프트와 지침에 따라 스택을 생성합니다.
- 스택을 생성한 후 Terraform 작업을 누르고 계획을 선택합니다.
- 작업이 완료될 때까지 기다린 후 계획을 검토합니다.
내용을 변경하려면 [스택 세부정보] 페이지로 돌아가서 스택 편집을 누르고 필요에 따라 변경합니다. 그런 다음 계획 작업을 다시 실행합니다.
- 추가 변경이 필요하지 않은 경우 스택 세부정보 페이지로 돌아가서 Terraform 작업을 누르고 적용을 선택합니다.
- GitHub에서 Terraform 코드를 사용하여 배포합니다.
- GitHub로 이동하십시오.
- 저장소를 로컬 컴퓨터에 복제하거나 다운로드합니다.
README문서의 지침을 따릅니다.