Oracle Cloud Infrastructure 상의 Hadoop 배치의 이점 정보
값 제안
대부분의 온-프레미스 Hadoop 배포는 중요한 구성, 통합 또는 프로세스 변경 없이 Oracle Cloud Infrastructure 에서 실행되도록 마이그레이션할 수 있습니다. 결과 구현은 유연성이 뛰어나고 안정성이 뛰어나며 온프레미스 또는 기타 클라우드 배포보다 비용이 절감됩니다.
Hadoop는 클라우드 IaaS의 동적인 특성을 활용하여 데이터 계층으로 개선되었습니다(클라우드 스토리지의 여러 계층 활용). 이 솔루션은 고객이 HDFS에 대한 유연한 스토리지 밀도를 갖춘 워크로드 요구사항을 충족하도록 컴퓨트 요구사항을 조정할 수 있게 해 주는 보다 강력하고 경제적인 솔루션을 제공합니다.
Oracle는 이러한 목표를 빠르고 안정적으로 달성하기 위해 검증된 솔루션을 제공합니다. 이 솔루션에는 프로시저, 지원 Oracle Cloud Infrastructure 플랫폼 서비스 및 참조 구조가 포함됩니다. 보안, 네트워크 구성, HA(고가용성), DR(재해 복구), id 통합 및 비용 관리와 같은 실제 운용 요구를 고려합니다.
Oracle의 솔루션은 다음과 같은 기능을 제공합니다.
- 37% 미달 총 소유 비용(TCO) 이 온프레미스 배포보다 낮고 경쟁 클라우드 솔루션보다 68% 낮은 TCO
- CAPEX 관리 및 감소를 통해 유지 관리하는 데이터 센터가 효율적이고 서버 하드웨어를 제거하며 가능한 한 클라우드 유연성을 활용할 수 있습니다.
- 신속한 인플레이스(In-place) 기술 새로고침 및 패치 적용
- 사용량 및 비용을 사전에 모니터링합니다.
- 비즈니스 성장이나 워크로드 버스트를 처리하기 위해 세밀한 스케일링 또는 다운
- 기존 시스템과 통합 Id 관리
- Terraform 템플리트를 활용하여 Hadoop 클러스터를 며칠 대신 몇 분 내에 배치하는 신속한 배포
- 비휘발성 메모리 Express(NVMe) 기반 HDFS(Hadoop Distributed File System) 의 극한 성능
총 소유 비용 분석
Oracle Cloud Infrastructure 에서 Hadoop를 실행하는 것이 온프레미스로 또는 다른 클라우드 시스템에서 실행되는 것보다 더 편리하게 마이그레이션하기 위해 단순하고 관리하기 쉽고 유연성을 갖추고 있습니다.
이 솔루션의 예상 총 소유 비용은 다음을 기반으로 한 Hadoop의 온-프레미스 실행보다 37% 미만이고 다른 클라우드에서 68% 미만일 수 있습니다.
- 개발 및 테스트용으로 각각 하나씩, 두 개의 환경 가정
- 블록 볼륨 및 데이터베이스 저장 영역에 대한 Oracle의 중요한 비용 이점
- Hadoop에 대한 21노드, Hadoop 서비스의 경우 3, 활성/백업 Cloudera 관리자의 경우 2, 더 제한적인 액세스를 위해 3, 오브젝트 스토리지의 경우 500TB, 블록 볼륨의 경우 7.25TB
- 8 ~ 52개 코어가 포함된 58서버, 64 ~ 768Gb 메모리, 2.2 PB NAS 스토리지 및 500gb 백업이 있는 온-프레미스 환경 2개와 비교됨
- 비 Oracle 클라우드의 경쟁에서 사용할 수 있는 유사한 리소스와 비교됨
고유 기반 구조 및 툴
Oracle는 Hadoop을 호스트하기 위한 이상적인 인프라 및 툴을 제공합니다.
베어메탈 조밀한 모양은 HDFS용 대용량 로컬 NVMe 스토리지를 갖춘 Hadoop 워크로드에 최상의 성능을 제공합니다. 블록 볼륨을 사용하여 로컬 스토리지를 확장할 수 있으므로 작업자 노드 수에 비례하여 HDFS 스토리지 대상을 달성할 수 있습니다. 여러 Hadoop 배치에 대한 보다 큰 문제 중 하나는 스토리지 요구 사항이 일반적으로 작업 부하 요구 사항보다 훨씬 더 빠르게 확장되고, 물리적 하드웨어 배치의 정적 특성으로 인해 컴퓨트 리소스가 유휴 상태일 수 있다는 것입니다. 또한 베어메탈 인스턴스에는 고속, 낮은 대기 시간, 클러스터 간 통신을 유도하는 이중 25GB 네트워크 인터페이스가 있습니다. 결함 도메인 전반의 고가용성 배포와 결합되며, 강력하고 확장 가능하며 가장 우수한 클라우드 기반 Hadoop 솔루션을 제공합니다.
검증된 고객 성공 사례
재무 서비스 업종 고객이 온프레미스 Hadoop 클러스터를 마이그레이션하도록 Oracle Cloud Infrastructure 를 선택했습니다. 이러한 배치는 Oracle Cloud Infrastructure 기반 Hadoop 배치와 고객에게 제공하는 이점에 대한 유용한 실제 예제로 사용됩니다.
이 마이그레이션에는 모든 운용 데이터, 데이터 피드 및 추가 애플리케이션 기반 구조 이동이 포함됩니다. Hadoop 환경에는 Hadoop 용 로컬 NVMe을 활용하는 베어메탈 DenseIO Intel 호스트가 포함되어 있습니다. 고객은 처음에 1: 1서버 크기 조정 후 해당 환경을 “오른쪽 크기” 로 설정할 수 있었습니다. 그런 다음 Oracle Cloud Infrastructure 배치에서 온-프레미스 배치의 메모리에 동일한 노드 수가 3배 걸리므로 특정 메모리 대상(HBase 및 Spark 용) 을 적중하기 위해 풋 프린트를 줄일 수 있었습니다.
Oracle Cloud Infrastructure 로 이전하면 고객이 다음 목표를 달성할 수 있습니다.
- 성능 향상
- 비용 절감
- 리소스에 대한 프로비전 시간을 120일 동안 몇 시간으로 줄임
- 몇 주 또는 몇 개월과 비교하여 수요를 충족하도록 확장할 수 있는 기능 향상
다음 다이어그램은 Oracle Cloud Infrastructure 에서 고객의 생산 배포를 나타냅니다.
그림 architecture e-customer-reference.png에 대한 설명
배치에는 다음과 같은 구성이 있습니다.
- 21 Hadoop 용 BM.DenseIO2.52 베어메탈 작업자(HDFS용 1pb 원시 NVMeE)
- 3 Hadoop 서비스에 대한 VM.Standard2.24 마스터 노드
- 활성/백업 Cloudera Manager에 대한 VM.Standard2.16 유틸리티 노드 2개
- 3경계 액세스를 위한 VM.Standard2.8 에지 vm
- 콜드 데이터에 대한 오브젝트 스토리지의 500Tb
- 7.25Tb의 블록 볼륨으로 로그, 구획 및 응용 프로그램 데이터에 대한 OS 증대
비즈니스 요구사항을 충족하는 검증된 솔루션
Cloudera, Hortonworks 및 MapR는 Oracle Cloud Infrastructure 에서 지원되는 ISV(Hadoop Independent Software vendors) 를 검증합니다. 이러한 각 제품에 대한 세부정보가 이 솔루션에 포함되어 있습니다.
Oracle Cloud Infrastructure 는 엔터프라이즈 운영 애플리케이션의 사용 패턴에 맞게 구축되었으므로 Oracle Cloud Infrastructure를 통해 기존 Hadoop 배포를 쉽게 옮길 수 있습니다. Oracle는 네트워킹, 연결, 성능, HA, DR 및 다중 영역 요구 사항을 모두 충족하는 아키텍처 패턴을 제공합니다. 실제로 대부분의 고객은 Oracle Cloud Infrastructure 의 Hadoop 성능이 온-프레미스 배치의 성능을 초과합니다.
Oracle는 또한 Oracle Cloud Infrastructure 에서 Hadoop의 빠른 배치 및 구성을 위해 Terraform 템플리트를 개발했습니다. 이러한 템플리트를 사용하면 Oracle Cloud Infrastructure 에서 Hadoop를 프로비저닝하는 복잡성과 시간이 줄어들므로 고객이 Hadoop 마이그레이션 또는 배포를 간소화하기 위해 프레임워크를 사용자정의하고 이용할 수 있습니다.