關於在Oracle Cloud Infrastructure上部署 Hadoop 的優點

如果您有內部部署 Hadoop 部署項目，您可能會將它視為是要將它移轉或延伸至雲端。您正在尋求的方法，可以利用雲端的動態性質來加強業務的靈活性，並提高價格 vs。效能。移至雲端，您可以利用靈活性，只支援您所使用的資源、利用開放原始碼標準和軟體的互通性，以及讓資料一律以最新的硬體執行而改善儲存體效能。此解決方案提供 Oracle 建議的方法，將 Hadoop 建置到Oracle Cloud Infrastructure，方法為描述在移轉或擴充時需要處理的主要實行方面、技術需求以及現有的業務挑戰。此外，它還會彙總支援的雲端服務、第三方整合及部署實務，以符合您的應用程式環境和需求。它提供數個由先前成功部署所驗證之使用案例的參照架構，並提供使用 Cloudera、Hortonworks、MapR 以及 Apache 來部署 Hadoop 的樣板。

值層

大部分的內部部署 Hadoop 部署都可移轉至Oracle Cloud Infrastructure 上執行，而不需要重大的組態、整合或處理作業變更。產生的實行會比內部部署或其他雲端部署更具彈性與更穩定性、執行效能較佳且成本比較低。

由資料分層 (運用多層雲端儲存體) 強化雲端 IaaS 動態性質的 Hadoop 優勢。這樣可提供更完善且符合成本效益的解決方案，讓客戶根據工作負載需求調整其運算需求，以符合 HDFS 彈性的儲存密度。

Oracle 有經過驗證的解決方案，可快速且可靠地完成這些目標。此解決方案包括程序、支援Oracle Cloud Infrastructure 平台服務和參照架構。這些考量實際環境執行需求，例如安全、網路組態、高可用性 (HA)、災害復原 (DR)、識別整合及成本管理。

Oracle 的解決方案提供：

• 37%低於企業內部部署的所有權總成本 (TCO) 與 68%低於競爭雲端解決方案
• CAPEX 管理與減少，確保您所保持的資料中心都有效率，同時排除伺服器硬體，並盡可能利用雲端彈性。
• 快速就地技術重新整理與修正
• 主動監控使用量和成本
• 無條件捨去擴展或無條件捨去，處理業務成長或工作負載媒體
• 與您現有的系統聯合識別管理
• 快速部署運用 Terraform 範本，部署 Hadoop 叢集的時間 (單位為分鐘，而非日)
• 非插補記憶體表達 (NVMe) 回溯 Hadoop 分散式檔案系統 (HDFS) 極度效能

所有權總成本分析

除了在內部部署或另一個雲端系統中執行 Hadoop 之外，在Oracle Cloud Infrastructure 上執行 Hadoop 相當廣泛的效益之外，不過更容易進行移轉、管理且更有彈性。

此解決方案所有權的預估總成本可以是 37%小於內部部署執行的 Hadoop，而 68%小於在另一個雲端執行，根據：

• 假設有兩個環境：一個用於實際執行環境，一個用於開發與測試的環境
• Oracle 對「區塊磁碟區」和「資料庫」儲存體的成本極佳
• 假設 Hadoop 有 21 個節點、3 (針對 Hadoop 服務)、2 (作用中/備份 Cloudera 管理程式)、3 (用於分隔存取)、500 TB 物件儲存體，以及7.25 TB (針對區塊磁碟區)
• 與具有 8 至 52 個核心之 58 伺服器的內部部署環境相比，64 至 768 GB 記憶體、2.2 PB NAS 儲存體以及 500 GB 備份
• 與非 Oracle 雲端競爭者的可用資源相比

唯一的基礎架構和工具

Oracle 提供代管 Hadoop 的理想基礎架構和工具。

裸機密集型態提供 Hadoop 工作負載的最佳效能，包含大量記憶體密度和 HDFS 快速本機 NVMe 儲存體。區塊磁碟區可用來擴大本機儲存體，因此您不需要擴展工作節點數目，即可達到 HDFS 儲存體目標。許多 Hadoop 建置的問題之一是儲存體需求通常會比工作負載需求更快，而實體硬體建置的靜態性質可能會導致閒置的運算資源。此外，裸機執行處理具有雙 25-Gbps 網路介面，它會以高速、低延遲、內部叢集通訊。將此服務與不同容錯域的高可用性部署結合在一起，而且您具有健全且可擴展的雲端 Hadoop 解決方案。

初始化客戶成功

金融服務業界客戶選擇Oracle Cloud Infrastructure 來移轉其內部部署 Hadoop 叢集。它們的建置作為Oracle Cloud Infrastructure式 Hadoop 建置的實際範例，以及提供給客戶的優點。

此移轉包含移動所有生產環境資料、資料饋送以及其他應用程式基礎架構。Hadoop 環境包含裸機 DenseIO Intel 主機，可利用 Hadoop 的本機 NVMe。客戶在一開始調整 1：1 伺服器比率之後，能夠調整其環境的大小。然後，他們可以縮小佈局以命中特定的記憶體目標 (針對 HBase 和 Spark)，因為Oracle Cloud Infrastructure 部署在具有相同節點計數的內部部署上有三倍的記憶體。

移至已啟用Oracle Cloud Infrastructure 的客戶，以達成下列目標：

• 提高效能
• 降低成本
• 將資源的佈建時間減少至數小時
• 與週或月數作比較，提升擴展以符合需求的能力 (分鐘)

下列圖表顯示 Oracle Cloud Infrastructure 中客戶的生產環境部署：

Tecture-customers reference.png 圖解描述

部署具有下列組態：

• 21 BM.DenseIO2.52 裸機工作者 for Hadoop (1-PB 原始 NVMeE for HDFS)
• Hadoop 服務的 3 VM.Standard2.24 主要節點
• Active/Backup Cloudera Manager 的 2 VM.Standard2.16 公用程式節點
• 3 VM.Standard2.8 邊緣 vm 對周邊存取
• 冷資料的 500 TB 物件儲存空間
• 7.25 TB 的區塊磁碟區可擴大作業系統的日誌、宗地和應用程式資料

已驗證-處理您業務需求的解決方案

Cloudera、Hortonworks 以及 MapR 都會驗證Oracle Cloud Infrastructure上支援的 Hadoop 獨立軟體廠商 (ISVs)。這些產品的詳細資訊都包含在此解決方案中。

由於Oracle Cloud Infrastructure 是為企業生產環境應用程式的使用模式而建置的，因此即使在Oracle Cloud Infrastructure內也能輕鬆地移動現有的 Hadoop 建置。Oracle 提供符合您所有網路、連線、效能、HA、DR 和多區域需求的架構模式。事實上，大多數客戶會找到Oracle Cloud Infrastructure 上的 Hadoop 效能超過其內部部署項目的效能。

Oracle 也已開發 Terraform 樣板，以快速部署和設定Oracle Cloud Infrastructure上的 Hadoop。這些樣板可縮短在Oracle Cloud Infrastructure上佈建 Hadoop 的複雜性及時間，產生的架構可讓客戶自訂和利用將 Hadoop 移轉或部署更簡化。