1. 了解有关在 Oracle Cloud Infrastructure 上部署 Hadoop 的信息
  2. 关于在 Oracle Cloud Infrastructure 上部署 Hadoop 的优势

关于在Oracle Cloud Infrastructure上部署 Hadoop 的优势

如果您有内部部署 Hadoop，则可能要考虑将其移植或扩展到云。您寻求可以利用云动态性质的方法来提高业务的敏捷性，并提高价格与性能效率。通过移动到云，您可以利用弹性仅为所使用的资源付费，获得与开源标准和软件的互操作性，并且提高您的存储性能，使数据始终在最新的最快硬件上运行。此解决方案通过描述在迁移或扩展过程中需要解决的关键实施问题、技术要求和现有业务难题，提供了 Oracle 建议的将 Hadoop 部署到Oracle Cloud Infrastructure 的方法。此外，它汇总了支持云服务、第三方集成和部署实践，最好与应用环境和需求保持一致。它在以前成功部署验证过的多个用例中提供了参考体系结构，并提供了使用 Cloudera、Hortonworks、MapR 和 Apache 部署 Hadoop 的模板。

价值诉求

多数内部部署 Hadoop 部署都可以迁移到Oracle Cloud Infrastructure 中，无需进行大量配置、集成或流程更改。所产生的实施方式比内部部署或其他云部署更为灵活且更可靠，可以实现更好的成本和更低的成本。

从云 IaaS 动态性质获得 Hadoop 的好处，可通过数据分层（利用多个云存储层）进行增强。这提供了更强大且经济高效的解决方案，使客户可以通过它们的计算需求来满足 HDFS 的灵活存储密度的工作负荷需求。

Oracle 提供了经过验证的解决方案，可以快速且可靠地完成这些目标。此解决方案包括过程、支持Oracle Cloud Infrastructure 平台服务和引用体系结构。这些考虑实际的生产需求，例如安全性、网络配置、高可用性(HA)、灾难恢复(DR)、身份集成和成本管理。

Oracle 解决方案提供：

  • 比内部部署和 68% 低于竞争云解决方案的总拥有成本(TCO) 37% 较低
  • CAPEX 管理和整理，确保您维持的数据中心的效率高，同时消除服务器硬件并尽可能地利用云的灵活性
  • 快速原地技术刷新和打补丁
  • 主动监视使用情况和成本
  • 接近可向上或向下扩展以处理业务增长或工作量突发
  • 与现有系统进行联合身份管理
  • 快速部署利用 Terraform 模板，在几分钟内部署 Hadoop 集群而不是一天
  • 极致性能的非易失性内存快速(NVMe)基于 Hadoop 分布式文件系统(HDFS)

所有权总成本分析

除了下面这样的优点之外，在Oracle Cloud Infrastructure 上运行 Hadoop 的方式比在内部部署或其他云系统中运行它更加容易管理、更灵活。

该解决方案的总所有权成本可以比在前台运行 Hadoop 和 68% 低于另一云中运行的 Hadoop，具体取决于：

  • 假定两个环境：一个用于生产，一个用于开发和测试
  • Oracle 对块存储卷和数据库存储的重大成本优势
  • 为 Hadoop 提供 21 个节点 , 3 个用于 Hadoop 服务 , 2 个用于活动/备份 Cloudera 管理器 , 3 个用于访问 , 500 TB 对象存储 , 7.25 TB 用于块存储卷
  • 与具有 58 个服务器（包含 8 个到 52 个核心）的两个内部部署环境进行比较，64 到 775 GB 内存，2.2 PB NAS 存储和 500 GB 备份
  • 与来自竞争非 Oracle 云的相似可用资源进行比较

唯一基础结构和工具

Oracle 为托管 Hadoop 提供了理想的基础结构和工具。

裸金属密集形状为 Hadoop 负载提供了最佳性能，内存密度较高，并且为 HDFS 提供了适用的快速本地 NVMe 存储。块存储卷可用于扩充本地存储，因此您无需在 Worker 节点数量缩放即可实现 HDFS 存储目标。许多 Hadoop 部署的问题之一是存储要求通常比工作量要求更快，物理硬件部署的静态性质可能会导致空闲计算资源。此外，裸金属实例还具有双 25-Gbps 网络接口，该接口驱动器高速低延迟和集群内通信。将所有这与高可用性部署相结合，包括容错域以及具有强大、可扩展、性能强大的基于云的 Hadoop 解决方案。

宣传客户成功

财务服务行业客户选择Oracle Cloud Infrastructure 来迁移其内部部署 Hadoop 集群。它们的部署充当基于Oracle Cloud Infrastructure Hadoop 部署的真实实示例，以及为客户提供的优势。

此迁移包括移动所有生产数据、数据馈送以及其他应用程序基础结构。Hadoop 环境包含裸金属 DenseIO Intel 主机，该主机利用本地 NVMe for Hadoop。在最初调整 1: 1 服务器比率的大小后，客户可以“恰当大小”其环境。然后，这些页面可以缩小占用空间以达到特定的内存目标（对于 HBase 和 Spark），因为Oracle Cloud Infrastructure 部署的内存具有相同节点计数的内存的三倍。

通过移动到Oracle Cloud Infrastructure，客户可以实现以下目标：

  • 提高性能
  • 降低成本
  • 请将资源的预配时间从 120 天减少到仅几小时
  • 与周或月相比，提高满足需求的能力（分钟）

下图展示了Oracle Cloud Infrastructure中的客户正式版部署：


后面是体系结构客户参考的说明
插图 archie-customer-reference.png 的说明

部署具有以下配置：

  • Hadoop 的 21 BM.DenseIO2.52 裸金属员工（HDFS 的 1-PB 原始 NVMeE）
  • 3 VM.Standard2.24 主节点- Hadoop 服务
  • 2 VM.Standard2.16 实用程序用于活动/备份 Cloudera 管理器的节点
  • 3 VM.Standard2.8 边缘 vm 用于边界访问
  • 冷数据的 500 TB 对象存储
  • 7.25 TB 块存储卷，用于为日志、地块和应用程序数据扩充 OS

解决业务要求的已验证解决方案

Cloudera、Hortonworks 和 MapR 是经过验证的，支持在Oracle Cloud Infrastructure上使用 Hadoop 无关软件供应商(Independent software Vendor, ISVs)。此解决方案中包含了每个这些产品的详细信息。

由于Oracle Cloud Infrastructure 是为企业生产应用程序的使用模式构建的，因此可以轻松移动现有 Hadoop 部署，甚至可以在Oracle Cloud Infrastructure中改进。Oracle 提供了符合您的所有联网、连接、性能、HA、DR 和多区域要求的体系结构模式。实际上，大多数客户都会发现 Hadoop 在Oracle Cloud Infrastructure 中的性能超过了其内部部署的性能。

Oracle 还开发了 Terraform 模板，用于在Oracle Cloud Infrastructure上快速部署和配置 Hadoop。这些模板减少了在Oracle Cloud Infrastructure上预配 Hadoop 的复杂性和时间，从而导致客户可以定制和利用框架来简化 Hadoop 迁移或部署。