Acerca de las Ventajas del Despliegue de Hadoop en Oracle Cloud Infrastructure

Si tiene un despliegue local de Hadoop, puede considerar la posibilidad de migrarlo o ampliarlo con la nube. Está buscando enfoques que pueden aprovechar la naturaleza dinámica de la nube para mejorar la agilidad de su negocio y aumentar el precio frente a la eficacia de rendimiento. Al trasladarse a la nube, puede aprovechar la elasticidad para pagar solo por los recursos que utilice, obtener interoperabilidad entre los estándares y el software de código abierto y mejorar el rendimiento de almacenamiento con los datos que siempre se ejecutan en el hardware más reciente más rápido. Esta solución presenta el enfoque recomendado por Oracle para desplegar Hadoop en Oracle Cloud Infrastructure describiendo las preocupaciones de implantación de claves, los requisitos técnicos y los desafíos empresariales existentes que se deben tratar como parte de una migración o extensión. Además, resume los servicios en la nube de soporte, integraciones de terceros y prácticas de despliegue que se pueden alinear mejor con su entorno de aplicación y sus requisitos. Proporciona arquitecturas de referencia en varios casos de uso que han sido validados por despliegues correctos anteriores y proporciona plantillas para desplegar Hadoop mediante Cloudera, Hortonworks, MapR y Apache.

Propuesta de valor

La mayoría de los despliegues locales de Hadoop se pueden migrar para ejecutarse en Oracle Cloud Infrastructure sin necesidad de una configuración, integración o cambios de proceso significativos. La implementación resultante será más flexible y más fiable, mejorar y tener un costo menor que en los despliegues locales u otros en la nube.

Hadoop se beneficia de la naturaleza dinámica de IaaS en la nube, mejorada por la vinculación de datos (aprovechando varias capas de almacenamiento en la nube). Esto proporciona una solución más sólida y rentable que permite a los clientes ajustar sus requisitos informáticos para satisfacer las demandas de carga de trabajo con densidad de almacenamiento flexible para HDFS.

Oracle tiene una solución validada para cumplir estos objetivos, rápida y confiable. Esta solución incluye procedimientos, compatibilidad con servicios de plataforma Oracle Cloud Infrastructure y arquitecturas de referencia. Se deben tener en cuenta las necesidades de producción reales, como la seguridad, la configuración de red, la alta disponibilidad (HA), la recuperación ante desastres (DR), la integración de identidades y la gestión de costos.

La solución de Oracle proporciona:

• 37% menos costo total de propiedad (TCO) que en despliegues locales y un 68% inferior de TCO que competir con soluciones en la nube
• Gestión y reducción de CAPEX, garantizando que los centros de datos que mantiene sean eficientes, a la vez que elimina el hardware del servidor y aprovechan la flexibilidad de la nube cuando sea posible.
• Refrescamiento y aplicación de parches de tecnología en el lugar rápido
• Supervisión proactiva de uso y costos
• Reducir o reducir verticalmente para manejar el crecimiento del negocio o las subdivisiones de carga de trabajo
• Gestión de identidades federadas con los sistemas existentes
• Despliegue rápido que aprovecha las plantillas de Terraform para desplegar un cluster de Hadoop en minutos en lugar de días
• Rendimiento extremo de memoria no volátil express (NVMe): sistema de archivos distribuidos de Hadoop (HDFS)

Coste total del análisis de propiedad

Además de las ventajas de ser sencillas para migrar, fácil de gestionar y más flexibles a escala, la ejecución de Hadoop en Oracle Cloud Infrastructure es más barato que la ejecución en un sistema local o en otro sistema en la nube.

El costo total estimado de propiedad de esta solución puede ser un 37% menos que el de Hadoop en ejecución en entorno local y un 68% menos que el que se ejecuta en otra nube, según:

• Asumiendo dos entornos: Uno para producción y otro para desarrollo y prueba
• Ventajas significativas de los costos de Oraclepara volúmenes en bloque y almacenamiento en la base de datos
• Suponiendo 21 nodos para Hadoop, 3 para los servicios de Hadoop, 2 para el gestor de Cloudera activo/de copia de seguridad, 3 para el acceso perimitador, 500 TB de almacenamiento de objetos y 7.25 TB para volúmenes de bloques
• Comparado con dos entornos locales con 58 servidores con 8 a 52 núcleos, de 64 a 768 GB de memoria, almacenamiento NAS de 2.2 PB y copias de seguridad de 500 GB
• Comparado con los recursos disponibles similares de las nubes que no son de Oracle

Infraestructura y Herramientas Únicas

Oracle ofrece una infraestructura y herramientas ideales para alojar Hadoop.

Las unidades densas con hardware dedicado ofrecen el mejor rendimiento para las cargas de trabajo de Hadoop, con alta densidad de memoria y con almacenamiento rápido de NVMe para HDFS. Los volúmenes en bloque se pueden utilizar para aumentar el almacenamiento local, de modo que pueda lograr los destinos de almacenamiento HDFS sin ampliar el ancho de los nodos de trabajo. Uno de los problemas más grandes para muchos despliegues de Hadoop es que los requisitos de almacenamiento, normalmente, se escalan mucho más rápido que los requisitos de carga de trabajo, y la naturaleza estática de los despliegues de hardware físico puede provocar que los recursos informáticos estén inactivos. Además, las instancias con hardware dedicado tienen interfaces de red de 25-Gbps dobles, que controlan la comunicación entre clusters de alta velocidad, baja latencia. Combine todo esto con despliegues de alta disponibilidad en dominios con fallos, y tendrá una solución de Hadoop basada en la nube sólida, ampliable y con el rendimiento.

Experiencias de éxito de los clientes

Un cliente del sector de servicios financieros elige Oracle Cloud Infrastructure para migrar su cluster local de Hadoop. Su despliegue sirve como un ejemplo real útil de un despliegue Hadoop basado en Oracle Cloud Infrastructure y las ventajas que ofrece a los clientes.

Esta migración incluye el traslado de todos los datos de producción, las fuentes de datos y la infraestructura de aplicaciones adicional. El entorno de Hadoop incluye hosts de DenseIO Intel con hardware dedicado, que aprovechan NVMe local para Hadoop. El cliente ha podido “tamaño correcto” a su entorno después de evaluar inicialmente un ratio de servidor 1: 1. A continuación, se han podido reducir la huella para conseguir un destino de memoria específico (para HBase y Spark) porque el despliegue de Oracle Cloud Infrastructure tenía tres veces la memoria del despliegue local con el mismo recuento de nodos.

Al pasar a Oracle Cloud Infrastructure, el cliente puede lograr los siguientes objetivos:

• Aumentar rendimiento
• Reducción del costo
• Disminuir el tiempo de aprovisionamiento de los recursos, de 120 días, a unas pocas horas
• Mejore la capacidad de escalar para satisfacer la demanda en minutos, en comparación con las semanas o los meses

El siguiente diagrama representa el despliegue de producción del cliente en Oracle Cloud Infrastructure:

Descripción de la ilustración Architecture e-customer-reference.png

El despliegue tiene la siguiente configuración:

• 21 Trabajadores con hardware dedicado de BM.DenseIO2.52 para Hadoop (1-PB raw NVMeE para HDFS)
• 3 Nodos maestros de VM.Standard2.24 para servicios de Hadoop
• 2 Nodos de la utilidad VM.Standard2.16 para Active/Backup Cloudera Manager
• 3 VM de borde de VM.Standard2.8 para acceso a perímetro
• 500 TB de almacenamiento de objetos para datos en frío
• 7.25 TB de volúmenes en bloque para aumentar el sistema operativo para logs, parcelas y datos de aplicación

Soluciones validadas que abordan sus requisitos de negocio

Cloudera, Hortonworks y MapR están validados, proveedores de software independientes (ISV) compatibles con Hadoop en Oracle Cloud Infrastructure. Los detalles de cada uno de estos productos se incluyen en esta solución.

Puesto que Oracle Cloud Infrastructure se ha creado para los patrones de uso de las aplicaciones de producción de empresa, los despliegues de Hadoop existentes se pueden mover fácilmente a Oracle Cloud Infrastructure y, incluso, mejorar en. Oracle proporciona patrones arquitectónicos que cumplen todos sus requisitos de red, conectividad, rendimiento, HA, DR y varias regiones. De hecho, la mayoría de los clientes buscan que el rendimiento de Hadoop en Oracle Cloud Infrastructure excede el rendimiento de sus despliegues locales.

Oracle también ha desarrollado plantillas de Terraform para un rápido despliegue y configuración de Hadoop en Oracle Cloud Infrastructure. Estas plantillas reducen la complejidad y el tiempo para aprovisionar Hadoop en Oracle Cloud Infrastructure, lo que da como resultado marcos que los clientes pueden personalizar y aprovechar para optimizar las migraciones y despliegues de Hadoop.