A propos des avantages du déploiement de Hadoop sur Oracle Cloud Infrastructure

Si vous disposez d'un déploiement sur site de Hadoop, vous pouvez envisager de le migrer ou de l'étendre avec le cloud. Vous cherchez des approches susceptibles de tirer parti de la nature dynamique du cloud pour améliorer l'agilité de votre entreprise et accroître votre prix par rapport à l'efficacité des performances. En passant au cloud, vous pouvez profiter de l'élasticité pour payer uniquement les ressources que vous utilisez, obtenir une interopérabilité avec des logiciels et des normes open source et améliorer vos performances de stockage avec vos données qui s'exécutent toujours sur le matériel le plus récent et le plus rapide. Cette solution présente l'approche recommandée par Oracle pour le déploiement de Hadoop vers Oracle Cloud Infrastructure. Elle décrit les principaux problèmes d'implémentation, les exigences techniques et les défis commerciaux existants à résoudre dans le cadre d'une migration ou d'une extension. De plus, elle récapitule les services cloud d'assistance, les intégrations tierces et les pratiques de déploiement qui peuvent vous aligner au mieux avec votre environnement d'application et vos exigences. Il fournit des architectures de référence dans plusieurs cas d'utilisation qui ont été validés par des déploiements réussis avant et fournit des modèles pour le déploiement de Hadoop à l'aide de Cloudera, Hortonworks, MapR et Apache.

Proposition de valeur

La plupart des déploiements Hadoop sur site peuvent être migrés pour être exécutés sur Oracle Cloud Infrastructure sans qu'une configuration, une intégration ou un processus important ne soit nécessaire. L'implémentation résultante sera plus flexible et plus fiable, améliorera et dépenser moins que les déploiements on-premise ou autres.

Hadoop profite de la nature dynamique de cloud IaaS, améliorée par le regroupement des données (s'appuyant sur plusieurs niveaux de stockage cloud). Cette solution est plus puissante et rentable qui permet aux clients de régler leurs exigences de calcul pour répondre aux demandes de charge globale avec une densité de stockage flexible pour HDFS.

Oracle dispose d'une solution validée pour atteindre ces objectifs, rapidement et de manière fiable. Cette solution inclut des procédures, la prise en charge des services de plate-forme Oracle Cloud Infrastructure et des architectures de référence. Ceux-ci tiennent compte des besoins réels de production, comme la sécurité, la configuration réseau, la haute disponibilité (HA), la récupération après sinistre, l'intégration des identités et la gestion des coûts.

La solution Oracle fournit :

• 37% inférieur au coût total de possession (TCO) par rapport aux déploiements on-premise et 68% réduit le coût total total de possession que les solutions cloud concurrents
• Gestion des CAPEX et réduction, garantissant ainsi l'efficacité des centres de données tout en éliminant le matériel du serveur et en tirant parti de la flexibilité du cloud dans la mesure du possible.
• Régénération et application de patches avec réutilisation de la mémoire rapides
• Surveillance proactive de l'utilisation et des coûts
• Augmentation ou diminution proche pour gérer la croissance des activités ou les répartitions de la charge de travail
• Gestion globale des identités avec vos systèmes existants
• Déploiement rapide qui utilise des modèles Terraform pour déployer un cluster Hadoop en quelques minutes au lieu de jours
• Extreme Performance of non-volatile memory express (NVMe)-backed Hadoop Distributed File System (HDFS)

Analyse du coût de possession total

Grâce aux avantages d'une migration directe, plus facile à gérer et plus flexible à l'échelle, l'exécution de Hadoop sur Oracle Cloud Infrastructure s'avère très rapide que l'exécution sur site ou dans un autre système cloud.

Le coût total estimé de possession de cette solution peut être inférieur de 37% à l'exécution de Hadoop sur site et de 68% à l'exécution sur un autre cloud, en fonction des éléments suivants :

• Supposons deux environnements : un pour la production et un autre pour le développement et les tests
• Oracleprésente d'importantes avantages en matière de volumes de blocs et de stockage de base de données
• Prise en compte de 21 noeuds pour Hadoop, 3 pour les services Hadoop, 2 pour le gestionnaire Cloudera actif/de sauvegarde, 3 pour l'accès des périmiteurs, 500 To de stockage d'objets et 7.25 To pour les volumes de blocs
• Comparé à deux environnements on-premise avec 58 serveurs avec 8 à 52 coeurs, 64 à 768 Go de mémoire, stockage NAS 2.2 Po et 500 Go de sauvegardes
• Comparé aux ressources disponibles similaires des clouds nonOracle concurrents

Infrastructure et outils uniques

Oracle offre une infrastructure et des outils idéaux pour héberger Hadoop.

Les formes denses Bare Metal offrent les meilleures performances pour les charges de travail Hadoop, avec une densité de mémoire élevée et un stockage NVMe local rapide pour HDFS. Les volumes de blocs peuvent être utilisés pour augmenter le stockage local, de sorte que vous puissiez atteindre vos cibles de stockage HDFS sans mettre à l'échelle le nombre de noeuds de travail. L'un des problèmes plus importants pour de nombreux déploiements Hadoop est que les exigences de stockage sont généralement plus précises que les exigences de charge de travail et la nature statique des déploiements de matériel physique peut entraîner des ressources de calcul inactives. En outre, les instances Bare Metal disposent d'interfaces réseau 25Gb/s doubles, qui permettent une communication haut débit, faible latence et intracluster. Combinez tous ces déploiements avec une haute disponibilité dans tous les domaines de pannes, et vous disposez d'une solution Hadoop puissante et évolutive basée sur le cloud.

Preuve : nos clients témoignent

Un client de l'industrie des services financiers a choisi Oracle Cloud Infrastructure pour migrer son cluster Hadoop sur site. Leur déploiement est un exemple réel utile de déploiement Hadoop basé sur Oracle Cloud Infrastructure et les avantages qu'il offre aux clients.

Cette migration comprend le déplacement de l'ensemble des données de production, des flux de données et de l'infrastructure d'application supplémentaire. L'environnement Hadoop inclut des hôtes DenseIO Intel Bare Metal qui exploitent un service NVMe local pour Hadoop. Le client a pu réduire sa taille à l'environnement après avoir redimensionné initialement un ratio serveur 1 : 1. Elle a ensuite pu réduire la structure de base pour atteindre une cible de mémoire spécifique (pour HBase et Spark) car le déploiement Oracle Cloud Infrastructure avait trois fois la mémoire de son déploiement on-premise avec le même nombre de noeuds.

Déplacer vers Oracle Cloud Infrastructure a activé le client pour atteindre les objectifs suivants :

• Augmenter les performances
• Réduire les coûts
• Diminuer le temps de provisionnement des ressources de 120 jours à quelques heures
• Améliorer la capacité de répondre aux besoins en minutes, par rapport aux semaines ou aux mois

Le diagramme suivant représente le déploiement de production du client dans Oracle Cloud Infrastructure :

Description de l'illustration Architect - reference.png

Le déploiement comporte la configuration suivante :

• 21 Employés Bare Metal BM.DenseIO2.52 pour Hadoop (1-PB raw NVMeE pour HDFS)
• 3 noeuds maîtres VM.Standard2.24 pour les services Hadoop
• 2 noeuds d'utilitaire VM.Standard2.16 pour Active/Backup Cloudera Manager
• 3 machines virtuelles à bord VM.Standard2.8 pour l'accès au périmètre
• 500 To de stockage d'objets pour les données froides
• 7.25 To de volumes de blocs afin d'améliorer le système d'exploitation pour les journaux, les parcelles et les données d'application

Solutions validées pour répondre aux exigences de votre entreprise

Cloudera, Hortonworks et MapR sont validés, les fournisseurs de logiciels indépendants Hadoop pris en charge (ISV) sur Oracle Cloud Infrastructure. Les détails de chacun de ces produits sont inclus dans cette solution.

Comme Oracle Cloud Infrastructure a été conçu pour des modèles d'utilisation des applications de production d'entreprise, les déploiements Hadoop existants peuvent être facilement déplacés vers et même améliorés dans Oracle Cloud Infrastructure. Oracle fournit des modèles d'architecture qui répondent à toutes vos exigences en matière de mise en réseau, de connectivité, de performances, de haute disponibilité, de récupération après sinistre et à plusieurs régions. En fait, la plupart des clients constatent que les performances de Hadoop sur Oracle Cloud Infrastructure dépassent celles de leurs déploiements sur site.

Oracle a également développé les modèles Terraform pour un déploiement et une configuration rapides de Hadoop sur Oracle Cloud Infrastructure. Ces modèles réduisent la complexité et le temps nécessaire pour provisionner Hadoop sur Oracle Cloud Infrastructure, ce qui entraîne des structures que les clients peuvent personnaliser et utiliser pour simplifier les migrations ou déploiements Hadoop.