Création de ressources de réseau
Avant de créer et d'utiliser des clusters du service de mégadonnées, vous devez créer et configurer un réseau. Le service de réseau pour Oracle Cloud Infrastructure offre un large éventail de fonctionnalités pour établir une topologie de réseautage sécurisée pour votre service de mégadonnées.
Pour obtenir une documentation complète sur le service de réseau d'Oracle Infrastructure, voir Aperçu du service de réseau et les rubriques relatives au réseau suivantes dans la documentation Oracle Cloud Infrastructure. Les sections suivantes traitent des détails sur le réseau propres au service de mégadonnées.
Terminologie
Le terme réseau fait référence à un réseau en nuage virtuel (VCN) ou à un sous-réseau dans un VCN. Lorsque la différence est pertinente, le terme VCN, ou sous-réseau, est utilisé.
L'instance, l'hôte et le noeud sont utilisés de manière interchangeable. Cependant, comme les hôtes qui composent une grappe Hadoop sont appelés noeuds, les noeuds sont utilisés tout au long de cette documentation.
Présentation du réseautage
Dans OCI, un réseau se compose d'au moins un réseau en nuage virtuel (VCN) avec au moins un sous-réseau, ainsi que des cartes d'interface réseau virtuelles (VNIC), des passerelles, des tables de routage, des règles de sécurité et d'autres fonctions de réseau virtuel. Pour un environnement de développement simple, vous pourriez avoir besoin d'un seul VCN avec un seul sous-réseau dans une seule région, éventuellement avec accès à l'Internet public. Pour un environnement de production complexe, vous voudrez peut-être connecter votre VCN à un réseau sur place et vous voudrez peut-être appairer avec d'autres réseaux en nuage virtuels d'autres régions.
Un réseau utilisé pour le service de mégadonnées doit répondre aux exigences générales de tout réseau OCI, comme décrit dans Aperçu du service de réseau et dans les rubriques suivantes sur le réseau dans la documentation OCI. En plus de ces exigences, examinez les informations suivantes propres au service de mégadonnées :
Création et utilisation des sous-réseaux
Les sous-réseaux divisent un VCN en attribuant des intervalles d'adresses IP qui ne chevauchent pas d'autres sous-réseaux du VCN. Considérez ce qui suit lors de la création de votre réseau pour le service de mégadonnées :
Un sous-réseau doit être régional et peut être public :
-
Dans OCI, un sous-réseau peut exister dans un domaine de disponibilité unique ou dans une région entière. Un sous-réseau régional est requis pour le service de mégadonnées. Par conséquent, lorsque vous créez le VCN pour le service de mégadonnées, vous devez lui ajouter au moins un sous-réseau régional.
-
Les noeuds de grappe sont par défaut privés. Si vous prévoyez de rendre votre grappe accessible à partir de l'Internet public, vous devez utiliser un sous-réseau public. Dans ce cas, lorsque vous créez le VCN, le sous-réseau régional que vous créez (voir ci-dessus) doit également être public. Voir Rendre les noeuds accessibles.
Vous précisez le VCN et le sous-réseau à utiliser pour une grappe lorsque vous créez cette dernière. Voir Création d'une grappe.
Rendre les noeuds accessibles
Comme mentionné ci-dessus, les noeuds de grappe sont privés par défaut. Les noeuds sont créés avec des adresses IP privées et tous les ports sont fermés par défaut (à l'exception du port 22, qui est ouvert pour l'accès SSH). Vous devez donc configurer le réseau pour permettre l'accès aux noeuds.
Configuration des règles de sécurité pour les noeuds
Une règle de sécurité permet un type particulier de trafic en entrée ou en sortie d'une carte vNIC (qui relie les noeuds au réseau). Chaque règle de sécurité indique la direction (entrée ou sortie), avec ou sans état, le type de source et la source (pour les règles de trafic entrant), le type de destination et la destination (pour les règles de trafic sortant), le protocole IP, le port source, le port de destination, et le type et le code ICMP.
Pour permettre le trafic réseau vers et depuis un noeud de grappe, vous devez configurer les règles de sécurité du noeud. Effectuez cette opération pour tous les nœuds que vous voulez rendre accessibles, que ce soit à partir de l'Internet public, d'un réseau privé ou des deux.
Voir Définition de règles de sécurité dans cette documentation et Règles de sécurité dans la documentation sur Oracle Cloud Infrastructure.
Rendre les noeuds accessibles à partir d'Internet
- Utilisez un sous-réseau public. Voir Réseaux et sous-réseaux en nuage virtuels dans la documentation sur Oracle Cloud Infrastructure.
- Créer et mapper les adresses IP publiques aux adresses IP privées par défaut des noeuds que vous voulez ouvrir à Internet. Voir Mapper une adresse IP privée à une adresse IP publique .
- Configurez des règles de sécurité pour permettre le trafic à partir d'Internet. Voir Configuration des règles de sécurité pour les noeuds.
Voir aussi Accès à Internet dans la documentation sur OCI.
Réseau client et réseau privé en grappe
Les grappes du service de mégadonnées sont à double interface. Les noeuds de la grappe sont connectés à la fois à un réseau privé en grappe dans la location Oracle et à un réseau client dans la location.
À propos du réseau privé en grappe
Il s'agit d'un réseau en nuage virtuel (VCN) créé dans la location Oracle lorsqu'une grappe est créée. Les caractéristiques de ce réseau sont les suivantes :
- Lorsque vous créez une grappe, vous êtes invité à spécifier un bloc CIDR pour affecter un intervalle d'adresses IP au réseau. Ce bloc CIDR ne peut pas chevaucher celui du réseau privé client.
- Les adresses IP privées des noeuds de grappe sont attribuées à partir du bloc CIDR du sous-réseau privé dans ce VCN.
-
Le réseau est utilisé exclusivement pour la communication privée entre les noeuds de la grappe. Par exemple, le traitement distribué des données, la surveillance des services, etc. Tous les ports sont ouverts par défaut.
- Vous pouvez choisir de déployer une passerelle de service et une passerelle d'adresse réseau sur ce réseau, mais dans ce cas, vous ne pourrez pas y configurer des passerelles, des tables de routage ou des listes de sécurité pour contrôler le trafic réseau vers et depuis votre grappe. Voir Options de passerelle de réseau pour la création d'une grappe, ci-dessous.
À propos du réseau client
Le réseau client se trouve dans la location client. Le VCN doit exister (et doit avoir un sous-réseau régional) pour qu'une grappe soit créée. Les détails sur ce réseau sont :
-
Lorsque vous créez une grappe, vous êtes invité à choisir un VCN et un sous-réseau existants à lui associer.
- Le sous-réseau que vous choisissez pour la grappe doit être un sous-réseau régional. Pour rendre l'un des noeuds accessible au trafic à partir de l'Internet public, vous devez choisir un sous-réseau public. Si vous utilisez un RPV IPSec ou FastConnect pour Oracle Cloud Infrastructure pour vous connecter à votre réseau sur place, vous pouvez utiliser un sous-réseau privé, mais le trafic par l'Internet public ne sera pas autorisé.
- Vous ne pouvez pas configurer de passerelles, de tables de routage ou de listes de sécurité sur ce réseau pour contrôler le trafic réseau vers et depuis votre grappe.
- Dans votre VCN de client, certains ports sont ouverts pour que les composants Hadoop communiquent entre eux. Nous vous recommandons de chiffrer la communication réseau entre ces ports à l'aide d'algorithmes de chiffrement tels que AES 256.
Options de passerelle de réseau pour la création d'une grappe
- Choisissez Déployer la passerelle de service gérée par Oracle et la passerelle NAT (Démarrage rapide) pour déployer une passerelle de service et une passerelle NAT dans le réseau privé en grappe.
- Une passerelle NAT permet aux noeuds sans adresse IP publique d'initier des connexions vers et de recevoir des réponses depuis Internet, mais pas de recevoir des connexions entrantes initiées à partir d'Internet. Voir Passerelle NAT.
- Une passerelle de service permet aux noeuds sans adresse IP publique d'accéder en privé aux services Oracle, sans exposer les données à une passerelle Internet ou à une passerelle NAT. Voir Passerelle de service.
Lorsque vous sélectionnez cette option, vous ne pouvez pas limiter cet accès. Par exemple, en limitant le trafic sortant à quelques intervalles d'adresses IP seulement. Lorsque vous choisissez cette option :
- La passerelle de service et la passerelle NAT sont utilisées pour toutes les opérations décrites ci-dessus, pendant la durée de vie de la grappe. Vous ne pouvez pas modifier cette option après la création de la grappe, et toutes les portes de service ou NAT du réseau sont ignorées.
- Cette passerelle NAT accorde à tous les noeuds du réseau privé en grappe un accès sortant complet à l'Internet public.
- Vous ne pouvez pas restreindre davantage le trafic qui est dirigé vers la passerelle NAT ou de service. Par exemple, vous ne pouvez pas rediriger le trafic vers ou depuis des adresses IP spécifiques.
-
Choisissez Utiliser les passerelles du réseau en nuage virtuel du client sélectionné (Personnalisable) pour utiliser une passerelle de service et une passerelle NAT dans votre réseau client.
Lorsque vous choisissez cette option :
- Vous détenez un contrôle total sur le routage du trafic réseau vers et depuis votre grappe.
-
Vous devez créer et configurer vous-même les passerelles. Voir Passerelle de service.
Si vous créez votre réseau à l'aide de l'un des assistants de création de réseau de la console, certaines passerelles sont créées pour vous, mais il vous faudra les configurer en fonction de vos besoins. Voir Démarrage rapide du réseau virtuel.
- Vous devez créer et configurer des règles de sécurité pour limiter le trafic sur les passerelles.
- Vous pouvez modifier la configuration à tout moment.
- Si vous mappez les adresses IP privées des noeuds de grappe à des adresses IP publiques, aucune passerelle NAT n'est nécessaire. Voir Mapper une adresse IP privée à une adresse IP publique.