Documentation Oracle Cloud Infrastructure

Aperçu

Big Data Service offre une solution Hadoop en tant que service adaptée aux entreprises, combinant sécurité de bout en bout, performances élevées, et facilité de gestion et de mise à niveau.

Big Data Service est un service Oracle Cloud Infrastructure conçu pour un ensemble divers de cas d'emploi et de charges globales Big Data. Des clusters à courte durée de vie utilisés afin de traiter des tâches spécifiques aux clusters à longue durée de vie gérant de grands lacs de données, Big Data Service s'adapte aux besoins des organisations, pour un faible coût et avec des niveaux de sécurité maximaux.

Remarque

Les données au repos dans les volumes de blocs utilisées par le service Big Data Service sont cryptées par défaut.

Big Data Service comprend les éléments suivants :

  • Pile Hadoop incluant l'installation de la distribution Oracle avec Apache Hadoop (ODH). ODH inclut Apache Ambari, Apache Hadoop, Apache HBase, Apache Hive, Apache Spark ainsi que d'autres services pour l'utilisation et la sécurisation du Big Data.

    Pour obtenir la liste détaillée des éléments compris dans ODH, reportez-vous à A propos de la distribution Oracle avec Apache Hadoop (ODH).

  • Les fonctionnalités et les ressources d'Oracle Cloud Infrastructure, notamment la gestion des identités, les fonctions de réseau, le calcul, le stockage et la surveillance.
  • Une API REST pour la création et la gestion des clusters.
  • La possibilité de créer des clusters de n'importe quelle taille, en fonction des formes Oracle Cloud Infrastructure natives. Par exemple, vous pouvez créer de petits clusters à courte durée de vie dans des environnements virtuels flexibles, de très grands clusters à longue durée d'exécution sur du matériel dédié ou n'importe quelle combinaison entre les deux.
  • Des cluster sécurisés et haute disponibilité facultatifs.
  • L'intégration Oracle Cloud SQL, pour l'analyse des données dans Apache Hadoop, Apache Kafka, NoSQL et les banques d'objets à l'aide du langage de requête SQL Oracle.
  • Un accès complet pour personnaliser les éléments déployés sur vos clusters Big Data Service.

  • Big Data Service publie des mises à jour visibles dans la console OCI. Ces mises à jour doivent être appliquées pour que vos clusters Big Data Service restent à jour et pris en charge. Pour plus d'informations sur la mise à jour de la version de Big Data Service, reportez-vous à Mise à jour des clusters Big Data Service.

A propos de la distribution Oracle avec Apache Hadoop (ODH)

ODH est intégré de façon native à la plate-forme de données Oracle. ODH est entièrement géré et intègre les composants Hadoop que vous connaissez et utilisez déjà. ODH est disponible sous les versions ODH 2.x et ODH 1.x.

Pour plus d'informations, reportez-vous à :

Remarque

Apache Hive prend en charge les fonctions de masquage des données qui peuvent inclure des algorithmes faibles. Pour un algorithme de chiffrement fort, des fonctions personnalisées peuvent être écrites. Pour plus d'informations, reportez-vous à la référence UDF Apache Hive à l'adresse : hive/languagemanual+UDF.

Pour plus d'informations sur les composants inclus dans chaque version d'ODH, reportez-vous à A propos de la distribution Oracle avec Apache Hadoop (ODH) dans Big Data Service.

Versions de mise à jour et de version de Big Data Service

Big Data Service publie des mises à jour trimestrielles des fonctionnalités logicielles. Les mises à jour de fonctionnalités logicielles peuvent inclure une ou plusieurs mises à jour ODH (Oracle Distribution for Hadoop), y compris les mises à jour de version de composant et les correctifs de bugs, les correctifs CVE (Common Vulnerabilities and Exposures), les mises à jour de système d'exploitation, les mises à niveau de système d'exploitation et les correctifs de bugs d'O/S.

Pour obtenir les dernières versions, reportez-vous aux notes de version de Big Data Service.

Les utilisateurs Big Data Service sont pris en charge si leur version du logiciel Big Data Service est la dernière version de Big Data Service (N), ou une version antérieure à la dernière version de Big Data Service (N-1) ou deux versions antérieures à la dernière version de Big Data Service (N-2).

Le tableau suivant répertorie les versions de Big Data Service et de mise à jour pour chaque version.

Version de Big Data Service Version ODH Version JDK Version du système d'exploitation Version de Linux
3,1 ODH 2.2.0.31 JDK 1.8.0_451 VERSION 2.2.0 D'OS OL8.10
3,1 ODH 2.1.0.22 JDK 1.8.0_431 SYSTÈME D'EXPLOITATION 2.1.0 OL8.10,
3

ODH 2.0.10.22

JDK 1.8.0_411

SYSTÈME D'EXPLOITATION 1.29.0

 OL7.9
3

ODH 2.0.9.41

ODH 1.1.13.21

JDK 1.8.0_411

SYSTÈME D'EXPLOITATION 1.28.0

 OL7.9
3

ODH 2.0.8.45

ODH 1.1.12.16

ODH 0.9.10.6

JDK 1.8.0_411

SYSTÈME D'EXPLOITATION 1.27.0

 OL7.9
3

ODH 2.0.7.11

ODH 1.1.11.7

ODH 0.9.9.7

JDK 1.8.0_381

SYSTÈME D'EXPLOITATION 1.26.0

 OL7.9
3

ODH 2.0.6.5

ODH 1.1.10.4

ODH 0.9.8.3

JDK 1.8.0_381

SYSTÈME D'EXPLOITATION 1.25.0

 OL7.9

ODH 2.2.x basé sur Apache Hadoop 3.4.1

Le tableau suivant répertorie les composants inclus dans ODH ainsi que les versions correspondantes.

Composant Version
Apache Ambari 2.7.5
Apache Flink 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, YARN, MR) 3,4
Apache HBase 2,4
Apache Hive 3,1
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5,2
Apache Parquet MR 1.10
Apache Ranger1 et InfrSolr 2.5.0 et 0.1.0
Apache Spark2 3,2
Apache Sqoop 1.4.7
Apache Tez 0,1
Apache Zookeeper 3,8
Kerberos 1,1-15
Utilitaires ODH 1
Registre de schémas 1
Trino 389
Service à valeur ajoutée supplémentaire
ORAAH inclus

1 Ranger 2.5.0 ne permet pas aux utilisateurs d'importer des stratégies avec des utilisateurs qui ne sont pas disponibles dans le système et qui échouent à l'import de stratégie. Pour plus d'informations, reportez-vous à la section Ranger Import and Export Configurations.

2 Si vous exécutez des travaux Spark, vous devez appliquer le patch ARU et relancer les applications Spark avant d'appliquer le patch ODH 2.2.0.

ODH 2.x Basé sur Apache Hadoop 3.3.3

Le tableau suivant répertorie les composants inclus dans ODH et les versions correspondantes.

Composant Version
Apache Ambari 2.7.5
Apache Flink 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, YARN, MR) 3,3
Apache HBase 2,4
Apache Hive 3,1
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5,2
Apache Parquet MR 1.10
Apache Ranger et Infra Solr 2.3.0 et 0.1.0
Apache Spark 3,2
Apache Sqoop 1.4.7
Apache Tez 0,1
Apache Zookeeper 3,7
Kerberos 1,1-15
Utilitaires ODH 1
Registre de schémas 1
Trino 389
Service à valeur ajoutée supplémentaire
ORAAH inclus

ODH 1.x basé sur Apache Hadoop 3.1

Le tableau suivant répertorie les composants inclus dans ODH 1.x ainsi que les versions correspondantes.

Composant Version
Apache Ambari 2.7.5
Clignotement Apache 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, YARN, MR) 3.1.2
Apache HBase 2.2.6
Apache Hive 3.1.2
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5.2.0
Apache Parquet MR 1.10
Apache Ranger et Infra Solr 2.1.0 et 0.1.0
Apache Spark 3.0.2
Apache Sqoop 1.4.7
Apache Tez 0.10.0
Apache Zookeeper 3.5.9
Kerberos 1,1-15
Utilitaires ODH 1
Registre de schémas 1
Trino 360
Service à valeur ajoutée supplémentaire
ORAAH inclus

Accès à Big Data Service

Vous pouvez accéder à Big Data Service à l'aide de la console, de l'interface de ligne de commande OCI, des API REST ou des kits SDK.

  • La console OCI est une interface conviviale qui repose sur un navigateur. Pour accéder à la console, vous devez utiliser un navigateur pris en charge.
  • L'interface de ligne de commande OCI offre un accès rapide et des fonctionnalités complètes sans avoir besoin de programmation. Utilisez l'environnement Cloud Shell pour exécuter vos interfaces de ligne de commande.
  • La documentation sur l'API REST fournit le plus de fonctionnalités, mais nécessite une expertise en programmation. La page Adresses et référence d'API fournit des détails sur les adresses et des liens vers les documents de référence d'API disponible, y compris l'API REST Big Data.
  • OCI fournit des kits SDK qui interagissent avec Big Data Service sans avoir à créer de structure.

Identificateurs de ressource

Les ressources Big Data Service, comme la plupart des types de ressource dans Oracle Cloud Infrastructure, ont un identificateur unique affecté par Oracle appelé ID Oracle Cloud (OCID).

Pour plus d'informations sur le format OCID et les autres moyens d'identifier vos ressources, reportez-vous à Identificateurs de ressource.

Régions et domaines de disponibilité

Les régions et domaines de disponibilité indiquent l'organisation physique et logique des ressources Big Data Service. Une région est une zone géographique précise, tandis qu'un domaine de disponibilité désigne des centres de données situés dans une région.

Afin d'obtenir les dernières informations concernant les régions dans lesquelles Big Data Service, Oracle Cloud SQL et les services associés sont disponibles, reportez-vous à Régions de données pour les services de plate-forme et d'infrastructure Oracle Cloud.

Limites de service

Lors de l'inscription à Oracle Cloud Infrastructure (OCI), un ensemble de limites de service est configuré pour la location. La limite de service est l'allocation ou le quota défini sur une ressource. Ces limites peuvent être augmentées automatiquement en fonction de votre utilisation des ressources OCI et de votre compte. Reportez-vous à Limites de service.

Limites de service par défaut

Parmi les limites définies pour votre location figurent celles concernant le nombre de noeuds de cluster Big Data Service que vous pouvez créer. Plus précisément, vous êtes limité à un certain nombre de noeuds d'une forme donnée.

Le tableau suivant présente les limites par défaut relatives aux diverses formes de cluster. Ces limites s'appliquent si vous n'avez pas pris d'autres dispositions lors de l'achat de l'abonnement et si vous n'avez pas déjà demandé une augmentation.

Ressource Crédit universel mensuel Pay-as-you-go (paiement à l'utilisation)
VM.Standard2.1 12 instances (12 OCPU) 8 instances (8 OCPU)
VM.Standard2.2 12 instances (24 OCPU) 8 instances (16 OCPU)
VM.Standard2.4 12 instances (48 OCPU) 8 instances (32 OCPU)
VM.Standard2.8 8 instances (64 OCPU) Nous contacter
VM.Standard2.16 8 instances (128 OCPU) Nous contacter
VM.Standard2.24 8 instances (192 OCPU) Nous contacter

VM.DenseIO2.8

VM.DenseIO2.16

VM.DenseIO2.24

VM.DenseIO.E4

BM.HPC2.36

BM.DenseIO2.52

BM.DenseIO.E4

BM.Optimized3

BM.Standard2.52

BM.Standard3.64

BM.Standard.E4

 Nous contacter Nous contacter

Unités affichées

Dans la pratique, vous augmentez le nombre de noeuds (ou d'instances) d'un cluster. (Les termes "noeuds" et "instances" ont le même sens dans ce contexte. Les services OCI utilisent généralement "instance", mais Big Data Service suit la convention Hadoop et emploie "noeud".)

Toutefois, les limites sont généralement exprimées en nombre d'unités de calcul Oracle (OCPU). Chaque type de forme de noeud Big Data Service est associé à un nombre défini d'OCPU. Le nombre après le séparateur décimal dans le nom de la forme de noeud indique le nombre d'OCPU par noeud de cette forme. Par exemple, un noeud VM.Standard2.1 comporte une OCPU, un noeud VM.Standard2.4 en comporte quatre et un noeud BM.DenseIO2.52 en comporte 52.

Par exemple, si votre abonnement utilise des crédits universels mensuels, la limite par défaut pour la forme de noeud VM.Standard2.4 est 48 OCPU, soit 12 noeuds. Le calcul est le suivant : limite de service de 48 OCPU/4 OCPU par noeud = 12 noeuds.

Quotas de service

Les administrateurs Big Data Service peuvent définir des stratégies de quota pour imposer des restrictions aux utilisateurs en limitant les ressources qu'ils peuvent créer.

Pour plus d'informations sur la façon dont Oracle Cloud Infrastructure gère les quotas, reportez-vous à Présentation des quotas de compartiment.

Utilisez les informations suivantes pour créer des quotas :

Nom du service :big-data

Quotas :
Nom du quota Portée Description
vm-standard-2-1-ocpu-count Régionale Nombre d'OCPU VM.Standard2.1
vm-standard-2-2-ocpu-count Régionale Nombre d'OCPU VM.Standard2.2
vm-standard-2-4-ocpu-count Régionale Nombre d'OCPU VM.Standard2.4
vm-standard-2-8-ocpu-count Régionale Nombre d'OCPU VM.Standard2.8
vm-standard-2-16-ocpu-count Régionale Nombre d'OCPU VM.Standard2.16
vm-standard-2-24-ocpu-count Régionale Nombre d'OCPU VM.Standard2.24
vm-dense-io-2-8-ocpu-count Régionale Nombre d'OCPU VM.DenseIO2.8
vm-dense-io-2-16-ocpu-count Régionale Nombre d'OCPU VM.DenseIO2.16
vm-dense-io-2-24-ocpu-count Régionale Nombre d'OCPU VM.DenseIO2.24
bm-hpc2-36-ocpu-count Régionale Nombre d'OCPU BM.HPC2.36
bm-dense-io-2-52-ocpu-count Régionale Nombre d'OCPU BM.DenseIO2.52
bm-standard-2-52-ocpu-count Régionale Nombre d'OCPU BM.Standard2.52

Exemples de stratégie de quota Big Data Service :

  • Limiter à 40 le nombre d'OCPU VM.Standard2.4 que les utilisateurs peuvent allouer aux services qu'ils créent dans le compartiment mycompartment.

    Set big-data quota vm-standard-2-4-ocpu-count to 40in Compartment mycompartment

  • Limiter à 20 le nombre d'OCPU BM.DenseIO2.52 que les utilisateurs peuvent allouer aux services qu'ils créent dans le compartiment testcompartment.

    Set big-data quota bm-dense-io-2-52-ocpu-count to 20 in Compartment testcompartment

  • Ne pas autoriser les utilisateurs à créer des OCPU VM.Standard2.4 dans le compartiment examplecompart.

    Zero big-data quota vm-standard-2-4-ocpu-count in Compartment examplecompart

Services OCI intégrés

Big Data Service est intégré à différents services et fonctionnalités OCI.

Rechercher

Big Data Service est intégré à OCI Search. La recherche vous permet de trouver des ressources dans une location et des informations importantes sur les clusters et les objets de configuration, telles que les clés d'API, les configurations de metastore et les configurations de lac.

Exemples de requêtes de recherche :

Exemple 1 : recherche de toutes les ressources Big Data Service

query bigdataservice resources

Exemple 2 : recherche de tous les clusters Big Data Service actifs

query bigdataservice resources where lifecycleState = 'ACTIVE'

Big Data Service est entièrement intégré à OCI Search et prend en charge des types de ressource spécifiques.

Type de ressource Champs pris en charge
BigDataService
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • clusterVersion
  • isHighAvailability
  • isSecure
  • isCloudSqlConfigured
  • clusterDetails
  • nodes
  • numberOfNodes
  • kmsKeyId

Reportez-vous à BdsInstance Référence.
BigDataServiceApiKey
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • userId
  • bdsId
  • keyAlias

Reportez-vous à BdsApiKey Référence.
BigDataServiceMetastoreConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • metastoreId
  • metastoreType

Reportez-vous à BdsMetastoreConfiguration Référence.
BigDataServiceLakehouseConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • lakehouseId
Evénements de service

Certaines actions effectuées sur les clusters Big Data Service émettent des événements.

Vous pouvez définir des règles qui déclenchent une action spécifique lorsqu'un événement se produit. Par exemple, vous pouvez définir une règle qui envoie une notification aux administrateurs lorsqu'un utilisateur supprime une ressource. Reportez-vous à Présentation d'Events et à Introduction à Events.

Le tableau suivant répertorie les types d'événement Big Data Service.

Nom convivial Type d'événement
Début de création d'instance com.oraclecloud.bds.cp.createinstance.begin
Fin de création d'instance com.oraclecloud.bds.cp.createinstance.end
Début de terminaison d'instance com.oraclecloud.bds.cp.terminateinstance.begin
Fin de terminaison d'instance com.oraclecloud.bds.cp.terminateinstance.end
Début d'ajout de noeud de processus actif com.oraclecloud.bds.cp.addnode.begin
Fin d'ajout de noeud de processus actif com.oraclecloud.bds.cp.addnode.end
Début d'ajout de stockage de blocs com.oraclecloud.bds.cp.addblockstorage.begin
Fin d'ajout de stockage de blocs com.oraclecloud.bds.cp.addblockstorage.end
Début de configuration de Cloud SQL com.oraclecloud.bds.cp.addcloudsql.begin
Fin de configuration de Cloud SQL com.oraclecloud.bds.cp.addcloudsql.end
Début de désactivation de Cloud SQL com.oraclecloud.bds.cp.removecloudsql.begin
Fin de désactivation de Cloud SQL com.oraclecloud.bds.cp.removecloudsql.end
Début de la désactivation du certificat de service ODH com.oraclecloud.bds.cp.disableodhservicecertificate.begin
Fin de la désactivation du certificat de service ODH com.oraclecloud.bds.cp.disableodhservicecertificate.end
Début de l'activation du certificat de service ODH com.oraclecloud.bds.cp.enableodhservicecertificate.begin
Activer la fin du certificat de service ODH com.oraclecloud.bds.cp.enableodhservicecertificate.end
Début de renouvellement du certificat de service ODH com.oraclecloud.bds.cp.renewodhservicecertificate.begin
Fin du renouvellement du certificat de service ODH com.oraclecloud.bds.cp.renewodhservicecertificate.end
Demandes de travail asynchrones

Les opérations Big Data Service suivantes créent des demandes de travail. Vous pouvez consulter ces demandes de travail sur la page de détails d'un cluster Big Data Service.

API Big Data Service Opération de demande de travail Options de statut de demande de travail

CreateBdsInstance

UpdateBdsInstance

DeleteBdsInstance

AddBlockStorage

AddWorkerNodes

AddCloudSql

RemoveCloudSql

ChangeBdsInstanceCompartment

ChangeShape

RestartNode

AddAutoScalingConfiguration

UpdateAutoScalingConfiguration

RemoveAutoScalingConfiguration

CREATE_BDS

UPDATE_BDS

DELETE_BDS

ADD_BLOCK_STORAGE

ADD_WORKER_NODES

ADD_CLOUD_SQL

REMOVE_CLOUD_SQL

CHANGE_COMPARTMENT_FOR_BDS

CHANGE_SHAPE

RESTART_NODE

UPDATE_INFRA

UPDATE_INFRA

UPDATE_INFRA

ACCEPTED

IN_PROGRESS

FAILED

SUCCEEDED

CANCELING

CANCELED

Références :