Documentazione di Oracle Cloud Infrastructure

panoramica

Il servizio Big Data offre un servizio Hadoop as a service di livello Enterprise, con sicurezza end-to-end, prestazioni elevate e facilità di gestione e upgrade.

Big Data Service è un servizio Oracle Cloud Infrastructure progettato per un set diversificato di casi d'uso e carichi di lavoro basati su Big Data. Dai cluster di breve durata utilizzati per affrontare attività specifiche ai cluster di lunga durata che gestiscono grandi data lake, il servizio Big Data si ridimensiona per soddisfare i requisiti di un'organizzazione a basso costo e con i più alti livelli di sicurezza.

Nota

I dati in archivio nei volumi a blocchi utilizzati dal servizio Big Data vengono cifrati per impostazione predefinita.

Il servizio Big Data include:

  • Uno stack Hadoop che include un'installazione di Oracle Distribution che include Apache Hadoop (ODH). ODH include Apache Ambari, Apache Hadoop, Apache HBase, Apache Hive, Apache Spark e altri servizi per l'utilizzo e la protezione dei Big Data.

    Per un elenco dettagliato degli elementi in ODH, vedere Informazioni sulla distribuzione Oracle che include Apache Hadoop (ODH).

  • Funzionalità e risorse di Oracle Cloud Infrastructure, tra cui gestione delle identità, networking, computazione, storage e monitoraggio.
  • API REST per la creazione e la gestione dei cluster.
  • La possibilità di creare cluster di qualsiasi dimensione, basati sulle forme Oracle Cloud Infrastructure native. Ad esempio, è possibile creare cluster di piccole dimensioni e di breve durata in ambienti virtuali flessibili, cluster molto grandi e con tempi di esecuzione lunghi su hardware dedicato o in qualsiasi combinazione tra loro.
  • Cluster HA (Secure, High Availability) facoltativi .
  • Integrazione di Oracle Cloud SQL per l'analisi dei dati nelle aree di memorizzazione Apache Hadoop, Apache Kafka, NoSQL e degli oggetti mediante il linguaggio di query Oracle SQL.
  • Accesso completo per personalizzare gli elementi distribuiti nei cluster Big Data Service.

  • Il servizio Big Data rilascia le patch visibili nella console OCI. Queste patch devono essere applicate per mantenere aggiornati e supportati i cluster di Big Data Service. Per ulteriori dettagli sulla patch della release di Big Data Service, vedere Patching in Big Data Service.

Informazioni sulla distribuzione Oracle che include Apache Hadoop (ODH)

ODH è stato creato da zero e integrato in modo nativo nella piattaforma dati di Oracle. ODH è completamente gestito, con gli stessi componenti Hadoop che conosci e su cui crei oggi. ODH è disponibile nelle versioni ODH 2.x e ODH 1.x.

Per ulteriori informazioni, fare riferimento agli argomenti sotto riportati.

Nota

Apache Hive supporta funzioni per il mascheramento dei dati che possono includere algoritmi deboli. Per un algoritmo di cifratura sicuro è possibile scrivere funzioni personalizzate. Per ulteriori informazioni, vedere il riferimento dell'utente di Apache Hive all'indirizzo: hive/languagemanual+UDF.

Per i dettagli sui componenti inclusi in ogni versione di ODH, vedere Informazioni sulla distribuzione Oracle che include Apache Hadoop (ODH) del servizio Big Data.

Versione delle release e delle patch del servizio Big Data

Big Data Service rilascia aggiornamenti e patch delle funzioni software con cadenza trimestrale. Gli aggiornamenti e le patch delle funzionalità software possono includere uno o più aggiornamenti ODH (Oracle Distribution for Hadoop), tra cui aggiornamenti delle versioni dei componenti e correzioni dei bug, correzioni CVE (Common Vulnerabilities and Exposures), aggiornamenti del sistema operativo (Operating System), aggiornamenti del sistema operativo e correzioni dei bug del sistema operativo.

Per le release più recenti, consultare le note di rilascio di Big Data Service.

Gli utenti di Big Data Service sono supportati se la versione del software Big Data Service è la release N (Big Data Service) più recente o una versione precedente alla release N-1 (Big Data Service) più recente o due versioni precedenti alla release N-2 (Big Data Service) più recente.

La tabella riportata di seguito elenca le release e le versioni delle patch di Big Data Service per ciascuna release.

Release del servizio Big Data Versione ODH Versione JDK Versione sistema operativo Versione Linux
3,1 ODH 2.1.0.22 JDK 1.8.0_431 Sistema operativo 2.1.0 OL8.10
3

ODH 2.0.10.22

JDK 1.8.0_411

Sistema operativo 1.29.0

 OL7.9
3

ODH 2.0.9.41

ODH 1.1.13.21

JDK 1.8.0_411

SISTEMA OPERATIVO 1.28.0

 OL7.9
3

ODH 2.0.8.45

ODH 1.1.12.16

ODH 0.9.10.6

JDK 1.8.0_411

SISTEMA OPERATIVO 1.27.0

 OL7.9
3

ODH 2.0.7.11

ODH 1.1.11.7

ODH 0.9.9.7

JDK 1.8.0_381

SISTEMA OPERATIVO 1.26.0

 OL7.9
3

ODH 2.0.6.5

ODH 1.1.10.4

ODH 0.9.8.3

JDK 1.8.0_381

SISTEMA OPERATIVO 1.25.0

 OL7.9

ODH 2.x basato su Apache Hadoop 3.3.3

Nella tabella seguente sono elencati i componenti inclusi in ODH e le relative versioni.

Componente Versione
Apache Ambari 2,7
Apache Flink 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, YARN, MR) 3,3
Apache HBase 2,4
Apache Hive e dintorni 3,1
Apache Hue 4,1
Apache JupyterHub 2,1
Apache Kafka 3,2
Apache Livy 0,7
Apache Oozie 5,2
Apache Parquet MR 1,1
Apache Ranger e InfrSolr 2.3.0 e 0.1.0
Apache Spark 3,2
Apache Sqoop 1,4
Apache Tez 0,1
Apache Zookeeper 3,7
Kerberos 1,1-15
Utility ODH 1
Registro degli schemi 1
Trino 389
Servizio a valore aggiunto aggiuntivo
ORAAH inclusi

ODH 1.x basato su Apache Hadoop 3.1

Nella tabella seguente sono elencati i componenti inclusi in ODH 1.x e le relative versioni.

Componente Versione
Apache Ambari 2,7
Apache Flink 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, YARN, MR) 3,1
Apache HBase 2,2
Apache Hive e dintorni 3,1
Apache Hue 4,1
Apache JupyterHub 2,1
Apache Kafka 3,2
Apache Livy 0,7
Apache Oozie 5,2
Apache Parquet MR 1,1
Apache Ranger e InfrSolr 2.1.0 e 0.1.0
Apache Spark 3
Apache Sqoop 1,4
Apache Tez 0,1
Apache Zookeeper 3,5
Kerberos 1,1-15
Utility ODH 1
Registro degli schemi 1
Trino 360
Servizio a valore aggiunto aggiuntivo
ORAAH inclusi

Accesso al servizio Big Data

Puoi accedere al servizio Big Data utilizzando la console, l'interfaccia CLI OCI, le API REST o gli SDK.

  • La Console OCI è un'interfaccia basata sul browser facile da usare. Per accedere alla console, è necessario utilizzare un browser supportato.
  • L'interfaccia CLI OCI offre accesso rapido e funzionalità complete senza necessità di programmazione. Utilizzare l'ambiente Cloud Shell per eseguire le interfacce CLI.
  • La documentazione sulle API REST offre la maggior parte delle funzionalità, ma richiede competenze di programmazione. Riferimento API ed endpoint forniscono dettagli sull'endpoint e collegamenti ai documenti di riferimento API disponibili, inclusa l'API del servizio Big Data.
  • OCI fornisce SDK che interagiscono con Big Data Service senza la necessità di creare un framework.

Identificativi risorsa

Le risorse di Big Data Service, come la maggior parte dei tipi di risorse in Oracle Cloud Infrastructure, hanno un identificativo univoco assegnato da Oracle chiamato OCID (Oracle Cloud ID).

Per informazioni sul formato OCID e su altri modi per identificare le risorse, vedere Identificativi risorsa.

Aree e domini di disponibilità

Le aree e i domini di disponibilità indicano l'organizzazione fisica e logica delle risorse del servizio Big Data. Un'area è un'area geografica localizzata, mentre un dominio di disponibilità è costituito da uno o più centri dati situati all'interno di un'area.

Per le informazioni più aggiornate sulle aree in cui sono disponibili Big Data Service, Oracle Cloud SQL e i servizi correlati, consulta la sezione relativa alle aree dati per Oracle Cloud Infrastructure e Platform Services.

Limiti del servizio

Quando ti registri a Oracle Cloud Infrastructure (OCI), viene configurato un set di limiti di servizio per la tua tenancy. Il limite del servizio è la quota o l'accesso impostato per una risorsa. Questi limiti potrebbero essere aumentati automaticamente in base all'uso delle risorse OCI e allo stato dell'account. Scopri i limiti del servizio.

Limiti del servizio predefiniti

Tra i limiti impostati nella tenancy sono inclusi i limiti relativi al numero di nodi cluster Big Data Service che è possibile creare. In particolare, si è limitati a un determinato numero di nodi di una determinata forma.

La tabella riportata di seguito mostra i limiti predefiniti per varie forme cluster. Questi sono i tuoi limiti se non hai fatto altri accordi quando hai acquistato il tuo abbonamento e se non hai già chiesto un aumento.

Risorsa Crediti universali mensili Pay-as-you-go
VM.Standard2.1 12 istanze (12 OCPU) 8 istanze (8 OCPU)
VM.Standard2.2 12 istanze (24 OCPU) 8 istanze (16 OCPU)
VM.Standard2.4 12 istanze (48 OCPU) 8 istanze (32 OCPU)
VM.Standard2.8 8 istanze (64 OCPU) Contattaci
VM.Standard2.16 8 istanze (128 OCPU) Contattaci
VM.Standard2.24 8 istanze (192 OCPU) Contattaci

VM.DenseIO2.8

VM.DenseIO2.16

VM.DenseIO2.24

VM.DenseIO.E4

BMHPC2.36

BM.DenseIO2.52

BM.DenseIO.E4

BM.Optimized3

BM.Standard2.52

BM.Standard3.64

BM.Standard.E4

 Contattaci Contattaci

Unità visualizzate

In pratica, è possibile aumentare il numero di nodi o istanze in un cluster. "Nodi" e "istanze" significano la stessa cosa in questo contesto. I servizi OCI in genere utilizzano il termine "istanza", ma Big Data Service segue la convenzione Hadoop relativa all'uso del termine "nodo".)

Tuttavia, i limiti vengono in genere espressi come numero di OCPU (Oracle Compute Unit). Ogni tipo di forma del nodo del servizio Big Data dispone di un numero impostato di OCPU. Il numero dopo il decimale nel nome della forma del nodo indica il numero di OCPU in un singolo nodo di tale forma. Ad esempio, un nodo VM.Standard2.1 dispone di una OCPU, un nodo VM.Standard2.4 di quattro OCPU e un nodo BM.DenseIO2.52 di 52 OCPU.

Ad esempio, se la sottoscrizione utilizza crediti universali mensili, il limite predefinito per la forma del nodo VM.Standard2.4 è di 48 OCPU, che equivale a 12 nodi. Il calcolo viene eseguito come segue: il limite del servizio di 48 OCPU diviso per 4 OCPU per nodo equivale a 12 nodi.

Quote del servizio

Gli amministratori di Big Data Service possono impostare criteri di quota per applicare restrizioni agli utenti limitando le risorse che possono creare.

Per informazioni su come Oracle Cloud Infrastructure gestisce le quote, vedere Panoramica delle quote del compartimento.

Utilizzare le informazioni riportate di seguito per creare le quote.

Nome servizio:big-data

Quote:
Nome quota Ambito descrizione;
conteggio vm-standard-2-1-ocpu Regionali Numero di OCPU VM.Standard2.1
conteggio vm-standard-2-2-ocpu- Regionali Numero di OCPU VM.Standard2.2
conteggio vm-standard-2-4-ocpu Regionali Numero di OCPU VM.Standard2.4
conteggio vm-standard-2-8-ocpu Regionali Numero di OCPU VM.Standard2.8
conteggio vm-standard-2-16-ocpu Regionali Numero di OCPU VM.Standard2.16
conteggio vm-standard-2-24-ocpu Regionali Numero di OCPU VM.Standard2.24
conteggio vm-dense-io-2-8-ocpu Regionali Numero di OCPU VM.DenseIO2.8
conteggio vm-dense-io-2-16-ocpu Regionali Numero di OCPU VM.DenseIO2.16
conteggio vm-dense-io-2-24-ocpu Regionali Numero di OCPU VM.DenseIO2.24
bm-hpc2-36-ocpu-count Regionali Numero di OCPU BM.HPC2.36
conteggio bm-dense-io-2-52-ocpu Regionali Numero di OCPU BM.DenseIO2.52
conteggio bm-standard-2-52-ocpu Regionali Numero di OCPU BM.Standard2.52

Esempi di criteri quota del servizio Big Data:

  • Limitare a 40 il numero di OCPU VM.Standard2.4 che gli utenti possono allocare ai servizi creati nel compartimento mycompartment.

    Set big-data quota vm-standard-2-4-ocpu-count to 40in Compartment mycompartment

  • Limitare a 20 il numero di OCPU BM.DenseIO2.52 che gli utenti possono allocare ai servizi creati nel compartimento testcompartment.

    Set big-data quota bm-dense-io-2-52-ocpu-count to 20 in Compartment testcompartment

  • Non consentire agli utenti di creare OCPU VM.Standard2.4 nel compartimento examplecompart.

    Zero big-data quota vm-standard-2-4-ocpu-count in Compartment examplecompart

Servizi OCI integrati

Il servizio Big Data è integrato con vari servizi e funzioni OCI.

Cerca

Il servizio Big Data è integrato con OCI Search. La ricerca consente di trovare risorse all'interno di una tenancy e informazioni importanti sui cluster e sugli oggetti di configurazione, ad esempio chiavi API, configurazioni del metastore e configurazioni lake.

Esempi di query di ricerca:

Esempio 1: ricerca di tutte le risorse del servizio Big Data

query bigdataservice resources

Esempio 2: cercare tutti i cluster Big Data Service attivi

query bigdataservice resources where lifecycleState = 'ACTIVE'

Il servizio Big Data è completamente integrato con OCI Search e supporta tipi di risorse specifici.

Tipo di risorsa Campi supportati
BigDataService
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • clusterVersion
  • isHighAvailability
  • isSecure
  • isCloudSqlConfigured
  • clusterDetails
  • nodes
  • numberOfNodes
  • kmsKeyId

Vedere BdsInstance Riferimento.
BigDataServiceApiKey
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • userId
  • bdsId
  • keyAlias

Vedere BdsApiKey Riferimento.
BigDataServiceMetastoreConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • metastoreId
  • metastoreType

Vedere BdsMetastoreConfiguration Riferimento.
BigDataServiceLakehouseConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • lakehouseId
Eventi di servizio

Alcune azioni eseguite sui cluster del servizio Big Data emettono eventi.

È possibile definire regole che attivano un'azione specifica quando si verifica un evento. Ad esempio, è possibile definire una regola che invii una notifica agli amministratori quando qualcuno elimina una risorsa. Vedere Panoramica degli eventi e Guida introduttiva agli eventi.

Nella tabella riportata di seguito sono elencati i tipi di evento Big Data Service.

Nome amichevole Tipo di evento
Crea inizio istanza com.oraclecloud.bds.cp.createinstance.begin
Crea fine istanza com.oraclecloud.bds.cp.createinstance.end
Termina inizio istanza com.oraclecloud.bds.cp.terminateinstance.begin
Termina fine istanza com.oraclecloud.bds.cp.terminateinstance.end
Aggiungi inizio nodo di lavoro com.oraclecloud.bds.cp.addnode.begin
Aggiungi fine nodo di lavoro com.oraclecloud.bds.cp.addnode.end
Aggiungi inizio dello storage a blocchi com.oraclecloud.bds.cp.addblockstorage.begin
Aggiungi fine storage a blocchi com.oraclecloud.bds.cp.addblockstorage.end
Configura avvio Cloud SQL com.oraclecloud.bds.cp.addcloudsql.begin
Configura fine Cloud SQL com.oraclecloud.bds.cp.addcloudsql.end
Disabilita avvio Cloud SQL com.oraclecloud.bds.cp.removecloudsql.begin
Disabilita fine Cloud SQL com.oraclecloud.bds.cp.removecloudsql.end
Inizio certificato servizio ODH disattivabile com.oraclecloud.bds.cp.disableodhservicecertificate.begin
Disabilita fine certificato servizio ODH com.oraclecloud.bds.cp.disableodhservicecertificate.end
Abilita inizio certificato servizio ODH com.oraclecloud.bds.cp.enableodhservicecertificate.begin
Abilita fine certificato servizio ODH com.oraclecloud.bds.cp.enableodhservicecertificate.end
Inizio rinnovo certificato servizio ODH com.oraclecloud.bds.cp.renewodhservicecertificate.begin
Rinnova fine certificato servizio ODH com.oraclecloud.bds.cp.renewodhservicecertificate.end
Richieste di lavoro asincrone

Le operazioni del servizio Big Data riportate di seguito creano richieste di lavoro. È possibile visualizzare queste richieste di lavoro nella pagina dei dettagli di un cluster Big Data Service.

API del servizio Big Data Operazione richiesta di lavorazione Opzioni stato richiesta di lavoro

CreateBdsInstance

UpdateBdsInstance

DeleteBdsInstance

AddBlockStorage

AddWorkerNodes

AddCloudSql

RemoveCloudSql

ChangeBdsInstanceCompartment

ChangeShape

RestartNode

AddAutoScalingConfiguration

UpdateAutoScalingConfiguration,

RemoveAutoScalingConfiguration

CREATE_BDS

UPDATE_BDS

DELETE_BDS

ADD_BLOCK_STORAGE

ADD_WORKER_NODES

ADD_CLOUD_SQL

REMOVE_CLOUD_SQL

CHANGE_COMPARTMENT_FOR_BDS

CHANGE_SHAPE

RESTART_NODE

UPDATE_INFRA

UPDATE_INFRA

UPDATE_INFRA

ACCEPTED

IN_PROGRESS

FAILED

SUCCEEDED

CANCELING

CANCELED

Riferimenti: