Documentación de Oracle Cloud Infrastructure

Descripción

Big Data Service proporciona Hadoop como servicio de nivel empresarial, con seguridad integral, alto rendimiento, facilidad de gestión y capacidad de actualización.

Big Data Service es un servicio de Oracle Cloud Infrastructure diseñado para un juego variado de cargas de trabajo y casos de uso de big data. Desde clusters de corta duración que se utilizan para abordar tareas específicas hasta clusters de larga duración que gestionan grandes lagos de datos, Big Data Service se puede escalar para satisfacer los requisitos de las organizaciones por un bajo costo y con los más altos niveles de seguridad.

Nota

Los datos estáticos de volúmenes en bloque que utiliza el servicio Big Data Service se cifran por defecto.

Big Data Service incluye:

  • Una pila de Hadoop que incluya una instalación de Oracle Distribution con Apache Hadoop (ODH). ODH incluye Apache Ambari, Apache Hadoop, Apache HBase, Apache Hive, Apache Spark y otros servicios para trabajar con big data y proteger esta información.

    Para obtener una lista detallada de ODH, consulte Acerca de Oracle Distribution con Apache Hadoop (ODH).

  • Funciones y recursos de Oracle Cloud Infrastructure, entre los que se incluyen la gestión de identidades, las redes, los recursos informáticos, el almacenamiento y la supervisión.
  • Una API de REST para crear y gestionar clusters.
  • La capacidad de crear clusters de cualquier tamaño, basados en unidades de computación nativas de Oracle Cloud Infrastructure. Por ejemplo, puede crear clusters pequeños de corta duración en entornos virtuales flexibles, clusters muy grandes y de larga duración en hardware dedicado o cualquier combinación entre ambas opciones.
  • Clusters seguros y de alta disponibilidad (HA) opcionales.
  • Integración de Oracle Cloud SQL, para analizar datos en Apache Hadoop, Apache Kafka, NoSQL y almacenes de objetos con el lenguaje de consulta de Oracle SQL.
  • Acceso completo para personalizar lo que se despliega en los clusters de Big Data Service.

  • Big Data Service publica actualizaciones que son visibles en la consola de OCI. Estas actualizaciones se deben aplicar para mantener los clusters de Big Data Service actualizados y soportados. Consulte Actualización de clusters de Big Data Service para obtener más información sobre la actualización de la versión de Big Data Service.

Acerca de Oracle Distribution con Apache Hadoop (ODH)

ODH se crea desde cero, integrado de forma nativa en la plataforma de datos de Oracle. ODH está totalmente gestionado, con los mismos componentes de Hadoop que conoce y en los que se basa en la actualidad. ODH está disponible como versiones ODH 2.x y ODH 1.x.

Para obtener más información, consulte:

Nota

Apache Hive admite funciones para el enmascaramiento de datos, que pueden incluir algoritmos débiles. Para un algoritmo de cifrado sólido, se pueden escribir funciones personalizadas. Para obtener más información, consulte la referencia a los UDF de Apache Hive en: hive/languagemanual+UDF.

Consulte Big Data Service Acerca de Oracle Distribution con Apache Hadoop (ODH) para obtener detalles de los componentes incluidos en cada versión de ODH.

Versiones de actualización y versión de Big Data Service

Big Data Service lanza actualizaciones de funciones de software con una cadencia trimestral. Las actualizaciones de funciones de software pueden incluir una o más actualizaciones de ODH (Oracle Distribution for Hadoop), incluidas actualizaciones de versiones de componentes y correcciones de errores, correcciones de CVE (Vulnerabilidades y exposiciones comunes), actualizaciones de SO (sistema operativo), actualizaciones de SO y correcciones de bugs de SO.

Para conocer las últimas versiones, consulte las notas de la versión de Big Data Service.

Los usuarios de Big Data Service están soportados si su versión de software de Big Data Service es la última versión de Big Data Service (N), una versión anterior a la última versión de Big Data Service (N-1) o dos versiones anteriores a la última versión de Big Data Service (N-2).

En la siguiente tabla, se muestran las versiones de actualización y versión de Big Data Service para cada versión.

Versión de Big Data Service Versión de ODH Versión JDK Versión del Sistema Operativo Versión de Linux
3,1 ODH 2.2.0.31 JDK 1.8.0_451 OPERATIVO 2.2.0 OL8.10
3,1 ODH 2.1.0.22 JDK 1.8.0_431 SISTEMA OPERATIVO 2.1.0 OL8.10
3

ODH 2.0.10.22

JDK 1.8.0_411

SISTEMA OPERATIVO 1.29.0

 OL7.9
3

ODH 2.0.9.41

ODH 1.1.13.21

JDK 1.8.0_411

SISTEMA OPERATIVO 1.28.0

 OL7.9
3

ODH 2.0.8.45

ODH 1.1.12.16

ODH 0.9.10.6

JDK 1.8.0_411

1.27.0

 OL7.9
3

ODH 2.0.7.11

ODH 1.1.11.7

ODH 0.9.9.7

JDK 1.8.0_381

SISTEMA OPERATIVO 1.26.0

 OL7.9
3

ODH 2.0.6.5

ODH 1.1.10.4

ODH 0.9.8.3

JDK 1.8.0_381

1.25.0

 OL7.9

ODH 2.2.x Basado en Apache Hadoop 3.4.1

En la siguiente tabla se muestran los componentes incluidos en ODH y sus versiones.

Componente Versión
Apache Ambari 2.7.5
Apache Flink 1,15
Flume de Apache 1,1
Apache Hadoop (HDFS, YARN, MR) 3,4
Apache HBase 2,4
Apache Hive 3,1
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5,2
Apache Parquet MR 1.10
Apache Ranger1 e InfrSolr 2.5.0 y 0.1.0
Apache Spark2 3,2
Apache Sqoop 1.4.7
Apache Tez 0,1
Apache Zookeeper 3,8
Kerberos 1,1-15
Utilidades de ODH 1
Registro de esquema 1
Trino 389
Servicio adicional de valor añadido
ORAAH incluido

1 El guardabosques 2.5.0 no permite a los usuarios importar políticas con usuarios que no están disponibles como parte del sistema y no pueden importar la política. Para obtener más información, consulte Configuraciones de importación y exportación de mánager.

2 Si ejecuta trabajos de Spark, debe aplicar el parche de ARU y volver a iniciar las aplicaciones de Spark antes de aplicar el parche de ODH 2.2.0.

ODH 2.x Basado en Apache Hadoop 3.3.3

En el siguiente cuadro se muestran los componentes incluidos en ODH y sus versiones.

Componente Versión
Apache Ambari 2.7.5
Apache Flink 1,15
Flume de Apache 1,1
Apache Hadoop (HDFS, YARN, MR) 3,3
Apache HBase 2,4
Apache Hive 3,1
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5,2
Apache Parquet MR 1.10
Apache Ranger e InfrSolr 2.3.3.0 y 0.1.0
Apache Spark 3,2
Apache Sqoop 1.4.7
Apache Tez 0,1
Apache Zookeeper 3,7
Kerberos 1,1-15
Utilidades de ODH 1
Registro de esquema 1
Trino 389
Servicio adicional de valor añadido
ORAAH incluido

ODH 1.x Basado en Apache Hadoop 3.1

En la siguiente tabla se muestran los componentes incluidos en ODH 1.x y sus versiones.

Componente Versión
Apache Ambari 2.7.5
Enlace de Apache 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, YARN, MR) 3.1.2
Apache HBase 2.2.6
Apache Hive 3.1.2
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5.2.0
Apache Parquet MR 1.10
Apache Ranger e InfrSolr 2.1.0 y 0.1.0
Apache Spark 3.0.2
Apache Sqoop 1.4.7
Apache Tez 0.10.0
Apache Zookeeper 3.5.9
Kerberos 1,1-15
Utilidades de ODH 1
Registro de esquema 1
Trino 360
Servicio adicional de valor añadido
ORAAH incluido

Acceso a Big Data Service

Puede acceder a Big Data Service mediante la consola, la CLI de OCI, las API de REST o los SDK.

  • La consola de OCI es una interfaz fácil de usar basada en explorador. Para acceder a la consola, debe utilizar un explorador soportado.
  • La CLI de OCI proporciona un acceso rápido y una funcionalidad completa sin necesidad de programación. Utilice el entorno de Cloud Shell para ejecutar las CLI.
  • La documentación de la API de REST proporciona la mayor funcionalidad, pero requiere experiencia en programación. Puntos finales y referencia de API proporciona información detallada sobre los puntos finales y los enlaces a los documentos de referencia de la API disponibles, incluida la API de Big Data Service.
  • OCI proporciona SDK que interactúan con Big Data Service sin necesidad de crear un marco.

Identificadores de recursos

Los recursos de Big Data Service, como la mayoría de los tipos de recursos de Oracle Cloud Infrastructure, tienen un identificador único asignado por Oracle denominado ID de Oracle Cloud (OCID).

Para obtener información sobre el formato del OCID y otras formas de identificar los recursos, consulte Identificadores de recursos.

Regiones dominios de disponibilidad

Las regiones y los dominios de disponibilidad indican la organización física y lógica de los recursos de Big Data Service. Una región es un área geográfica localizada, mientras que un dominio de disponibilidad es uno o más centros de datos que se encuentran en una región.

Para obtener la información más reciente sobre las regiones en las que están disponibles Big Data Service, Oracle Cloud SQL y los servicios relacionados, consulte Regiones de datos para Oracle Cloud Infrastructure y Platform Services.

Límites de servicio

Cuando se registra en Oracle Cloud Infrastructure (OCI), se configura un conjunto de límites de servicio para su arrendamiento. El límite de servicio consiste en la cuota o asignación establecida para un recurso. Estos límites pueden aumentarse automáticamente en función de su uso de recursos de OCI y de la cuenta. Límites de servicio

Límites de servicio por defecto

Entre los límites establecidos en el arrendamiento se encuentran aquellos relativos al número de nodos de cluster de Big Data Service que puede crear. Más específicamente, está restringido a un determinado número de nodos de determinada unidad.

La tabla siguiente muestra los límites por defecto de varias unidades de cluster. Estos son sus límites si no realizó ningún ajuste al comprar la suscripción y si no ha solicitado ya un aumento.

Recurso Crédito universal mensual Pay-as-you-go (pago por consumo)
VM.Standard2.1 12 instancias (12 OCPU) 8 instancias (8 OCPU)
VM.Standard2.2 12 instancias (24 OCPU) 8 instancias (16 OCPU)
VM.Standard2.4 12 instancias (48 OCPU) 8 instancias (32 OCPU)
VM.Standard2.8 8 instancias (64 OCPU) Póngase en contacto con nosotros
VM.Standard2.16 8 instancias (128 OCPU) Póngase en contacto con nosotros
VM.Standard2.24 8 instancias (192 OCPU) Póngase en contacto con nosotros

VM.DenseIO2.8

VM.DenseIO2.16

VM.DenseIO2.24

VM.DenseIO.E4

BM.HPC2.36

BM.DenseIO2.52

BM.DenseIO.E4

BM.Optimized3

BM.Standard2.52

BM.Standard3.64

BM.Standard.E4

 Póngase en contacto con nosotros Póngase en contacto con nosotros

Unidades mostradas

En la práctica, se aumenta el número de nodos o instancias de un cluster. ("Nodos" e "instancias" significan lo mismo en este contexto. Los servicios de OCI suelen utilizar el término "instancia", pero Big Data Service sigue la convención de Hadoop de utilizar el término "nodo").)

Sin embargo, los límites se expresan generalmente como un número de unidades de recursos informáticos de Oracle (OCPU). Cada tipo de unidad de nodo de Big Data Service tiene un número definido de OCPU. El número después del decimal en el nombre de la unidad de nodo indica el número de OCPU en un solo nodo de esa unidad. Por ejemplo, un nodo VM.Standard2.1 tiene una OCPU, un nodo VM.Standard2.4 tiene cuatro OCPU y un nodo BM.DenseIO2.52 tiene 52 OCPU.

Por ejemplo, si la suscripción utiliza créditos universales mensuales, el límite por defecto para la unidad de nodo VM.Standard2.4 es 48 OCPU, lo que equivale a 12 nodos. El cálculo es el siguiente: límite de servicio de 48 OCPU dividido entre 4 OCPU por nodo da como resultado 12 nodos.

Cuotas de servicio

Los administradores de Big Data Service pueden definir políticas de cuotas para imponer restricciones a los usuarios limitando los recursos que pueden crear.

Para obtener información sobre cómo Oracle Cloud Infrastructure gestiona las cuotas, consulte Visión general de las cuotas de compartimentos.

Utilice la siguiente información para crear cuotas:

Nombre del servicio:big-data

Cuotas:
Nombre de cuota Ámbito Descripción
vm-standard-2-1-ocpu-count Regional Número de OCPU de VM.Standard2.1
vm-standard-2-2-ocpu-count Regional Número de OCPU de VM.Standard2.2
vm-standard-2-4-ocpu-count Regional Número de OCPU de VM.Standard2.4
vm-standard-2-8-ocpu-count Regional Número de OCPU de VM.Standard2.8
vm-standard-2-16-ocpu-count Regional Número de OCPU de VM.Standard2.16
vm-standard-2-24-ocpu-count Regional Número de OCPU de VM.Standard2.24
vm-dense-io-2-8-ocpu-count Regional Número de OCPU de VM.DenseIO2.8
vm-dense-io-2-16-ocpu-count Regional Número de OCPU de VM.DenseIO2.16
vm-dense-io-2-24-ocpu-count Regional Número de OCPU de VM.DenseIO2.24
bm-hpc2-36-ocpu-count Regional Número de OCPU de BM.HPC2.36
bm-dense-io-2-52-ocpu-count Regional Número de OCPU de BM.DenseIO2.52
bm-standard-2-52-ocpu-count Regional Número de OCPU de BM.Standard2.52

Ejemplos de políticas de cuotas de Big Data Service:

  • Limite el número de OCPU de VM.Standard2.4 que los usuarios pueden asignar a los servicios que crean en el compartimento mycompartment a 40.

    Set big-data quota vm-standard-2-4-ocpu-count to 40in Compartment mycompartment

  • Limite el número de OCPU de BM.DenseIO2.52 que los usuarios pueden asignar a los servicios que crean en el compartimento testcompartment a 20.

    Set big-data quota bm-dense-io-2-52-ocpu-count to 20 in Compartment testcompartment

  • No permita que los usuarios creen ningún OCPU de VM.Standard2.4 en el compartimento examplecompart.

    Zero big-data quota vm-standard-2-4-ocpu-count in Compartment examplecompart

Servicios de OCI integrados

Big Data Service se integra con varios servicios y funciones de OCI.

Buscar

Big Data Service está integrado con OCI Search. La búsqueda le permite buscar recursos dentro de un arrendamiento e información importante sobre clusters y objetos de configuración, como claves de API, configuraciones de metastore y configuraciones de lagos.

Ejemplos de consultas de búsqueda:

Ejemplo 1: Búsqueda de todos los recursos de Big Data Service

query bigdataservice resources

Ejemplo 2: Búsqueda de todos los clusters de Big Data Service activos

query bigdataservice resources where lifecycleState = 'ACTIVE'

Big Data Service está totalmente integrado con OCI Search y soporta tipos de recursos específicos.

Tipo de recurso Campos soportados
BigDataService
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • clusterVersion
  • isHighAvailability
  • isSecure
  • isCloudSqlConfigured
  • clusterDetails
  • nodes
  • numberOfNodes
  • kmsKeyId

Consulte BdsInstance Referencia.
BigDataServiceApiKey
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • userId
  • bdsId
  • keyAlias

Consulte BdsApiKey Referencia.
BigDataServiceMetastoreConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • metastoreId
  • metastoreType

Consulte BdsMetastoreConfiguration Referencia.
BigDataServiceLakehouseConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • lakehouseId
Eventos de servicio

Algunas acciones realizadas en clusters de Big Data Service emiten eventos.

Puede definir reglas que disparen una acción concreta cuando se produzca un evento. Por ejemplo, puede definir una regla que envíe una notificación a los administradores cuando alguien suprima un recurso. Consulte Visión general de Events e Introducción a Events.

La siguiente tabla muestra los tipos de eventos de Big Data Service.

Nombre fácil de recordar Tipo de evento
Inicio de creación de instancia com.oraclecloud.bds.cp.createinstance.begin
Fin de creación de instancia com.oraclecloud.bds.cp.createinstance.end
Inicio de terminación de instancia com.oraclecloud.bds.cp.terminateinstance.begin
Fin de terminación de instancia com.oraclecloud.bds.cp.terminateinstance.end
Inicio de adición de nodo de trabajador com.oraclecloud.bds.cp.addnode.begin
Fin de adición de nodo de trabajador com.oraclecloud.bds.cp.addnode.end
Inicio de adición de almacenamiento de bloques com.oraclecloud.bds.cp.addblockstorage.begin
Fin de adición de almacenamiento de bloques com.oraclecloud.bds.cp.addblockstorage.end
Inicio de configuración de Cloud SQL com.oraclecloud.bds.cp.addcloudsql.begin
Fin de configuración de Cloud SQL com.oraclecloud.bds.cp.addcloudsql.end
Inicio de desactivación de Cloud SQL com.oraclecloud.bds.cp.removecloudsql.begin
Fin de desactivación de Cloud SQL com.oraclecloud.bds.cp.removecloudsql.end
Inicio de certificado de servicio ODH desagradable com.oraclecloud.bds.cp.disableodhservicecertificate.begin
Fin de desactivación de certificado de servicio de ODH com.oraclecloud.bds.cp.disableodhservicecertificate.end
Inicio de activación de certificado de servicio de ODH com.oraclecloud.bds.cp.enableodhservicecertificate.begin
Fin de activación de certificado de servicio de ODH com.oraclecloud.bds.cp.enableodhservicecertificate.end
Inicio de renovación de certificado de servicio de ODH com.oraclecloud.bds.cp.renewodhservicecertificate.begin
Fin de renovación de certificado de servicio de ODH com.oraclecloud.bds.cp.renewodhservicecertificate.end
Solicitudes de trabajo asíncronas

Las siguientes operaciones de Big Data Service crean solicitudes de trabajo. Puede ver estas solicitudes de trabajo en la página de detalles de un cluster de Big Data Service.

API de Big Data Service Operación de solicitud de trabajo Opciones de estado de solicitud de trabajo

CreateBdsInstance

UpdateBdsInstance

DeleteBdsInstance

AddBlockStorage

AddWorkerNodes

AddCloudSql

RemoveCloudSql

ChangeBdsInstanceCompartment

ChangeShape

RestartNode

AddAutoScalingConfiguration

UpdateAutoScalingConfiguration,

RemoveAutoScalingConfiguration

CREATE_BDS

UPDATE_BDS

DELETE_BDS

ADD_BLOCK_STORAGE

ADD_WORKER_NODES

ADD_CLOUD_SQL

REMOVE_CLOUD_SQL

CHANGE_COMPARTMENT_FOR_BDS

CHANGE_SHAPE

RESTART_NODE

UPDATE_INFRA

UPDATE_INFRA

UPDATE_INFRA

ACCEPTED

IN_PROGRESS

FAILED

SUCCEEDED

CANCELING

CANCELED

Referencias: