Documentação do Oracle Cloud Infrastructure

Visão geral

O Big Data Service oferece o Hadoop de nível empresarial como serviço, com segurança completa, alto desempenho, facilidade de gerenciamento e capacidade de upgrade.

O Big Data Service é um serviço do Oracle Cloud Infrastructure projetado para um conjunto diversificado de casos de uso e cargas de trabalho de big data. De clusters de curta duração usados para lidar com tarefas específicas a clusters de longa duração que gerenciam grandes data lakes, o Big Data Service é dimensionado para atender aos requisitos de uma organização a um custo baixo e com os mais altos níveis de segurança.

Observação

Os dados em repouso nos Volumes em Blocos usados pelo serviço Big Data Service são criptografados por padrão.

O Big Data Service inclui:

  • Uma pilha do Hadoop que inclui uma instalação do Oracle Distribution including Apache Hadoop (ODH). A ODH inclui Apache Ambari, Apache Hadoop, Apache HBase, Apache Hive, Apache Spark e outros serviços para trabalhar e proteger o big data.

    Para obter uma lista detalhada do que está em ODH, consulte Sobre o Oracle Distribution Including Apache Hadoop (ODH).

  • Recursos e funcionalidades do Oracle Cloud Infrastructure, incluindo gerenciamento de identidades, rede, computação, armazenamento e monitoramento.
  • Uma API REST para criar e gerenciar clusters.
  • A capacidade de criar clusters de qualquer tamanho, com base nas formas nativas do Oracle Cloud Infrastructure. Por exemplo, você pode criar clusters pequenos e de curta duração em ambientes virtuais flexíveis, clusters muito grandes e de longa execução em hardware dedicado ou qualquer combinação entre eles.
  • Opcional - clusters seguros e de alta disponibilidade (HA).
  • Integração do Oracle Cloud SQL para análise de dados no Apache Hadoop, Apache Kafka, NoSQL e armazenamentos de objetos usando a linguagem de consulta Oracle SQL.
  • Acesso total para personalizar o que é implantado nos clusters do Big Data Service.

  • O Big Data Service libera patches que estão visíveis na Console do OCI. Esses patches devem ser aplicados para manter seus clusters do Big Data Service atualizados e suportados. Consulte Aplicando Patch no Big Data Service para obter mais detalhes sobre o patch de release do Big Data Service.

Sobre o Oracle Distribution Including Apache Hadoop (ODH)

A ODH foi criada a partir do zero, integrada nativamente à plataforma de dados da Oracle. O ODH é totalmente gerenciado, com os mesmos componentes do Hadoop que você conhece e desenvolve hoje. O ODH está disponível nas versões ODH 2.x e ODH 1.x.

Para obter mais informações, consulte:

Observação

O Apache Hive suporta funções para mascaramento de dados, que podem incluir algoritmos fracos. Para um algoritmo de criptografia forte, funções personalizadas podem ser gravadas. Para obter mais informações, consulte a Referência de UDF do Apache Hive em: hive/languagemanual+UDF.

Consulte o Big Data Service Sobre o Oracle Distribution Including Apache Hadoop (ODH) para obter detalhes dos componentes incluídos em cada versão do ODH.

Versão e Versões de Patch do Big Data Service

O Big Data Service libera atualizações e patches de recursos de software em uma cadência trimestral. As atualizações e patches de recursos de software podem incluir uma ou mais atualizações de ODH (Oracle Distribution for Hadoop), incluindo atualizações de versão de componente e correções de bugs, correções de CVE (Common Vulnerabilities and Exposures), atualizações de SO (Sistema Operacional), atualizações de SO e correções de bugs de SO.

Para obter as versões mais recentes, consulte as notas de versão do Big Data Service.

Os usuários do Big Data Service são suportados se a versão do software do Big Data Service for a versão (N) mais recente do Big Data Service ou uma versão mais antiga que a versão (N-1) mais recente do Big Data Service ou duas versões mais antigas que a versão (N-2) mais recente do Big Data Service.

A tabela a seguir lista as versões de release e patch do Big Data Service para cada release.

Versão do Big Data Service Versão do ODH Versão do JDK. Versão do SO Versão do Linux
3.1 ODH 2.1.0.22 JDK 1.8.0_431 SO 2.1.0 OL8.10
3

ODH 2.0.10.22

JDK 1.8.0_411

OS 1.29.0

 OL7.9
3

ODH 2.0.9.41

ODH 1.1.13.21

JDK 1.8.0_411

OS 1.28.0

 OL7.9
3

ODH 2.0.8.45

ODH 1.1.12.16

ODH 0.9.10.6

JDK 1.8.0_411

1.27.0

 OL7.9
3

ODH 2.0.7.11

ODH 1.1.11.7

ODH 0.9.9.7

JDK 1.8.0_381

OS 1.26.0

 OL7.9
3

ODH 2.0.6.5

ODH 1.1.10.4

ODH 0.9.8.3

JDK 1.8.0_381

1.25.0

 OL7.9

ODH 2.x Baseado no Apache Hadoop 3.3.3

A tabela a seguir lista os componentes incluídos na ODH e suas versões.

Componente Versão
Apache Ambari 2.7.5
Apache Flink 1.15
Flume do Apache 1.1
Apache Hadoop (HDFS, YARN, MR) 3.3
Apache HBase 2.4
Apache Hive 3.1
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3.2
Apache Livy 0.7.1
Apache Oozie 5.2
Apache Parquet MR 1.10
Apache Ranger e InfrSolr 2.3.0 e 0.1.0
Apache Spark 3.2
Apache Sqoop 1.4.7
Apache Tez 0.1
Apache Zookeeper 3.7
Kerberos 1.1-15
Utilitários ODH 1
Registro de Esquema 1
Trino 389
Serviço de valor acrescentado adicional
ORAAH incluído

ODH 1.x Baseado no Apache Hadoop 3.1

A tabela a seguir lista os componentes incluídos na ODH 1.x e suas versões.

Componente Versão
Apache Ambari 2.7.5
Apache Flink 1.15
Flume do Apache 1.1
Apache Hadoop (HDFS, YARN, MR) 3.1.2
Apache HBase 2.2.6
Apache Hive 3.1.2
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3.2
Apache Livy 0.7.1
Apache Oozie 5.2.0
Apache Parquet MR 1.10
Apache Ranger e InfrSolr 2.1.0 e 0.1.0
Apache Spark 3.0.2
Apache Sqoop 1.4.7
Apache Tez 0.10.0
Apache Zookeeper 3.5.9
Kerberos 1.1-15
Utilitários ODH 1
Registro de Esquema 1
Trino 360
Serviço de valor acrescentado adicional
ORAAH incluído

Acessando o Big Data Service

Você acessa o Big Data Service usando a Console, a CLI do OCI, APIs REST ou SDKs.

  • The Console do OCI é uma interface fácil de usar baseada em browser. Para acessar a Console, você deve usar um browser suportado.
  • A CLI do OCI fornece acesso rápido e funcionalidade completa sem a necessidade de programação. Use o ambiente do Cloud Shell para executar suas CLIs.
  • A documentação da API REST fornece a maior parte da funcionalidade, mas requer experiência em programação. A Referência e Pontos finais da API fornecem detalhes e links de pontos finais para os documentos de referência da API disponíveis, incluindo a API do Serviço Big Data.
  • A OCI fornece SDKs que interagem com o Big Data Service sem a necessidade da criação de uma estrutura.

Identificadores de Recursos

Os recursos do Big Data Service, como a maioria dos tipos de recursos do Oracle Cloud Infrastructure, têm um identificador exclusivo designado pela Oracle chamado OCID (Oracle Cloud ID).

Para obter informações sobre o formato do OCID e outras maneiras de identificar seus recursos, consulte Identificadores de Recursos.

Regiões e Domínios de Disponibilidade

Regiões e domínios de disponibilidade indicam a organização física e lógica dos recursos do Big Data Service. Uma região é uma área geográfica localizada, e um domínio de disponibilidade é um ou mais data centers localizados em uma região.

Para obter as informações mais recentes sobre as regiões nas quais o Big Data Service, o Oracle Cloud SQL e os serviços relacionados estão disponíveis, consulte Regiões de Dados do Oracle Cloud Infrastructure e Serviços de Plataforma.

Limites de Serviço

Quando você se cadastra no Oracle Cloud Infrastructure (OCI), um conjunto de limites do serviço é configurado para sua tenancy. O limite de serviço é a cota ou permissão definida em um recurso. Esses limites podem ser aumentados automaticamente com base no uso de recursos e na situação da conta do OCI. Consulte Limites de Serviço.

Limites de Serviço Padrão

Entre os limites definidos em sua tenancy estão limites no número de nós de cluster do Big Data Service que você pode criar. Mais especificamente, você está restrito a um número específico de nós de uma determinada forma.

A tabela a seguir mostra os limites padrão para várias formas de cluster. Estes são seus limites se você não tomou outras providências quando comprou sua assinatura e se você ainda não pediu um aumento.

Recurso Crédito universal mensal Sem Assinatura (Pay-as-you-go)
VM.Standard2.1 12 instâncias (12 OCPUs) 8 instâncias (8 OCPUs)
VM.Standard2.2 12 instâncias (24 OCPUs) 8 instâncias (16 OCPUs)
VM.Standard2.4 12 instâncias (48 OCPUs) 8 instâncias (32 OCPUs)
VM.Standard2.8 8 instâncias (64 OCPUs) Fale Conosco
VM.Standard2.16 8 instâncias (128 OCPUs) Fale Conosco
VM.Standard2.24 8 instâncias (192 OCPUs) Fale Conosco

VM.DenseIO2.8

VM.DenseIO2.16

VM.DenseIO2.24

VM.DenseIO.E4

BM.HPC2.36

BM.DenseIO2.52

BM.DenseIO.E4

BM.Optimized3

BM.Standard2.52

BM.Standard3.64

BM.Standard.E4

 Fale Conosco Fale Conosco

Unidades Mostradas

Na prática, você aumenta o número de nós ou instâncias em um cluster. ("Nós" e "instâncias" significam a mesma coisa neste contexto. Os serviços do OCI geralmente usam o termo "instância", mas o Big Data Service segue a convenção do Hadoop de usar o termo "nó".)

No entanto, os limites geralmente são expressos como número de OCPUs (Oracle Compute Units). Cada tipo de forma de nó do Big Data Service tem um número definido de OCPUs. O número após o decimal no nome da forma do nó indica o número de OCPUs em um único nó dessa forma. Por exemplo, um nó VM.Standard2.1 tem uma OCPU, um nó VM.Standard2.4 tem quatro OCPUs e um nó BM.DenseIO2.52 tem 52 OCPUs.

Por exemplo, se sua assinatura usar créditos universais mensais, o limite padrão para a forma do nó VM.Standard2.4 será 48 OCPUs, o que equivale a 12 nós. O cálculo é o seguinte: o limite de serviço de 48 OCPUs dividido por 4 OCPUs por nó é igual a 12 nós.

Cotas de Serviço

Os administradores do Big Data Service podem definir políticas de cota para impor restrições aos usuários limitando os recursos que eles podem criar.

Para obter informações sobre como o Oracle Cloud Infrastructure trata cotas, consulte Visão Geral de Cotas de Compartimento.

Use as seguintes informações para criar cotas:

Nome do serviço:big-data

Cotas:
Nome da Cota Escopo Descrição
vm-standard-2-1-ocpu-count Regional Número de OCPUs VM.Standard2.1
vm-standard-2-2-ocpu-count Regional Número de OCPUs VM.Standard2.2
vm-standard-2-4-ocpu-count Regional Número de OCPUs VM.Standard2.4
vm-standard-2-8-ocpu-count Regional Número de OCPUs VM.Standard2.8
vm-standard-2-16-ocpu-count Regional Número de OCPUs VM.Standard2.16
vm-standard-2-24-ocpu-count Regional Número de OCPUs VM.Standard2.24
vm-dense-io-2-8-ocpu-count Regional Número de OCPUs VM.DenseIO2.8
vm-dense-io-2-16-ocpu-count Regional Número de OCPUs VM.DenseIO2.16
vm-dense-io-2-24-ocpu-count Regional Número de OCPUs VM.DenseIO2.24
bm-hpc2-36-ocpu-count Regional Número de OCPUs BM.HPC2.36
bm-dense-io-2-52-ocpu-count Regional Número de OCPUs BM.DenseIO2.52
bm-standard-2-52-ocpu-count Regional Número de OCPUs BM.Standard2.52

Exemplos de políticas de cota do Big Data Service:

  • Limite o número de OCPUs do VM.Standard2.4 que os usuários podem alocar aos serviços criados no compartimento mycompartment para 40.

    Set big-data quota vm-standard-2-4-ocpu-count to 40in Compartment mycompartment

  • Limite o número de OCPUs do BM.DenseIO2.52 que os usuários podem alocar aos serviços criados no compartimento testcompartment para 20.

    Set big-data quota bm-dense-io-2-52-ocpu-count to 20 in Compartment testcompartment

  • Não permita que os usuários criem OCPUs do VM.Standard2.4 no compartimento examplecompart.

    Zero big-data quota vm-standard-2-4-ocpu-count in Compartment examplecompart

Serviços OCI Integrados

O Big Data Service é integrado com vários recursos e serviços do OCI.

Pesquisar

O Big Data Service é integrado ao OCI Search. A pesquisa permite localizar recursos em uma tenancy e informações importantes sobre clusters e objetos de configuração, como chaves de API, configurações de metastore, configurações de lake.

Exemplos de consultas de pesquisa:

Exemplo 1: Procurar todos os recursos do Big Data Service

query bigdataservice resources

Exemplo 2: Procurar todos os clusters ativos do Big Data Service

query bigdataservice resources where lifecycleState = 'ACTIVE'

O Big Data Service é totalmente integrado ao OCI Search e suporta tipos de recursos específicos.

Tipo de Recurso Campos Suportados
BigDataService
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • clusterVersion
  • isHighAvailability
  • isSecure
  • isCloudSqlConfigured
  • clusterDetails
  • nodes
  • numberOfNodes
  • kmsKeyId

Consulte Referência BdsInstance.
BigDataServiceApiKey
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • userId
  • bdsId
  • keyAlias

Consulte Referência BdsApiKey.
BigDataServiceMetastoreConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • metastoreId
  • metastoreType

Consulte Referência BdsMetastoreConfiguration.
BigDataServiceLakehouseConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • lakehouseId
Eventos de Serviço

Determinadas ações executadas nos clusters do Big Data Service emitem eventos.

Você pode definir regras que acionam uma ação específica quando um evento ocorre. Por exemplo, você pode definir uma regra que envia uma notificação aos administradores quando alguém exclui um recurso. Consulte Visão Geral do Serviço Events e Conceitos Básicos do Serviço Events.

A tabela a seguir lista os tipos de evento do Big Data Service.

Nome Amigável Tipo de Evento
Início da Criação da Instância com.oraclecloud.bds.cp.createinstance.begin
Fim da Criação da Instância com.oraclecloud.bds.cp.createinstance.end
Início do Encerramento da Instância com.oraclecloud.bds.cp.terminateinstance.begin
Fim do Encerramento da Instância com.oraclecloud.bds.cp.terminateinstance.end
Início da Adição do Nó de Trabalho com.oraclecloud.bds.cp.addnode.begin
Adicionar Fim do Nó de Trabalho com.oraclecloud.bds.cp.addnode.end
Início da Adição de Armazenamento em Blocos com.oraclecloud.bds.cp.addblockstorage.begin
Fim da Adição de Armazenamento em Blocos com.oraclecloud.bds.cp.addblockstorage.end
Configurar Início do Cloud SQL com.oraclecloud.bds.cp.addcloudsql.begin
Configurar Fim do Cloud SQL com.oraclecloud.bds.cp.addcloudsql.end
Desativar Início do Cloud SQL com.oraclecloud.bds.cp.removecloudsql.begin
Desativar Fim do Cloud SQL com.oraclecloud.bds.cp.removecloudsql.end
Início da Desativação do Certificado de Serviço ODH com.oraclecloud.bds.cp.disableodhservicecertificate.begin
Fim da Desativação do Certificado de Serviço ODH com.oraclecloud.bds.cp.disableodhservicecertificate.end
Início da ativação do certificado de serviço ODH com.oraclecloud.bds.cp.enableodhservicecertificate.begin
Fim da ativação do certificado de serviço ODH com.oraclecloud.bds.cp.enableodhservicecertificate.end
Início da Renovação do Certificado de Serviço ODH com.oraclecloud.bds.cp.renewodhservicecertificate.begin
Fim da renovação do certificado de serviço ODH com.oraclecloud.bds.cp.renewodhservicecertificate.end
Solicitações de Serviço Assíncronas

As operações do Big Data Service a seguir criam solicitações de serviço. Você pode exibir essas solicitações de serviço na página detalhada de um cluster do Big Data Service.

API do Serviço Big Data Operação da Solicitação de Serviço Opções do Status da Solicitação de Trabalho

CreateBdsInstance

UpdateBdsInstance

DeleteBdsInstance

AddBlockStorage

AddWorkerNodes

AddCloudSql

RemoveCloudSql

ChangeBdsInstanceCompartment

ChangeShape

RestartNode

AddAutoScalingConfiguration

UpdateAutoScalingConfiguration,

RemoveAutoScalingConfiguration

CREATE_BDS

UPDATE_BDS

DELETE_BDS

ADD_BLOCK_STORAGE

ADD_WORKER_NODES

ADD_CLOUD_SQL

REMOVE_CLOUD_SQL

CHANGE_COMPARTMENT_FOR_BDS

CHANGE_SHAPE

RESTART_NODE

UPDATE_INFRA

UPDATE_INFRA

UPDATE_INFRA

ACCEPTED

IN_PROGRESS

FAILED

SUCCEEDED

CANCELING

CANCELED

Referências: