Oracle Cloud Infrastructure - Dokumentation

Überblick

Big Data Service stellt Hadoop als Service der Unternehmensklasse mit End-to-End-Sicherheit, hoher Performance sowie einfacher Verwaltung und Upgradefähigkeit bereit.

Big Data Service ist ein Oracle Cloud Infrastructure-Service, der für eine Vielzahl von Big-Data-Anwendungsfällen und Workloads entwickelt wurde. Von kurzlebigen Clustern zur Bewältigung spezifischer Aufgaben bis hin zu langlebigen Clustern, die große Data Lakes verwalten, kann Big Data Service so skaliert werden, dass die Anforderungen eines Unternehmens kostengünstig und mit höchster Sicherheit erfüllt werden.

Hinweis

Die von Big Data Service verwendeten Daten im Ruhezustand auf Block-Volumes werden standardmäßig verschlüsselt.

Big Data Service umfasst:

  • Ein Hadoop-Stack, der eine Installation von Oracle-Distribution einschließlich Apache Hadoop (ODH) enthält. ODH umfasst Apache Ambari, Apache Hadoop, Apache HBase, Apache Hive, Apache Spark und andere Services für die Arbeit mit und Sicherung von Big Data.

    Eine detaillierte Liste der ODH-Komponenten finden Sie in Informationen zur Oracle-Distribution mit Apache Hadoop (ODH).

  • Oracle Cloud Infrastructure-Features und -Ressourcen, einschließlich Identity Management, Networking, Compute, Storage und Monitoring.
  • Eine REST-API zum Erstellen und Verwalten von Clustern.
  • Die Möglichkeit, Cluster beliebiger Größe basierend auf nativen Oracle Cloud Infrastructure-Ausprägungen zu erstellen. Beispiel: Sie können kleine, kurzlebige Cluster in flexiblen virtuellen Umgebungen, sehr große, langlebige Cluster auf dedizierter Hardware oder eine beliebige Kombination daraus erstellen.
  • Optional können Sie sichere High Availability-(HA-)Cluster.
  • Oracle Cloud SQL-Integration zur Analyse von Daten in Apache Hadoop, Apache Kafka, NoSQL und Objektspeichern mit Oracle SQL-Abfragesprache.
  • Vollständigen Zugriff zwecks Anpassung der in den Big Data Service-Clustern bereitgestellten Elemente.

  • Big Data Service veröffentlicht Patches, die in der OCI-Konsole angezeigt werden. Diese Patches müssen eingespielt werden, damit Ihre Big Data-Servicecluster auf dem neuesten Stand und unterstützt sind. Weitere Details zum Releasepatch von Big Data Service finden Sie unter In Big Data Service patchen.

Informationen zu Oracle-Distribution einschließlich Apache Hadoop (ODH)

ODH wurde speziell konzipiert und nativ in die Datenplattform von Oracle integriert. ODH wird vollständig verwaltet und enthält die gleichen Hadoop-Komponenten, die Sie bereits kennen und nutzen. ODH ist in den Versionen ODH 2.x und ODH 1.x erhältlich.

Weitere Informationen finden Sie unter:

Hinweis

Apache Hive unterstützt Funktionen für die Datenmaskierung, die schwache Algorithmen umfassen können. Für einen starken Verschlüsselungsalgorithmus können benutzerdefinierte Funktionen geschrieben werden. Weitere Informationen finden Sie in der Apache Hive UDF-Referenz unter: hive/languagemanual+UDF.

Einzelheiten zu Komponenten, die in jeder ODH-Version enthalten sind, finden Sie unter Big Data Service Oracle-Distribution einschließlich Apache Hadoop (ODH).

Big Data Service Release- und Patchversionen

Big Data Service veröffentlicht Softwarefeatureupdates und -patches in einem vierteljährlichen Intervall. Die Softwarefeatureupdates und -patches können eines oder mehrere ODH-Updates (Oracle Distribution for Hadoop) umfassen, einschließlich Komponentenversionsupdates und Bugfixes, CVE-(Common Vulnerabilities and Exposures-)Fixes, BS-(Operating System-)Updates, BS-Upgrades und BS-Bugfixes.

Die neuesten Releases finden Sie in den Versionshinweisen zu Big Data Service.

Big Data Service-Benutzer werden unterstützt, wenn ihre Big Data Service-Softwareversion entweder das neueste Big Data Service-Release (N) oder eine Version ist, die älter ist als das neueste Big Data Service-Release (N-1) oder zwei Versionen, die älter sind als das neueste Big Data Service-Release (N-2).

In der folgenden Tabelle werden die Release- und Patchversionen von Big Data Service für jedes Release aufgeführt.

Big Data Service-Release ODH-Version JDK-Version BS-Version Linux-Version
3,1 Rechtes Auge 2.1.0.22 JDK 1.8.0_431 BS 2.1.0 OL8.10
3

Rechtes Auge 2.0.10.22

JDK 1.8.0_411

BS 1.29.0

 OL7.9
3

Rechtes Auge 2.0.9.41

Rechtes Auge 1.1.13.21

1.8.0_411 JDK

BS 1.28.0

 OL7.9
3

Rechtes Auge 2.0.8.45

Rechtes Auge 1.1.12.16

Rechtes Auge 0.9.10.6

1.8.0_411 JDK

OS 1.27.0

 OL7.9
3

ODH 2.0.7.11

ODH 1.1.11.7

ODH 0.9.9.7

JDK 1.8.0_381

OS 1.26.0

 OL7.9
3

ODH 2.0.6.5

ODH 1.1.10.4

ODH 0.9.8.3

JDK 1.8.0_381

OS 1.25.0

 OL7.9

ODH 2.x Basierend auf Apache Hadoop 3.3.3

In der folgenden Tabelle werden die in ODH enthaltenen Komponenten und deren Versionen aufgeführt.

Komponente Version
Apache Ambari 2.7.5
Apache Flink 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, Yarn, MR) 3,3
Apache HBase 2,4
Apache Hive 3,1
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5,2
Apache Parquet MR 1.10
Apache Ranger und InfrSolr 2.3.0 und 0.1.0
Apache Spark 3,2
Apache Sqoop 1.4.7
Apache Tez 0,1
Apache Zookeeper 3,7
Kerberos 1,1-15
ODH-Utilitys 1
Schema-Registry 1
Trino 389
Zusätzlicher Mehrwert-Service
ORAAH eingeschlossen

ODH 1.x Basierend auf Apache Hadoop 3.1

In der folgenden Tabelle sind die in ODH 1.x enthaltenen Komponenten und deren Versionen aufgeführt.

Komponente Version
Apache Ambari 2.7.5
Apache Flink 1,15
Apache Flume 1,1
Apache Hadoop (HDFS, Yarn, MR) 3.1.2
Apache HBase 2.2.6
Apache Hive 3.1.2
Apache Hue 4.10.0
Apache JupyterHub 2.1.1
Apache Kafka 3,2
Apache Livy 0.7.1
Apache Oozie 5.2.0
Apache Parquet MR 1.10
Apache Ranger und InfrSolr 2.1.0 und 0.1.0
Apache Spark 3.0.2
Apache Sqoop 1.4.7
Apache Tez 0.10.0
Apache Zookeeper 3.5.9
Kerberos 1,1-15
ODH-Utilitys 1
Schema-Registry 1
Trino 360
Zusätzlicher Mehrwert-Service
ORAAH eingeschlossen

Auf Big Data Service zugreifen

Der Zugriff auf Big Data Service erfolgt über die Konsole, OCI-CLI, REST-APIs oder SDKs.

  • Die OCI-Konsole ist eine benutzerfreundliche, browserbasierte Schnittstelle. Um auf die Konsole zuzugreifen, müssen Sie einen unterstützten Browser verwenden.
  • Die OCI-CLI bietet sowohl Schnellzugriff als auch vollständige Funktionen ohne Programmierung. Verwenden Sie die Cloud Shell-Umgebung, um Ihre CLIs auszuführen.
  • Die REST-API-Dokumentation stellt die meisten Funktionen bereit, erfordert jedoch Programmierkenntnisse. Unter API-Referenz und Endpunkte finden Sie Endpunktdetails und Links zu den verfügbaren API-Referenzdokumenten, einschließlich der Big Data Service-API.
  • OCI stellt SDKs bereit, die mit Big Data Service interagieren, ohne dass ein Framework erstellt werden muss.

Ressourcen-IDs

Big Data Service-Ressourcen haben ähnlich wie die meisten Ressourcentypen in Oracle Cloud Infrastructure eine eindeutige, von Oracle zugewiesene ID, die als Oracle Cloud-ID (OCID) bezeichnet wird.

Informationen zum OCID-Format und zu weiteren Möglichkeiten zur Identifizierung Ihrer Ressourcen finden Sie unter Ressourcen-IDs.

Regionen und Availability-Domains

Regionen und Availability-Domains geben die physische und logische Organisation der Big Data Service-Ressourcen an. Eine Region ist ein bestimmter geografischer Bereich. Bei einer Availability-Domain handelt es sich um ein oder mehrere Data Center innerhalb einer Region.

Die neuesten Informationen zu den Regionen, in denen Big Data Service, Oracle Cloud SQL und zugehörige Services verfügbar sind, finden Sie unter Datenregionen für Oracle Cloud Infrastructure- und Plattformservices.

Servicelimits

Wenn Sie sich für Oracle Cloud Infrastructure (OCI) registrieren, wird ein Set von Servicelimits für Ihren Mandanten konfiguriert. Das Servicelimit ist die Quota oder die zulässige Nutzung für eine Ressource. Diese Limits können für Sie automatisch entsprechend Ihrer OCI-Ressourcenverwendung und Ihrem vorhandenen Account erhöht werden. Informationen hierzu finden Sie unter Servicelimits.

Standardservicelimits

Zu den für Ihren Mandanten festgelegten Limits gehört die Anzahl der Big Data Service-Clusterknoten, die Sie erstellen können. Das heißt im Einzelnen, dass die Anzahl der Knoten einer bestimmten Ausprägung beschränkt ist.

In der folgenden Tabelle werden die Standardlimits für verschiedene Clusterausprägungen angezeigt. Dies sind die für Sie geltenden Limits, sofern Sie beim Kauf Ihres Abonnements keine anderen Vereinbarungen getroffen und noch keine Erhöhung beantragt haben.

Ressource Monatliche Universal Credits Pay-as-you-go
VM.Standard2.1 12 Instanzen (12 OCPUs) 8 Instanzen (8 OCPUs)
VM.Standard2.2 12 Instanzen (24 OCPUs) 8 Instanzen (16 OCPUs)
VM.Standard2.4 12 Instanzen (48 OCPUs) 8 Instanzen (32 OCPUs)
VM.Standard2.8 8 Instanzen (64 OCPUs) Kontakt
VM.Standard2.16 8 Instanzen (128 OCPUs) Kontakt
VM.Standard2.24 8 Instanzen (192 OCPUs) Kontakt

VM.DenseIO2.8

VM.DenseIO2.16

VM.DenseIO2.24

VM.DenseIO.E4

BM.HPC2.36

BM.DenseIO2.52

BM.DenseIO.E4

BM.Optimized3

BM.Standard2.52

BM.Standard3.64

BM.Standard.E4

 Kontakt Kontakt

Angezeigte Einheiten

In der Praxis erhöhen Sie die Anzahl der Knoten oder Instanzen in einem Cluster. ("Knoten" und "Instanzen" bedeuten in diesem Zusammenhang dasselbe. OCI-Services verwenden in der Regel den Begriff "Instanz". Big Data Service folgt jedoch der Hadoop-Konvention und wird als "Knoten" bezeichnet.

Die Limits werden jedoch in der Regel als eine Anzahl von Oracle Compute Units (OCPUs). ausgedrückt Jeder Typ der Big Data Service-Knotenausprägung hat eine festgelegte Anzahl von OCPUs. Die Zahl nach dem Dezimalzeichen im Knotenausprägungsnamen gibt die Anzahl der OCPUs in einem einzelnen Knoten dieser Ausprägung an. Beispiel: Ein VM.Standard2.1-Knoten hat eine OCPU, ein VM.Standard2.4-Knoten hat vier OCPUs und ein BM.DenseIO2.52-Knoten hat 52 OCPUs.

Beispiel: Wenn Ihr Abonnement monatliche Universal Credits vorsieht, liegt das Standardlimit für die Knotenausprägung VM.Standard2.4 bei 48 OCPUs. Dies entspricht 12 Knoten. Dies berechnet sich folgendermaßen: Das Servicelimit von 48 OCPUs dividiert durch 4 OCPUs pro Knoten ergibt 12 Knoten.

Limits für Mandanten suchen

Hinweis

Sie müssen über die Berechtigung zum Anzeigen von Limits und Nutzung verfügen. Weitere Informationen finden Sie unter Servicelimits in "So zeigen Sie die Limits und die Nutzung Ihres Mandanten an".

Informationen zum Anzeigen von Limits und Nutzung finden Sie unter Servicelimits, -Quotas und -nutzung anzeigen.

Service-Quotas

Big Data Service-Administratoren können Quota Policys zum Durchsetzen von Einschränkungen für Benutzer festlegen, indem sie die Ressourcen einschränken, die Benutzer erstellen können.

Informationen zum Verwalten von Quota in Oracle Cloud Infrastructure finden Sie unter Überblick über Compartment Quotas.

Verwenden Sie die folgenden Informationen, um Quotas zu erstellen:

Service-Name:big-data

Quotas:
Quota-Name Geltungsbereich Beschreibung
vm-standard-2-1-ocpu-count Regional Anzahl VM.Standard2.1-OCPUs
vm-standard-2-2-ocpu-count Regional Anzahl VM.Standard2.2-OCPUs
vm-standard-2-4-ocpu-count Regional Anzahl VM.Standard2.4-OCPUs
vm-standard-2-8-ocpu-count Regional Anzahl VM.Standard2.8-OCPUs
vm-standard-2-16-ocpu-count Regional Anzahl VM.Standard2.16-OCPUs
vm-standard-2-24-ocpu-count Regional Anzahl VM.Standard2.24-OCPUs
vm-dense-io-2-8-ocpu-count Regional Anzahl VM.DenseIO2.8-OCPUs
vm-dense-io-2-16-ocpu-count Regional Anzahl VM.DenseIO2.16-OCPUs
vm-dense-io-2-24-ocpu-count Regional Anzahl VM.DenseIO2.24-OCPUs
bm-hpc2-36-ocpu-count Regional Anzahl BM.HPC2.36-OCPUs
bm-dense-io-2-52-ocpu-count Regional Anzahl BM.DenseIO2.52-OCPUs
bm-standard-2-52-ocpu-count Regional Anzahl BM.Standard2.52-OCPUs

Beispiele für Big Data Service-Quota Policys:

  • Anzahl der VM.Standard2.4-OCPUs, die Benutzer Services zuweisen können, die sie im Compartment mycompartment erstellen, auf 40 begrenzen.

    Set big-data quota vm-standard-2-4-ocpu-count to 40in Compartment mycompartment

  • Anzahl der BM.DenseIO2.52-OCPUs, die Benutzer Services zuweisen können, die sie im Compartment testcompartment erstellen, auf 20 begrenzen.

    Set big-data quota bm-dense-io-2-52-ocpu-count to 20 in Compartment testcompartment

  • Nicht zulassen, dass Benutzer VM.Standard2.4-OCPUs im Compartment examplecompart erstellen.

    Zero big-data quota vm-standard-2-4-ocpu-count in Compartment examplecompart

Integrierte OCI-Services

Big Data Service ist in verschiedene OCI-Services und -Features integriert.

Suchen

Big Data Service ist in OCI Search integriert. Mit Search können Sie Ressourcen innerhalb eines Mandanten sowie wichtige Informationen zu Clustern und Konfigurationsobjekten finden, wie API-Schlüssel, Metastore-Konfigurationen und Lake-Konfigurationen.

Beispiele für Suchabfragen:

Beispiel 1: Alle Big Data Service-Ressourcen suchen

query bigdataservice resources

Beispiel 2: Alle aktiven Big Data Service-Cluster suchen

query bigdataservice resources where lifecycleState = 'ACTIVE'

Big Data Service ist vollständig in OCI Search integriert und unterstützt bestimmte Ressourcentypen.

Ressourcenart Unterstützte Felder
BigDataService
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • clusterVersion
  • isHighAvailability
  • isSecure
  • isCloudSqlConfigured
  • clusterDetails
  • nodes
  • numberOfNodes
  • kmsKeyId

Siehe BdsInstance-Referenz.
BigDataServiceApiKey
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • userId
  • bdsId
  • keyAlias

Siehe BdsApiKey-Referenz.
BigDataServiceMetastoreConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • metastoreId
  • metastoreType

Siehe BdsMetastoreConfiguration-Referenz.
BigDataServiceLakehouseConfig
  • id
  • compartmentId
  • displayName
  • lifecycleState
  • freeformTags
  • definedTags
  • timeCreated
  • bdsApiKeyId
  • bdsId
  • lakehouseId
Serviceereignisse

Bei bestimmten, auf Big Data Service-Clustern ausgeführten Aktionen werden Ereignisse ausgegeben.

Sie können Regeln definieren, die eine bestimmte Aktion auslösen, wenn ein Ereignis eintritt. Beispiel: Sie könnten eine Regel definieren, nach der eine Benachrichtigung an Administratoren gesendet wird, sobald eine Ressource gelöscht wird. Siehe Überblick über Events und Erste Schritte mit Events.

In der folgenden Tabelle werden Big Data Service-Ereignistypen aufgeführt.

Anzeigename Ereignistyp
Instanz erstellen - Beginn com.oraclecloud.bds.cp.createinstance.begin
Instanz erstellen - Ende com.oraclecloud.bds.cp.createinstance.end
Instanz beenden - Beginn com.oraclecloud.bds.cp.terminateinstance.begin
Instanz beenden - Ende com.oraclecloud.bds.cp.terminateinstance.end
Worker-Knoten hinzufügen - Beginn com.oraclecloud.bds.cp.addnode.begin
Worker-Knoten hinzufügen - Ende com.oraclecloud.bds.cp.addnode.end
Blockspeicher hinzufügen - Beginn com.oraclecloud.bds.cp.addblockstorage.begin
Blockspeicher hinzufügen - Ende com.oraclecloud.bds.cp.addblockstorage.end
Cloud SQL konfigurieren - Beginn com.oraclecloud.bds.cp.addcloudsql.begin
Cloud SQL konfigurieren - Ende com.oraclecloud.bds.cp.addcloudsql.end
Cloud SQL deaktivieren- Beginn com.oraclecloud.bds.cp.removecloudsql.begin
Cloud SQL deaktivieren - Ende com.oraclecloud.bds.cp.removecloudsql.end
ODH-Dienstzertifikat deaktivieren - Beginn com.oraclecloud.bds.cp.disableodhservicecertificate.begin
Ende des ODH-Servicezertifikats deaktivieren com.oraclecloud.bds.cp.disableodhservicecertificate.end
ODH-Servicezertifikat aktivieren - Beginn com.oraclecloud.bds.cp.enableodhservicecertificate.begin
Ende des ODH-Servicezertifikats aktivieren com.oraclecloud.bds.cp.enableodhservicecertificate.end
ODH-Dienstzertifikat erneuern - Beginn com.oraclecloud.bds.cp.renewodhservicecertificate.begin
ODH-Servicezertifikat erneuern - Ende com.oraclecloud.bds.cp.renewodhservicecertificate.end
Asynchrone Arbeitsanforderungen

Mit den folgenden Big Data-Servicevorgängen werden Arbeitsanforderungen erstellt. Sie können diese Anforderungen auf der Detailseite eines Big Data-Serviceclusters anzeigen.

Big Data-Service-API Arbeitsanforderungsvorgang Arbeitsanforderungsstatus-Optionen

CreateBdsInstance

UpdateBdsInstance

DeleteBdsInstance

AddBlockStorage

AddWorkerNodes

AddCloudSql

RemoveCloudSql

ChangeBdsInstanceCompartment

ChangeShape

RestartNode

AddAutoScalingConfiguration

UpdateAutoScalingConfiguration,

RemoveAutoScalingConfiguration

CREATE_BDS

UPDATE_BDS

DELETE_BDS

ADD_BLOCK_STORAGE

ADD_WORKER_NODES

ADD_CLOUD_SQL

REMOVE_CLOUD_SQL

CHANGE_COMPARTMENT_FOR_BDS

CHANGE_SHAPE

RESTART_NODE

UPDATE_INFRA

UPDATE_INFRA

UPDATE_INFRA

ACCEPTED

IN_PROGRESS

FAILED

SUCCEEDED

CANCELING

CANCELED

Referenzen: