Externe Daten in Oracle Compute Cloud beim Kunden abfragen

Beschreibt Packages und Tools, mit denen die Autonomous Database-Deployments auf Exadata Cloud@Customer unstrukturierte Daten laden, abfragen und verwalten können, indem externe Tabellen und externe partitionierte Tabellen aus Objekten in Data Lakes erstellt werden.

Mit dem Package DBMS_CLOUD können Sie Autonomous Database-Deployments auf Exadata Cloud@Customer konfigurieren, um auf die unstrukturierten Daten zuzugreifen, die im Objektspeicher-Bucket von Oracle Compute Cloud at Customer (C3) gespeichert sind.

Überblick

Sie benötigen eine Datenplattform, die Geschäftseinblicke aus strukturierten und unstrukturierten Daten extrahieren kann. Die Kombination aus strukturierten Daten, die in einem Data Warehouse verfügbar sind, und unstrukturierten Daten, die in einem Data Lake verfügbar sind, wird als Data Lakehouse bezeichnet.

Ein Autonomous Data Lakehouse ermöglicht Datenanalysen sowohl für strukturierte als auch für unstrukturierte Daten. Die strukturierten Daten werden in einem Autonomous Data Warehouse gespeichert, während die unstrukturierten Daten in einem Data Lake gespeichert werden, der in C3 Object Storage-Buckets konfiguriert ist. Autonomous Data Warehouse kann Objekte im Data Lake mit einem Datenbankpackage namens DBMS_CLOUD abfragen, laden und verwalten. Mit diesem Package kann Autonomous Database externe und externe partitionierte Tabellen für Data Lake-Objekte wie CSV-, TXT-, Avro- und Parquet-Dateien erstellen. Sie können autonome Data Lakehouses erstellen, indem Sie die Funktionen von Autonomous Database-Deployments auf Exadata Cloud@Customer und Oracle C3 kombinieren.

Ein Autonomous Data Lakehouse besteht aus zwei Hauptkomponenten: einem Autonomous Data Warehouse und einem Data Lake. Autonomous Data Warehouse wird mit Autonomous Database-Deployments auf Exadata Cloud@Customer erstellt, während der Data Lake mit C3 Object Storage-Buckets erstellt wird. Die Autonomous Database hostet die strukturierten relationalen Daten, während der Data Lake Sammlungen unstrukturierter Daten in Form von txt, csv, Avro, Parquet und anderen Dateitypen hostet. Sie können die Autonomous Database abfragen, und die Datenbank bestimmt, wo die Ergebnisse gefunden werden, ob in den strukturierten Daten, den unstrukturierten Daten oder einer Kombination aus beiden. Mit dem Package DBMS_CLOUD können Sie Autonomous Database-Deployments auf Exadata Cloud@Customer konfigurieren, um unstrukturierte Daten zu laden, abzufragen und zu verwalten, indem Sie externe und externe partitionierte Tabellen aus Objekten in Data Lakes erstellen.

Voraussetzungen

Führen Sie die folgenden Schritte aus, um C3 Object Storage-Buckets zu konfigurieren und verschiedene Autonomous Database-Komponenten bereitzustellen. Sie müssen diese Schritte ausführen, bevor Sie Autonomous Database für die Kommunikation mit C3 Object Storage-Buckets konfigurieren.
  • Erstellen Sie einen C3 Object Storage-Bucket.
  • Benutzer und Gruppe erstellen. Fügen Sie den Benutzer zur Gruppe hinzu, und konfigurieren Sie die erforderlichen Policys, damit der Benutzer Dateien (Hinzufügen/Lesen/Entfernen) zum Objektspeicher-Bucket C3 verwalten kann.
    Beispiel:
    Allow group <group_name> to manage objects in tenancy where
target.bucket.name='<new_bucket_name_created>'
  • Erstellen Sie einen API-Schlüssel für den erstellten Benutzer. Beachten Sie beim API-Schlüsselgenerierungsprozess die folgenden Informationen: user_ocid, tenancy_ocid, fingerprint, region. Speichern Sie außerdem die öffentlichen und privaten PEM-Schlüsseldateien, die während der API-Schlüsselgenerierung erstellt wurden. Diese Informationen sind erforderlich, um das DBMS_CLOUD-Package später zu konfigurieren.
  • Laden Sie die https-Certificate Authority-Kette herunter, wie unten gezeigt. Mit dieser Certificate Authority-Kette können Clientanwendungen den Objektspeicher-Bucket C3 über das HTTPS-Protokoll authentifizieren. Die HTTPS-Zertifikate werden in der Regel in einer CRT-Datei gespeichert, z.B. c3_ca.crt. Rufen Sie die Certificate Authority-Kette ab, indem Sie einen Browser auf die folgende URL verweisen: https://iaas.domainname/cachain, wobei domainname der Name der DNS-Domain ist, die während des C3-Infrastruktur-Deployments konfiguriert wurde.
  • Erstellen Sie eine neue Compute VM. Nachdem die neue VM gestartet wurde, kopieren Sie die private PEM-Schlüsseldatei und die in den obigen Schritten erstellte https-Zertifikatsdatei C3 in die VM.
  • Exadata-Infrastrukturressource erstellen.
  • Erstellen Sie ein autonomes VM-Cluster.
  • Autonome Containerdatenbank (ACD) erstellen.
  • Erstellen Sie eine Autonomous Database.

Autonomous Database für die Kommunikation mit dem Objektspeicher-Bucket C3 konfigurieren

Sie müssen die folgenden beiden Aufgaben ausführen, damit Autonomous Database mit dem Objektspeicher-Bucket C3 kommunizieren kann:
  • Fügen Sie das C3 Object Storage-HTTPS-Zertifikat zum TCPS-Wallet des autonomen VM-Clusters Grid Infrastructure hinzu. Beispiel: Der Wallet-Speicherort lautet /var/opt/oracle/dbaas_acfs/grid/tcps_wallets. Dies ist erforderlich, damit Autonomous Database die HTTPS-Verbindung zu C3 Object Storage authentifizieren kann.
  • Fügen Sie der Tabelle C##CLOUD$SERVICE_dbms_cloud_store in der oben erstellten ACD einen Eintrag hinzu. Damit teilen Sie dem Package DBMS_CLOUD mit, dass der Objektspeicher-Bucket C3 ein gültiger Cloud-Speicher ist. Beispiel für einen SQL-Befehl:
    SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
In Autonomous Databases können Sie die beiden oben genannten Aufgaben nicht als normaler Benutzer ausführen. Oracle Cloud Operations muss diese beiden Aufgaben im Namen des regulären Benutzers ausführen. Um eine neue Supportanfrage für Oracle Cloud Operations zu erstellen, müssen Sie sich bei My Oracle Support (MOS) anmelden, um die beiden Aufgaben ausführen zu können. Sie müssen dem Ticket die folgenden Informationen hinzufügen. Sie erhalten diese Werte, nachdem Sie die Schritte in ausgeführt haben.
  • OCID der Exadata-Infrastrukturressource
  • OCID des autonomen VM-Clusters
  • OCID der ACD
  • C3 Objektspeicher-URL
  • C3 Object Storage-HTTPS-Zertifikatsdatei

Nachdem Cloud Operations die oben genannten Aufgaben abgeschlossen hat, melden Sie sich bei Autonomous Database an. Verwenden Sie die Prozedur DBMS_CLOUD.CREATE_CREDENTIAL, um der Autonomous Database die Authentifizierungsinformationen bereitzustellen, die für die Verbindung mit dem Objektspeicher-Bucket C3 erforderlich sind. Weitere Einzelheiten finden Sie unter CREATE_CREDENTIAL.