Interroger des données externes sur Oracle Compute Cloud at Customer

Décrit les packages et les outils permettant aux déploiements Autonomous Database sur Exadata Cloud@Customer de charger, d'interroger et de gérer des données non structurées en créant des tables externes et des tables partitionnées externes à partir d'objets dans les lacs de données.

Vous pouvez utiliser le package DBMS_CLOUD pour configurer des déploiements Autonomous Database sur Exadata Cloud@Customer afin d'accéder aux données non structurées stockées sur le bucket Object Storage Oracle Compute Cloud at Customer (C3).

Présentation

Vous avez besoin d'une plateforme de données capable d'extraire des informations commerciales à partir de données structurées et non structurées. La combinaison des données structurées disponibles dans un entrepôt de données et des données non structurées disponibles dans un lac de données est appelée data lakehouse.

Un data lakehouse autonome permet l'analyse des données sur des données structurées et non structurées. Les données structurées sont stockées dans une instance Autonomous Data Warehouse, tandis que les données non structurées sont stockées dans un lac de données configuré sur des buckets Object Storage C3. Autonomous Data Warehouse peut interroger, charger et gérer des objets dans le lac de données à l'aide d'un package de base de données nommé DBMS_CLOUD. Ce package permet à Autonomous Database de créer des tables partitionnées externes et externes sur des objets de lac de données tels que des fichiers csv, txt, Avro et Parquet. Vous pouvez créer des data lakehouses autonomes en combinant les fonctionnalités des déploiements Autonomous Database sur Exadata Cloud@Customer et Oracle C3.

Un data lakehouse autonome comporte deux composants principaux : un Autonomous Data Warehouse et un data lake. Autonomous Data Warehouse est créé à l'aide de déploiements Autonomous Database sur Exadata Cloud@Customer, tandis que le lac de données est créé à l'aide de buckets Object Storage C3. Autonomous Database héberge les données relationnelles structurées, tandis que le lac de données héberge des ensembles de données non structurées sous la forme de txt, csv, Avro, Parquet et d'autres types de fichier. Vous pouvez interroger Autonomous Database et la base de données détermine où trouver les résultats, que ce soit dans les données structurées, les données non structurées ou une combinaison des deux. Vous pouvez utiliser le package DBMS_CLOUD pour configurer des déploiements Autonomous Database sur Exadata Cloud@Customer afin de charger, d'interroger et de gérer des données non structurées en créant des tables partitionnées externes et externes à partir d'objets dans les lacs de données.

Prérequis

Suivez les étapes ci-dessous pour configurer des buckets Object Storage C3 et provisionner divers composants Autonomous Database. Vous devez terminer ces étapes avant de configurer Autonomous Database pour communiquer avec les buckets Object Storage C3.
  • Créez un bucket Object Storage C3.
  • créer un utilisateur et un groupe. Ajoutez l'utilisateur au groupe et configurez les stratégies requises pour permettre à l'utilisateur de gérer les fichiers (ajout/lecture/suppression) vers le bucket Object Storage C3.
    Par exemple :
    Allow group <group_name> to manage objects in tenancy where
target.bucket.name='<new_bucket_name_created>'
  • Créez une clé d'API pour l'utilisateur créé. A partir du processus de génération de clé d'API, notez les informations suivantes : user_ocid, tenancy_ocid, fingerprint, region. En outre, enregistrez les fichiers de clés PEM publiques et privées créés lors du processus de génération de clé d'API. Ces informations sont requises pour configurer le package DBMS_CLOUD ultérieurement.
  • Téléchargez la chaîne d'autorité de certification https comme indiqué ci-dessous. Cette chaîne d'autorité de certification permet aux applications client d'authentifier le bucket Object Storage C3 via le protocole HTTPS. Les certificats HTTPS sont généralement enregistrés dans un fichier crt, par exemple c3_ca.crt. Obtenez la chaîne d'autorité de certification en pointant un navigateur vers l'URL suivante : https://iaas.domainname/cachain, où domainname est le nom du domaine DNS configuré lors du déploiement de l'infrastructure C3.
  • Créez une machine virtuelle de calcul. Une fois la nouvelle machine virtuelle démarrée, copiez le fichier de clés PEM privées et le fichier de certificat C3 https créé dans les étapes ci-dessus vers la machine virtuelle.
  • Créez une ressource d'infrastructure Exadata.
  • Création d'un cluster de machines virtuelles Autonomous
  • Création d'une base de données Conteneur Autonomous.
  • Créez une instance Autonomous Database.

Configuration d'Autonomous Database pour communiquer avec le bucket Object Storage C3

Vous devez effectuer les deux tâches suivantes pour qu'Autonomous Database communique avec le bucket Object Storage C3 :
  • Ajoutez le certificat HTTPS C3 Object Storage au portefeuille TCPS de Grid Infrastructure de cluster de machines virtuelles Autonomous. Par exemple, l'emplacement du portefeuille est /var/opt/oracle/dbaas_acfs/grid/tcps_wallets. Cette opération est nécessaire pour qu'Autonomous Database puisse authentifier la connexion HTTPS au stockage d'objet C3.
  • Ajoutez une entrée à la table C##CLOUD$SERVICE_dbms_cloud_store de la base de données Conteneur Autonomous créée ci-dessus. Elle indique au package DBMS_CLOUD que le bucket C3 Object Storage est une banque cloud valide. Voici un exemple de commande SQL :
    SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
Dans les instances Autonomous Database, vous ne pouvez pas effectuer les deux tâches ci-dessus en tant qu'utilisateur standard. Oracle Cloud Operations doit exécuter ces deux tâches pour le compte de l'utilisateur standard. Vous devez vous connecter à My Oracle Support (MOS) pour créer une demande d'assistance pour les opérations Oracle Cloud afin d'effectuer les deux tâches. Vous devez ajouter les informations suivantes au ticket. Vous obtiendrez ces valeurs une fois les étapes de la section terminées.
  • OCID de la ressource d'infrastructure Exadata
  • OCID du cluster d'unités virtuelles Autonomous
  • OCID de la base Conteneur Autonomous
  • C3 URL Object Storage
  • C3 Fichier de certificat HTTPS Object Storage

Une fois que Cloud Operations a terminé les tâches ci-dessus, connectez-vous à Autonomous Database. Utilisez la procédure DBMS_CLOUD.CREATE_CREDENTIAL pour fournir à Autonomous Database les informations d'authentification requises pour la connexion au bucket Object Storage C3. Pour plus d'informations, reportez-vous à CREATE_CREDENTIAL.