Consulta de datos externos en Oracle Compute Cloud at Customer

Describe paquetes y herramientas para permitir que los despliegues de Autonomous Database en Exadata Cloud@Customer carguen, consulten y gestionen datos no estructurados mediante la creación de tablas externas y tablas particionadas externas a partir de objetos en Data Lakes.

Puede utilizar el paquete DBMS_CLOUD para configurar despliegues de Autonomous Database en Exadata Cloud@Customer para acceder a los datos no estructurados almacenados en el cubo de almacenamiento de objetos de Oracle Compute Cloud at Customer (C3).

Visión general

Necesitas una plataforma de datos que pueda extraer información empresarial de datos estructurados y no estructurados. La combinación de datos estructurados disponibles en un almacén de datos y datos no estructurados disponibles en un lago de datos se conoce como Data Lakehouse.

Un lakehouse de datos autónomo permite el análisis de datos tanto de datos estructurados como no estructurados. Los datos estructurados se almacenan en una instancia de Autonomous Data Warehouse, mientras que los datos no estructurados se almacenan en un lago de datos configurado en cubos de Object Storage C3. Autonomous Data Warehouse puede consultar, cargar y gestionar objetos en el lago de datos mediante un paquete de base de datos denominado DBMS_CLOUD. Este paquete permite a Autonomous Database crear tablas particionadas externas y externas en objetos de lago de datos como archivos csv, txt, Avro y Parquet. Puede crear almacenes de datos autónomos combinando las capacidades de los despliegues de Autonomous Database en Exadata Cloud@Customer y Oracle C3.

Un lakehouse de datos autónomo tiene dos componentes principales: una instancia de Autonomous Data Warehouse y un lago de datos. Autonomous Data Warehouse se crea mediante despliegues de Autonomous Database en Exadata Cloud@Customer, mientras que el lago de datos se crea mediante cubos de Object Storage C3. Autonomous Database aloja los datos relacionales estructurados, mientras que Data Lake aloja recopilaciones de datos no estructurados en forma de txt, csv, Avro, Parquet y otros tipos de archivos. Puede consultar Autonomous Database y la base de datos determina dónde encontrar los resultados, ya sea en los datos estructurados, los datos no estructurados o una combinación de ambos. Puede utilizar el paquete DBMS_CLOUD para configurar despliegues de Autonomous Database en Exadata Cloud@Customer para cargar, consultar y gestionar datos no estructurados mediante la creación de tablas particionadas externas y externas a partir de objetos en Data Lakes.

Requisitos

Siga los pasos que se indican a continuación para configurar C3 cubos de Object Storage y aprovisionar varios componentes de Autonomous Database. Debe finalizar estos pasos antes de configurar Autonomous Database para comunicarse con los cubos de Object Storage C3.
  • Cree un cubo de Object Storage C3.
  • Crear un usuario y un grupo. Agregue el usuario al grupo y configure las políticas necesarias para permitir al usuario gestionar archivos (agregar/leer/eliminar) en el cubo de Object Storage C3.
    Por ejemplo:
    Allow group <group_name> to manage objects in tenancy where
target.bucket.name='<new_bucket_name_created>'
  • Cree una clave de API para el usuario creado. En el proceso de generación de claves de API, tenga en cuenta la siguiente información: user_ocid, tenancy_ocid, fingerprint, region. Además, guarde los archivos de clave PEM pública y privada creados durante el proceso de generación de claves de API. Esta información es necesaria para configurar el paquete DBMS_CLOUD más adelante.
  • Descargue la cadena de autoridad de certificación https como se muestra a continuación. Esta cadena de autoridad de certificación permite a las aplicaciones cliente autenticar el cubo de almacenamiento de objetos C3 mediante el protocolo https. Los certificados https normalmente se guardan en un archivo crt, por ejemplo c3_ca.crt. Obtenga la cadena de autoridad de certificación apuntando un explorador a la siguiente URL: https://iaas.domainname/cachain, donde domainname es el nombre del dominio DNS configurado durante el despliegue de la infraestructura C3.
  • Cree una nueva máquina virtual informática. Una vez que se inicie la nueva máquina virtual, copie el archivo de clave PEM privada y el archivo de certificado https C3 creado en los pasos anteriores en la máquina virtual.
  • Cree un recurso de infraestructura deExadata.
  • Cree un cluster de VM autónomo.
  • Creación de una base de datos de contenedores autónoma (ACD).
  • Cree una instancia de Autonomous Database.

Configuración de Autonomous Database para comunicarse con el cubo de Object Storage C3

Debe completar las dos tareas siguientes para que Autonomous Database se comunique con el cubo de Object Storage C3:
  • Agregue el certificado https de Object Storage C3 a la cartera de TCPS de Autonomous VM Cluster Grid Infrastructure. Por ejemplo, la ubicación de la cartera es /var/opt/oracle/dbaas_acfs/grid/tcps_wallets. Esto es necesario para que Autonomous Database pueda autenticar la conexión https al almacenamiento de objetos C3.
  • Agregue una entrada a la tabla C##CLOUD$SERVICE_dbms_cloud_store en la ACD creada anteriormente. Esto indica al paquete DBMS_CLOUD que el cubo de Object Storage C3 es un almacén en la nube válido. Un comando SQL de ejemplo para ello es:
    SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
En las instancias de Autonomous Database, no puede completar las dos tareas anteriores como usuario normal. Las operaciones de Oracle Cloud deben ejecutar estas dos tareas en nombre del usuario común. Debe conectarse a My Oracle Support (MOS) para crear una nueva solicitud de soporte para que las operaciones de Oracle Cloud realicen las dos tareas. Debe agregar la siguiente información al ticket. Estos valores se obtendrán después de completar los pasos de .
  • OCID del recurso de la infraestructura de Exadata
  • OCID del cluster de VM autónomo
  • OCID de ACD
  • C3 URL de Object Storage
  • C3 Archivo de certificado https de Object Storage

Una vez que Cloud Operations complete las tareas anteriores, conéctese a Autonomous Database. Utilice el procedimiento DBMS_CLOUD.CREATE_CREDENTIAL para proporcionar a Autonomous Database la información de autenticación necesaria para conectarse al cubo de Object Storage C3. Consulte CREATE_CREDENTIAL para obtener más información.