Consultar Dados Externos no Oracle Compute Cloud at Customer

Descreve pacotes e ferramentas para permitir que as implantações do Autonomous Database no Exadata Cloud@Customer carreguem, consultem e gerenciem dados não estruturados criando tabelas externas e tabelas particionadas externas com base em objetos no Data Lakes.

Você pode usar o pacote DBMS_CLOUD para configurar implantações do Autonomous Database no Exadata Cloud@Customer para acessar os dados não estruturados armazenados no Bucket de Armazenamento de Objetos do Oracle Compute Cloud at Customer (C3).

Visão geral

Você precisa de uma plataforma de dados que possa extrair insights de negócios de dados estruturados e não estruturados. A combinação de dados estruturados disponíveis em um data warehouse e dados não estruturados disponíveis em um Data Lake é conhecida como Data Lakehouse.

Um Autonomous Data Lakehouse permite a análise de dados em dados estruturados e não estruturados. Os dados estruturados são armazenados em um Autonomous Data Warehouse, enquanto os dados não estruturados são armazenados em um Data Lake configurado em C3 Buckets do Object Storage. O Autonomous Data Warehouse pode consultar, carregar e gerenciar objetos no Data Lake usando um pacote de banco de dados chamado DBMS_CLOUD. Este pacote permite que o Autonomous Database crie tabelas particionadas externas e externas em objetos do data lake, como arquivos csv, txt, Avro e Parquet. Você pode criar Autonomous Data Lakehouses combinando os recursos de implantações do Autonomous Database no Exadata Cloud@Customer e no Oracle C3.

Um Autonomous Data Lakehouse tem dois componentes principais: um Autonomous Data Warehouse e um Data Lake. O Autonomous Data Warehouse é criado usando implantações do Autonomous Database no Exadata Cloud@Customer, enquanto o Data Lake é criado usando Buckets do serviço C3 Object Storage. O Autonomous Database hospeda os dados relacionais estruturados, enquanto o Data Lake hospeda coleções de dados não estruturados na forma de txt, csv, Avro, Parquet e outros tipos de arquivo. Você pode consultar o Autonomous Database e o banco de dados determina onde encontrar os resultados, seja nos dados estruturados, nos dados não estruturados ou em uma combinação dos dois. Você pode usar o pacote DBMS_CLOUD para configurar implantações do Autonomous Database no Exadata Cloud@Customer para carregar, consultar e gerenciar dados não estruturados criando tabelas particionadas externas e externas com base em objetos no Data Lakes.

Pré-requisitos

Siga as etapas abaixo para configurar C3 Buckets do Object Storage e provisionar vários componentes do Autonomous Database. Você precisa concluir essas etapas antes de configurar o Autonomous Database para se comunicar com os Buckets do Serviço Object Storage C3.
  • Crie um C3 Bucket do Serviço Object Storage.
  • Crie um usuário e um grupo. Adicione o usuário ao grupo e configure as políticas necessárias para permitir que o usuário gerencie arquivos (adicionar/ler/remover) para o Bucket do Serviço Object Storage C3.
    Exemplo:
    Allow group <group_name> to manage objects in tenancy where
target.bucket.name='<new_bucket_name_created>'
  • Crie uma Chave de API para o usuário criado. No processo de geração de chave de API, observe as seguintes informações: user_ocid, tenancy_ocid, fingerprint, region. Além disso, salve os arquivos de chave PEM Pública e Privada criados durante o processo de geração de chave de API. Essas informações são necessárias para configurar o pacote DBMS_CLOUD posteriormente.
  • Faça download da cadeia de autoridade de certificado https conforme mostrado abaixo. Essa cadeia de autoridade de certificação permite que os aplicativos clientes autenticem o Bucket de Armazenamento de Objetos C3 por meio do protocolo https. Os certificados https são geralmente salvos em um arquivo crt, por exemplo, c3_ca.crt. Obtenha a cadeia de autoridade de certificação apontando um browser para o seguinte URL: https://iaas.domainname/cachain, em que domainname é o nome do domínio DNS configurado durante a implantação da infraestrutura C3.
  • Crie uma nova VM do Compute. Quando a nova VM for iniciada, copie o arquivo de chave PEM Privado e o arquivo de certificado https C3 criado nas etapas acima para a VM.
  • Crie um Recurso do Exadata Infrastructure.
  • Crie um Cluster de VMs Autônomas.
  • Crie uma ACD (Autonomous Container Database).
  • Crie um Autonomous Database.

Configurando o Autonomous Database para se comunicar com o Bucket de Armazenamento de Objetos C3

Você precisa concluir as duas tarefas a seguir para que o Autonomous Database se comunique com o Bucket do Serviço C3 Object Storage:
  • Adicione o certificado https do serviço Object Storage C3 à Wallet TCPS do Autonomous VM Cluster Grid Infrastructure. Por exemplo, a localização da wallet é /var/opt/oracle/dbaas_acfs/grid/tcps_wallets . Isso é necessário para que o Autonomous Database possa autenticar a conexão https com o serviço C3 Object Storage.
  • Adicione uma entrada à tabela C##CLOUD$SERVICE_dbms_cloud_store no ACD criado acima. Isso se destina a informar ao pacote DBMS_CLOUD que o bucket do serviço C3 Object Storage é um armazenamento na nuvem válido. Um exemplo de comando SQL para fazer isso é:
    SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
Nos Autonomous Databases, você não pode concluir as duas tarefas acima como usuário regular. O Oracle Cloud Operations precisa executar essas duas tarefas em nome do usuário comum. Você precisa fazer log-in no MOS (My Oracle Support) para criar uma nova Solicitação de Suporte para Operações do Oracle Cloud para executar as duas tarefas. Você precisa adicionar as informações a seguir ao ticket. Você obterá esses valores depois de concluir as etapas no .
  • OCID do recurso Exadata Infrastructure
  • OCID do Cluster da VM Autônoma
  • OCID do ACD
  • C3 URL do Serviço Object Storage
  • C3 Arquivo de certificado https do serviço Object Storage

Depois que o Cloud Operations concluir as tarefas acima, faça log-in no Autonomous Database. Use o procedimento DBMS_CLOUD.CREATE_CREDENTIAL para fornecer ao Autonomous Database as informações de autenticação necessárias para estabelecer conexão com o Bucket do Serviço Object Storage C3. Consulte CREATE_CREDENTIAL para obter mais detalhes.