Consultar Dados Externos no Oracle Compute Cloud at Customer

Descreve pacotes e ferramentas para permitir que as implantações do Autonomous AI Database no Exadata Cloud@Customer carreguem, consultem e gerenciem dados não estruturados criando tabelas externas e tabelas particionadas externas com base em objetos no Data Lakes.

Você pode usar o pacote DBMS_CLOUD para configurar implantações do Autonomous AI Database no Exadata Cloud@Customer para acessar os dados não estruturados armazenados no Bucket de Armazenamento de Objetos do Oracle Compute Cloud at Customer (C3).

Visão geral

Você precisa de uma plataforma de dados que possa extrair insights de negócios de dados estruturados e não estruturados. A combinação de dados estruturados disponíveis em um data warehouse e dados não estruturados disponíveis em um Data Lake é conhecida como Data Lakehouse.

Um Autonomous Data Lakehouse permite a análise de dados em dados estruturados e não estruturados. Os dados estruturados são armazenados em um Autonomous AI Lakehouse, enquanto os dados não estruturados são armazenados em um Data Lake configurado em Buckets do C3 Object Storage. O Autonomous AI Lakehouse pode consultar, carregar e gerenciar objetos no Data Lake usando um pacote de banco de dados chamado DBMS_CLOUD. Este pacote permite que o Autonomous AI Database crie tabelas particionadas externas e externas em objetos de data lake, como arquivos csv, txt, Avro e Parquet. Você pode criar Autonomous Data Lakehouses combinando os recursos de implantações do Autonomous AI Database no Exadata Cloud@Customer e no Oracle C3.

Um Autonomous Data Lakehouse tem dois componentes principais: um Autonomous AI Lakehouse e um Data Lake. O Autonomous AI Lakehouse é criado usando implantações do Autonomous AI Database no Exadata Cloud@Customer, enquanto o Data Lake é criado usando Buckets do C3 Object Storage. O Autonomous AI Database hospeda os dados relacionais estruturados, enquanto o Data Lake hospeda coleções de dados não estruturados na forma de txt, csv, Avro, Parquet e outros tipos de arquivo. Você pode consultar o Autonomous AI Database e o banco de dados determina onde encontrar os resultados, seja nos dados estruturados, nos dados não estruturados ou em uma combinação dos dois. Você pode usar o pacote DBMS_CLOUD para configurar implantações do Autonomous AI Database no Exadata Cloud@Customer para carregar, consultar e gerenciar dados não estruturados criando tabelas particionadas externas e externas com base em objetos no Data Lakes.

Pré-requisitos

Siga as etapas abaixo para configurar Buckets do C3 Object Storage e provisionar vários componentes do Autonomous AI Database. Conclua essas etapas antes de configurar o Autonomous AI Database para se comunicar com os Buckets do C3 Object Storage.

• Criar um Bucket do C3 Object Storage.

• Crie um usuário e um grupo. Adicione o usuário ao grupo e configure as políticas necessárias para permitir que o usuário gerencie arquivos (adicionar/ler/remover) para o Bucket do C3 Object Storage.

  Exemplo:

  Allow group <group_name> to manage objects in tenancy where
  target.bucket.name='<new_bucket_name_created>'
  

• Crie uma Chave de API para o usuário criado. No processo de geração de chave de API, observe as seguintes informações: user_ocid, tenancy_ocid, fingerprint, region. Além disso, salve os arquivos de chave PEM Pública e Privada criados durante o processo de geração de chave de API. Essas informações são necessárias para configurar o pacote DBMS_CLOUD posteriormente.

• Faça download da cadeia de autoridade de certificado https conforme mostrado abaixo. Essa cadeia de autoridade de certificação permite que os aplicativos clientes autenticem o Bucket do C3 Object Storage por meio do protocolo https. Os certificados https são geralmente salvos em um arquivo crt, por exemplo, c3_ca.crt. Obtenha a cadeia de autoridade de certificação apontando um browser para o seguinte URL: https://iaas.domainname/cachain, em que domainname é o nome do domínio DNS configurado durante a implantação da infraestrutura C3.

• Crie uma nova VM do Compute. Quando a nova VM for iniciada, copie o arquivo de chave PEM Privado e o arquivo de certificado C3 https criado nas etapas acima para a VM.

• Crie um Recurso do Exadata Infrastructure.

• Crie um Cluster de VMs Autônomas.

• Crie uma ACD (Autonomous Container Database).

• Crie um Autonomous AI Database.

Configurando o Autonomous AI Database para se comunicar com o Bucket do C3 Object Storage

Você precisa concluir as duas tarefas a seguir para que o Autonomous AI Database se comunique com o Bucket do C3 Object Storage:

• Adicione o certificado https do C3 Object Storage à Wallet TCPS do Autonomous VM Cluster Grid Infrastructure. Por exemplo, a localização da wallet é /var/opt/oracle/dbaas_acfs/grid/tcps_wallets . Isso é necessário para que o Autonomous AI Database possa autenticar a conexão https com o C3 Object Storage.

• Adicione uma entrada à tabela C##CLOUD$SERVICE_dbms_cloud_store no ACD criado acima. Isso se destina a informar ao pacote DBMS_CLOUD que o bucket do C3 Object Storage é um armazenamento na nuvem válido. Um exemplo de comando SQL para fazer isso é:

  SQL>INSERT INTO C##CLOUD$SERVICE.dbms_cloud_store VALUES('ORACLE_BMC','<objectstorage.mydomain.com>',null,1);
  

Em Autonomous AI Databases, você não pode concluir as duas tarefas acima como um usuário regular. O Oracle Cloud Operations precisa executar essas duas tarefas em nome do usuário comum. Você precisa fazer log-in no MOS (My Oracle Support) para criar uma nova Solicitação de Suporte para Operações do Oracle Cloud para executar as duas tarefas. Você precisa adicionar as informações a seguir ao ticket. Você obterá esses valores depois de concluir as etapas no .

• OCID do recurso Exadata Infrastructure

• OCID do Cluster da VM Autônoma

• OCID do ACD

• C3 - URL do Serviço Object Storage

• Arquivo de certificado https do C3 Object Storage

Depois que o Cloud Operations concluir as tarefas acima, faça log-in no Autonomous AI Database. Use o procedimento DBMS_CLOUD.CREATE_CREDENTIAL para fornecer ao Autonomous AI Database as informações de autenticação necessárias para estabelecer conexão com o Bucket do C3 Object Storage. Consulte CREATE_CREDENTIAL para obter mais detalhes.