Catálogos externos

Catálogos externos são catálogos em que os dados são originados de um local fora do Oracle AI Data Platform Workbench.

LiveLabs Sprint

Os catálogos externos se conectam a origens como Oracle Autonomous AI Lakehouse, Oracle AI Database e Oracle Autonomous AI Transaction Processing para extrair dados no seu AI Data Platform Workbench. Os catálogos externos usam as credenciais fornecidas durante a criação do catálogo externo para consultar a origem externa. Para obter mais informações sobre origens de dados, consulte Origens Internas.

Por exemplo, se você criar um catálogo externo para uma instância do Autonomous AI Lakehouse em que as credenciais de usuário do Autonomous AI Lakehouse usadas tenham acesso ao schema1, mas não ao schema2, somente o schema1 aparecerá no catálogo externo. Os usuários com permissões para o catálogo externo só podem consultar o esquema ao qual o usuário do Autonomous AI Lakehouse tem acesso.

Observação:

O Workbench da AI Data Platform não suporta a coleta de dados de esquemas e tabelas compartilhados entre Bancos de Dados Plugáveis (PDBs) ou de esquemas e tabelas mantidos pela Oracle.

Permissões Obrigatórias para o Autonomous AI Lakehouse e o Autonomous AI Transaction Processing

Quando você cria um catálogo externo no Workbench da Plataforma de Dados AI, as credenciais de usuário que você usa para se conectar devem ter pelo menos as seguintes permissões:

• CREATE SESSION para estabelecer conexão com o banco de dados
• SELECT acesso nos objetos necessários (tabelas/visualizações/tabelas externas) por meio de concessões de privilégio mínimo ou uma atribuição de leitura dedicada
• READ, WRITE on DIRECTORY DATA_PUMP_DIR

Se você estiver inserindo dados ou criando uma nova tabela no catálogo externo, certifique-se de que o usuário faça parte do DWROLE. Para obter mais informações, consulte a documentação do Oracle Autonomous AI Transaction Processing, Manage User Privileges on Autonomous AI Database - Connecting with a Client Tool.

Limitações

Os catálogos externos suportam Consulta e DML. DDL não é suportado, mesmo quando as credenciais usadas para criar o catálogo externo têm permissões para executar instruções DDL.

Criar um Catálogo Externo

Você pode conectar um catálogo do AI Data Platform Workbench a uma origem externa.

1. Clique em Criar no painel de navegação esquerdo e selecione Catálogo. Você também pode navegar até o Catálogo mestre e clicar em Criar Catálogo no Catálogo Mestre.
2. Preencha os campos de nome ou descrição.
3. Na lista drop-down Tipo de Catálogo, selecione Catálogo Externo.
4. Selecione o tipo de origem externa.
   • Para o Oracle Autonomous AI Lakehouse, forneça um arquivo de wallet ou a configuração da instância.
   • Para o Oracle Autonomous AI Transaction Processing, forneça um arquivo de wallet ou a configuração da instância.
   • Para o Oracle AI Database, forneça um arquivo de wallet ou a configuração da instância.
   • Para Kafka, forneça o servidor de bootstrap. Separe vários servidores com uma vírgula. (Em breve)
5. Preencha o nome do usuário e a senha.
6. SSL é ativado por padrão. Desmarque a caixa para desativar o SSL.
7. Clique em Criar.
   Os catálogos externos que estão extraindo dados de uma origem externa exibem um ícone de círculo giratório.
   

   

   
   

   Você também pode monitorar o andamento em Execuções de Jobs.

Criar um Catálogo Externo para Redes Privadas

Você pode criar um catálogo externo que acesse origens de dados em uma rede privada.

1. Clique em Criar no painel de navegação esquerdo e selecione Catálogo. Você também pode navegar até o Catálogo mestre e clicar em Criar Catálogo no Catálogo Mestre.
2. Preencha os campos de nome ou descrição.
3. Na lista drop-down Tipo de Catálogo, selecione Catálogo Externo.
4. Selecione o tipo de origem externa.
   • Para o Oracle Autonomous AI Lakehouse, forneça um arquivo de wallet ou a configuração da instância.
   • Para o Oracle Autonomous AI Transaction Processing, forneça um arquivo de wallet ou a configuração da instância.
   • Para o Oracle AI Database, forneça um arquivo de wallet ou a configuração da instância.
   • Para o Oracle Exadata Database Service, forneça o nome do host, da porta e do serviço (SID).
   • Para Kafka, forneça o servidor de bootstrap. Separe vários servidores com uma vírgula. (Em breve)
5. Preencha o nome do usuário e o usuário.
6. SSL é ativado por padrão. Desmarque a caixa para desativar o SSL.
7. Selecione Ativar rede privada.
8. Selecione o espaço de trabalho com a configuração de rede privada desejada.
   Para obter informações sobre como configurar um espaço de trabalho configurado para redes privadas, consulte Criar um Espaço de Trabalho com Acesso à Rede Privada Ativado.
9. Clique em Criar.
   Os catálogos externos que estão extraindo dados de uma origem externa exibem um ícone de círculo giratório.
   

   

   
   

   Você também pode monitorar o andamento em Execuções de Jobs.

Atualizar Catálogos de Dados Externos

Você pode acionar uma atualização de todos os catálogos externos para atualizar seu conteúdo da origem.

1. Na Home page, clique em Catálogo Mestre.
2. Selecione o catálogo externo que deseja atualizar.
3. Clique emAtualizar.
   Quando você clica em Atualizar, os workflows começam em segundo plano para extrair e atualizar metadados de catálogos externos. Os catálogos que estão extraindo dados de uma origem externa exibem um ícone de círculo giratório.
   

   

   
   

   Você também pode monitorar o andamento em Execuções de Jobs.

Editar uma Descrição do Catálogo Externo

Você poderá editar a descrição dos catálogos externos após a criação se seu conteúdo ou finalidade tiver sido alterado.

1. Na Home page, clique em Catálogo mestre.
2. Ao lado do seu catálogo externo, clique em Ações e clique em Editar descrição.
   
   

   

   
   
3. Faça as alterações na descrição do catálogo e clique em Salvar.

Renomear um Catálogo Externo

Você pode renomear seus catálogos externos para fornecer um rótulo descritivo quando o conteúdo ou a finalidade do catálogo tiver sido alterado.

Não é possível renomear o catálogo padrão.

1. Na Home page, clique em Catálogo mestre.
2. Ao lado do seu catálogo, clique em Ações e clique em Renomear.
   
   

   

   
   
3. Faça as alterações no nome do catálogo e clique em Salvar.

Editar uma Configuração de Catálogo Externo

Você pode editar a configuração de um catálogo externo para atualizar a senha necessária.

1. Na Home page, clique em Catálogo mestre.
2. Ao lado do seu catálogo, clique em Ações e clique em Editar configuração.
3. Informe a nova senha do catálogo externo e clique em Salvar.

Acessar Tabelas do Catálogo Externo no Notebook

Você pode acessar tabelas de catálogos externos em seus notebooks usando nomes de três partes.

O push down é ativado por padrão e operações como agregações, projeção, filtros, poda de coluna, topN, limite, deslocamento, operadores boolianos, lógicos e relacionais são enviados para a origem.

1. Navegue até a interface de código do seu notebook.
2. Para ler dados da tabela de catálogo externo, use:

   df = spark.read.table("<<catalog_name>>.<<schema_name>>.<<table_name>>")

3. Para gravar dados em seu catálogo externo, há quatro opções:

   Option#1
   df.write.saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#2
   df.write.mode("append").insertInto("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#3
   df.write.mode("overwrite").saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#4
   df.write.option('write.mode', 'MERGE').option('write.merge.keys','merge column(s)').insertInto('<<catalog_name>>.<<schema_name>>.<<table_name>>')

Excluir um Catálogo Externo

Você pode excluir catálogos externos para remover todos os metadados armazenados localmente.

A exclusão de um catálogo externo só exclui os metadados armazenados localmente. Os dados na origem não foram impactados.

1. Na Home page, clique em Catálogo mestre.
2. Ao lado do seu catálogo, clique em Ações e, em seguida, clique em Excluir.
   
   

   

   
   
3. Selecione Confirmar exclusão dos catálogos.
4. Clique em Excluir.