Catálogos externos

Catálogos externos são catálogos em que os dados são originados de um local fora do Oracle AI Data Platform Workbench.

Ícone Tutorial LiveLabs Sprint

Os catálogos externos se conectam a origens como Oracle Autonomous AI Lakehouse, Oracle AI Database e Oracle Autonomous AI Transaction Processing para extrair dados no seu AI Data Platform Workbench. Os catálogos externos usam as credenciais fornecidas durante a criação do catálogo externo para consultar a origem externa. Para obter mais informações sobre origens de dados, consulte Origens Internas.

Por exemplo, se você criar um catálogo externo para uma instância do Autonomous AI Lakehouse em que as credenciais de usuário do Autonomous AI Lakehouse usadas tenham acesso ao schema1, mas não ao schema2, somente o schema1 aparecerá no catálogo externo. Os usuários com permissões para o catálogo externo só podem consultar o esquema ao qual o usuário do Autonomous AI Lakehouse tem acesso.

Observação:

O Workbench da AI Data Platform não suporta a coleta de dados de esquemas e tabelas compartilhados entre Bancos de Dados Plugáveis (PDBs) ou de esquemas e tabelas mantidos pela Oracle.

Permissões Obrigatórias para o Autonomous AI Lakehouse e o Autonomous AI Transaction Processing

Quando você cria um catálogo externo no Workbench da Plataforma de Dados AI, as credenciais de usuário que você usa para se conectar devem ter pelo menos as seguintes permissões:
  • CREATE SESSION para estabelecer conexão com o banco de dados
  • SELECT acesso nos objetos necessários (tabelas/visualizações/tabelas externas) por meio de concessões de privilégio mínimo ou uma atribuição de leitura dedicada
  • READ, WRITE on DIRECTORY DATA_PUMP_DIR
Se você estiver inserindo dados ou criando uma nova tabela no catálogo externo, certifique-se de que o usuário faça parte do DWROLE. Para obter mais informações, consulte a documentação do Oracle Autonomous AI Transaction Processing, Manage User Privileges on Autonomous AI Database - Connecting with a Client Tool.

Limitações

Não há suporte para a operação UPDATE em catálogos externos. Use tabelas de catálogo externo para descoberta e acesso à consulta.

DDL não é suportado, mesmo quando as credenciais usadas para criar o catálogo externo têm permissões para executar instruções DDL.

O uso de maiúsculas e minúsculas do nome da tabela afeta a forma como a tabela é criada no Oracle Autonomous AI Lakehouse. Observe o comportamento de criação de tabela ao criar tabelas da Plataforma de Dados de IA no Autonomous AI Lakehouse
  • Se o nome da tabela for fornecido em letras maiúsculas, a tabela será criada usando letras maiúsculas e seguirá o comportamento padrão sem distinção entre maiúsculas e minúsculas no Autonomous AI Lakehouse.
  • Se o nome da tabela for fornecido em letras minúsculas, a tabela será criada com distinção entre maiúsculas e minúsculas no Autonomous AI Lakehouse. Os nomes de coluna das tabelas criadas por meio do Autonomous AI Lakehouse sempre são criados com distinção entre maiúsculas e minúsculas.

Criar um Catálogo Externo

Você pode conectar um catálogo do AI Data Platform Workbench a uma origem externa.

  1. Clique em Criar no painel de navegação esquerdo e selecione Catálogo. Você também pode navegar até o Catálogo mestre e clicar em Ícone Criar catálogo Criar Catálogo no Catálogo Mestre.
  2. Preencha os campos de nome ou descrição.
  3. Na lista drop-down Tipo de Catálogo, selecione Catálogo Externo.
  4. Selecione o tipo de origem externa.
    • Para o Oracle Autonomous AI Lakehouse, forneça um arquivo de wallet ou a configuração da instância.
    • Para o Oracle Autonomous AI Transaction Processing, forneça um arquivo de wallet ou a configuração da instância.
    • Para o Oracle AI Database, forneça um arquivo de wallet ou a configuração da instância.
    • Para Kafka, forneça o servidor de bootstrap. Separe vários servidores com uma vírgula. (Em breve)
  5. Preencha o nome do usuário e a senha.
  6. SSL é ativado por padrão. Desmarque a caixa para desativar o SSL.
  7. Clique em Criar.
    Os catálogos externos que estão extraindo dados de uma origem externa exibem um ícone de círculo giratório.
    Exibição em árvore do catálogo mestre com o ícone giratório Em andamento ao lado do catálogo destacado

    Você também pode monitorar o andamento em Execuções de Jobs.

Criar um Catálogo Externo para Redes Privadas

Você pode criar um catálogo externo que acesse origens de dados em uma rede privada.

  1. Clique em Criar no painel de navegação esquerdo e selecione Catálogo. Você também pode navegar até o Catálogo mestre e clicar em Ícone Criar catálogo Criar Catálogo no Catálogo Mestre.
  2. Preencha os campos de nome ou descrição.
  3. Na lista drop-down Tipo de Catálogo, selecione Catálogo Externo.
  4. Selecione o tipo de origem externa:
    • Para o Oracle Autonomous AI Lakehouse, forneça um arquivo de wallet ou a configuração da instância.
    • Para o Oracle Autonomous AI Transaction Processing, forneça um arquivo de wallet ou a configuração da instância.
    • Para o Oracle AI Database, forneça um arquivo de wallet ou a configuração da instância.
    • Para o Oracle Exadata Database Service, forneça o nome do host, da porta e do serviço (SID).
    • Para Snowflake, forneça o nome da conta, o nome do banco de dados e o data warehouse da Snowflake. Para o método de Autenticação, selecione Par de Chaves, forneça o arquivo de chaves privadas e a frase-senha da chave privada.
    • Para o Azure SQL, forneça o host, a porta, o nome de usuário e a senha. Opcionalmente, você pode incluir o nome do banco de dados.
    • Para MySQL, forneça o host, a porta, o nome de usuário e a senha.
    • Para Kafka, forneça o servidor de bootstrap. Separe vários servidores com uma vírgula. (Em breve)
  5. Preencha o nome do usuário e o usuário.
  6. SSL é ativado por padrão. Desmarque a caixa para desativar o SSL.
  7. Selecione Ativar rede privada.
  8. Selecione o espaço de trabalho com a configuração de rede privada desejada.
    Para obter informações sobre como configurar um espaço de trabalho configurado para redes privadas, consulte Criar um Espaço de Trabalho com Acesso à Rede Privada Ativado.
  9. Clique em Criar.
    Os catálogos externos que estão extraindo dados de uma origem externa exibem um ícone de círculo giratório.
    Exibição em árvore do catálogo mestre com o ícone giratório Em andamento ao lado do catálogo destacado

    Você também pode monitorar o andamento em Execuções de Jobs.

Atualizar Catálogos de Dados Externos

Você pode acionar uma atualização de todos os catálogos externos para atualizar seu conteúdo da origem.

  1. Na Home page, clique em Catálogo Mestre.
  2. Selecione o catálogo externo que deseja atualizar.
  3. Clique emAtualizarÍcone Atualizar.
    Quando você clica em Atualizar, os workflows começam em segundo plano para extrair e atualizar metadados de catálogos externos. Os catálogos que estão extraindo dados de uma origem externa exibem um ícone de círculo giratório.
    Exibição em árvore do catálogo mestre com o ícone giratório Em andamento ao lado do catálogo destacado

    Você também pode monitorar o andamento em Execuções de Jobs.

Atualizar Catálogos Externos com SQL

Você pode atualizar metadados para catálogos, esquemas e tabelas externos usando a gramática SQL.

Para atualizar um catálogo externo, use:

REFRESH EXTERNAL CATALOG <<catalog_name>>

Para atualizar um esquema em um catálogo externo, use:

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

Para atualizar uma tabela em um esquema em um catálogo externo, use:

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

Para obter mais informações, consulte Gramática SQL.

Editar uma Descrição do Catálogo Externo

Você poderá editar a descrição dos catálogos externos após a criação se seu conteúdo ou finalidade tiver sido alterado.

  1. Na Home page, clique em Catálogo mestre.
  2. Ao lado do seu catálogo externo, clique em Ícone de três pontos de ações Ações e clique em Editar descrição.

    Menu de três pontos de ações para um catálogo aberto com Editar Descrição destacado

  3. Faça as alterações na descrição do catálogo e clique em Salvar.

Renomear um Catálogo Externo

Você pode renomear seus catálogos externos para fornecer um rótulo descritivo quando o conteúdo ou a finalidade do catálogo tiver sido alterado.

Não é possível renomear o catálogo padrão.
  1. Na Home page, clique em Catálogo mestre.
  2. Ao lado do seu catálogo, clique em Ícone de três pontos de ações Ações e clique em Renomear.

    Menu de três pontos de ações aberto para catálogo com Renomeação destacada

  3. Faça as alterações no nome do catálogo e clique em Salvar.

Editar uma Configuração de Catálogo Externo

Você pode editar a configuração de um catálogo externo para atualizar a senha necessária.

  1. Na Home page, clique em Catálogo mestre.
  2. Ao lado do seu catálogo, clique em Ícone de três pontos de ações Ações e clique em Editar configuração.
  3. Informe a nova senha do catálogo externo e clique em Salvar.

Excluir um Catálogo Externo

Você pode excluir catálogos externos para remover todos os metadados armazenados localmente.

A exclusão de um catálogo externo só exclui os metadados armazenados localmente. Os dados na origem não foram impactados.

  1. Na Home page, clique em Catálogo mestre.
  2. Ao lado do seu catálogo, clique em Ícone de três pontos de ações Ações e, em seguida, clique em Excluir.

    Menu de três pontos de ações aberto para catálogo com Excluir destacado

  3. Selecione Confirmar exclusão dos catálogos.
  4. Clique em Excluir.

Como Excluir Dados de Tabelas em um Catálogo Externo

Você pode usar o caminho de gravação do Spark para excluir linhas de uma tabela de catálogo externo quando o catálogo e a tabela forem configurados para suportar pushdown SQL DELETE.

Usar ID do Catálogo para Excluir Dados da Tabela: Exemplo Python

from pyspark.sql.types import StructType

df = spark.createDataFrame([], StructType([]))


    df.write
      .format("aidataplatform")
      .option("catalog.id", "<catalog>")
      .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
      .save()

Usar ID Catálogo para Excluir Dados da Tabela: Exemplo do Scala

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("catalog.id", "<catalog>")
  .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
  .save()

Exemplo de estilo de ingestão para excluir dados de tabela: exemplo Python

from pyspark.sql.types import StructType
df = spark.createDataFrame([], StructType([]))

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()

Exemplo de estilo de ingestão para excluir dados da tabela: Exemplo do Scala

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()