6 Preencher Catálogo Automaticamente
Este capítulo contém informações sobre como criar e gerenciar extratores automatizados para extrair dados de seus catálogos.
Sobre Preenchimento Automático
Você pode automatizar o processo de extração de metadados de origens diretamente para seus catálogos de dados.
A criação manual de esquemas, tabelas e partições de suas origens de dados é demorada e complicada. O Oracle AI Data Platform Workbench oferece a capacidade de extrair automaticamente metadados de origens de dados e criar entidades em catálogos que você especifica no extrator de metadados.
Você preenche automaticamente esses metadados em seu catálogo criando um extrator de metadados. Como parte da criação do extrator, você especifica o catálogo de destino para o qual extrair metadados e a origem dos metadados. Você pode optar por fazer com que o extrator crie tabelas em um esquema especificado ou deixar que o sistema sugira onde as tabelas serão criadas se nenhum esquema for especificado ou detectado.
O preenchimento automático pode extrair metadados dos seguintes tipos de arquivo:
- CSV
- JSON
- Avro
- ORC
- Parquet
- Delta Lake
Observação:
Quando você especifica a pasta de origem ao criar um extrator de metadados, todos os arquivos na pasta de folha devem ter o mesmo formato de dados.Observação:
O preenchimento automático suporta apenas sublinhados ( _ ) como caracteres especiais nos nomes das colunas.Você pode optar por revisar manualmente as entidades que são extraídas ou permitir que o sistema crie automaticamente as entidades a partir dos metadados extraídos. Ao extrair metadados, as entidades que causam erros são capturadas no log. Você pode exibir o log para ver quais entidades encontraram erros e executar uma ação para corrigir.
Revisar entidades manualmente permite que você aceite ou rejeite entidades individualmente. Você pode exibir entidades já aprovadas ou rejeitadas na guia Entidades Revisadas.
Os extratores exibem seu status para informar em qual estágio eles estão no momento e se a intervenção do usuário é necessária.
| Status do Extrator | Descrição |
|---|---|
| Não Iniciado | O extrator não foi iniciado. Inicie o extrator para começar. |
| Executando | Extrator em andamento |
| Pronta para revisão | O extrator foi executado e você escolheu a aprovação manual. As entidades extraídas devem ser revisadas e aceitas ou aprovadas. |
| Verificando | O extrator foi executado e você escolheu a aprovação manual. Algumas entidades foram revisadas ou aprovadas por um usuário, mas permanecem as entidades que exigem revisão. |
| Concluído | O extrator foi executado e as entidades foram aprovadas automática ou manualmente por um usuário |
Você pode exibir e usar extratores de metadados criados por outros usuários se tiver as permissões necessárias.
Criar Extrator de Metadados
Você pode criar extratores de metadados para automatizar a extração de entidades como esquema e tabelas para seus catálogos.
- Na Home page, clique em Preencher catálogo automaticamente.
- Clique em
Criar Extrator de Metadados. - Digite um nome para o extrator de metadados.
- Selecione o catálogo de destino na lista suspensa Catálogo.
- Selecione o tipo de origem apropriado na lista suspensa Tipo de Origem.
- Ao lado de Compute, clique em Procurar e escolha o cluster que o extrator deve usar. Clique em Selecionar.
- Para URI do Object Storage, selecione se deseja procurar em seus compartimentos o bucket ou a pasta para o qual deseja extrair metadados ou se deseja especificar o URI do bucket ou da pasta.
- Para Selecionar bucket ou pasta, clique em Procurar para selecionar o compartimento, o bucket e a pasta para os quais você deseja extrair metadados.
- Para Informar URI manualmente, informe o URI no campo fornecido.
- Selecione se as entidades são criadas com aprovação manual ou aprovadas automaticamente pelo sistema.
- Opcional: Selecione o esquema no qual as tabelas externas são criadas. Se nenhum esquema for especificado, o sistema criará tabelas no esquema com base na estrutura de pastas ou no esquema padrão se nenhum esquema for detectado.
Revisar manualmente entidades de metadados extraídas
Ao escolher o método manual de criação de entidades em um extrator de metadados, você precisa revisar as entidades extraídas e aprovar ou rejeitar a adição delas ao seu catálogo.
- Na Home page, clique em Preencher catálogo automaticamente.
- Clique no nome do extrator de metadados.
- Clique na guia Entidades aguardando revisão.
- Para cada entidade, selecione Aprovar ou Rejeitar.
- Opcional: Selecione Aprovar Tudo ou Rejeitar Tudo para definir todas as entidades em revisão para o status selecionado.
- Clique em Enviar.
Exibir Entidades Revisadas
Você pode ver entidades que foram revisadas manual ou automaticamente como parte da extração de metadados e ver detalhes de log, detalhes da tabela ou esquema de coluna para essa entidade.
- Na Home page, clique em Preencher catálogo automaticamente.
- Clique no nome do extrator de metadados.
- Clique na guia Entidades revisadas.
- Ao lado de uma entidade, clique em
Ações.- Clique em Exibir detalhes da tabela para ver os detalhes da tabela da entidade selecionada.
- Clique em Exibir esquema de coluna para ver o esquema de coluna da entidade selecionada.
- Clique em Exibir logs para ver os logs do extrator de metadados da entidade selecionada.
Exibir Detalhes do Extrator de Metadados
Você pode exibir os detalhes de um extrator de metadados para ver seu status, método de criação de metadados, localização base e detalhes de criação.
- Na Home page, clique em Preencher catálogo automaticamente.
- Clique no nome do extrator de metadados.
- Clique na guia Detalhes.