Documentação do Oracle Cloud Infrastructure

Carregar Dados no Autonomous AI Lakehouse Usando uma Tarefa do Carregador de dados

Uma tarefa do carregador de dados ajuda a transformar e carregar dados em data lakes ou outros destinos, como o Oracle Autonomous AI Lakehouse.

Os dados de origem para carregamento podem vir de uma ou de várias entidades de dados em um esquema.

Neste tutorial, você:

  1. Crie uma tarefa do Carregador de Dados para transformar e carregar dados de uma única entidade do Object Storage no Autonomous AI Lakehouse.
  2. Publique a tarefa do carregador de dados em um Aplicativo.
  3. Execute a tarefa do carregador de dados.

1. Criando uma Tarefa do Carregador de Dados

  1. Na barra de tabulações, selecione a guia Abrir (ícone de mais e, em seguida, selecione Projetos.
  2. Na página Projetos, selecione DI_Lab.
  3. Na página Detalhes do projeto DI_Lab, selecione Tarefas no submenu do lado esquerdo.
  4. Na página Tarefas, selecione Criar tarefa e, em seguida, Carregador de dados.

    A página Criar tarefa do carregador de dados é aberta em uma nova guia. Etapas numeradas e nomeadas na parte superior orientam você na configuração. Uma marca de seleção é exibida em um ícone de etapa depois que você configura a etapa. Para percorrer as etapas, selecione Próxima ou Anterior. Também é possível navegar diretamente para uma etapa configurada selecionando o ícone.

  5. Na página Criar tarefa do carregador de dados, etapa Informações básicas, selecione o seguinte:
    Para este itemSelecione
    Tipo de origem Armazenamento de arquivos
    Tipo de destino Banco de dados
    Tipo de carga Entidade de dados única
  6. Para a tarefa Nome, informe Load Revenue Data into Data Warehouse. Em seguida, selecione Próximo para navegar até a próxima etapa.

    Uma marca de seleção é exibida no ícone da etapa Informações básicas após você ter configurado a etapa.

  7. Na etapa Origem, selecione o seguinte:
    Para este itemSelecione
    Ativo de dados Data_Lake
    Conexão Conexão Padrão
    Compartimento O compartimento que tem o bucket no qual você fez upload do arquivo de dados de amostra, REVENUE.CSV
    Bucket O bucket do Object Storage que contém o arquivo CSV de amostra
  8. Em File settings, selecione o seguinte:
    Para este itemSelecione
    Tipo de arquivo CSV
    Tipo de compactação Automático (Padrão)
    Os dados têm cabeçalho a caixa de seleção
    Delimitador VÍRGULA

    Você pode deixar as definições padrão como estão nos campos restantes.

  9. Em entidades de dados disponíveis, marque a opção REVENUE.CSV e, em seguida, selecione Definir como origem.

    O nome REVENUE.CSV é exibido ao lado de Entidade de dados selecionada.

  10. Selecione Criar para salvar a tarefa e continuar a edição.
  11. Selecione Próximo para avançar para a etapa Destino e, em seguida, selecione:
    Para este itemSelecione
    Ativo de dados Data_Warehouse
    Conexão Conexão Padrão
    Esquema BETA
  12. Em Local de preparação, você pode usar o local de preparação padrão que foi configurado ao criar o ativo de dados de destino.

    Como alternativa, você pode desmarcar a caixa de seleção para selecionar outro bucket do Object Storage.

  13. Em Definições de carga de entidades do destino, selecione Criar novas entidades do dados.

    Insert é a Estratégia de integração padrão.

  14. Em Opções de nome da entidade de dados de destino, selecione Especificar nome da entidade. Em seguida, no campo Nome da entidade, digite REVENUE_TARGET.
  15. Selecione Salvar para salvar a tarefa e continuar a edição.
  16. Selecione Próximo para navegar até a etapa Transformação.

    O Data Xplorer interativo é exibido. Na guia Atributos, os atributos da entidade de dados REVENUE.CSV são mostrados.

  17. Em Atributos, localize SRC_ORDER_NUMBER. Em seguida, no menu de transformações (menu de transformações) de SRC_ORDER_NUMBER, selecione Preenchimento Nulo.

    Menu Transformação

  18. Na caixa de diálogo Preenchimento de nulo, faça o seguinte:
    • Digite Not Available no campo Substituir.
    • Não selecione Manter atributos de origem.
    • Deixe o Nome e os campos restantes como estão.
  19. Selecione Aplicar.
  20. Selecione o ícone Transformações ao lado de um nome de entidade.

    Botão de expansão do painel de transformação

    O painel Transformações é aberto, em que você pode revisar a lista de transformações que são aplicadas ao Conjunto de Dados de Origem. Para remover uma transformação, selecione o ícone de exclusão ao lado do nome do atributo transformado.

    Painel de transformação expandido

  21. Para fechar o painel Transformações, selecione o ícone X.
  22. Ao lado de Atributos, selecione Dados para navegar até a guia Dados e localize SRC_ORDER_NUMBER.

    Os valores nulos em SRC_ORDER_NUMBER foram substituídos pela string Não Disponível.

  23. Selecione Próximo para navegar até a etapa Revisar e validar.

    A validação da tarefa começa automaticamente.

    Um resumo dos detalhes da configuração de cada etapa é apresentado em um bloco. Se você alterar a configuração de uma etapa, navegue até a etapa Revisar e validar para validar a tarefa novamente.

    O resultado da validação da tarefa é mostrado no último bloco, Validação.

  24. Se for bem-sucedida a validação, selecione Salvar e fechar.

2. Publicando uma Tarefa do Carregador de Dados

  1. Na página dos detalhes do projeto Laboratório do DI, selecione Tarefas no submenu.
  2. Na lista Tarefas, localize Load Revenue Data into Data Warehouse.
  3. Selecione o menu Ações (três pontos) e selecione Publicar no aplicativo.
  4. Na caixa de diálogo Publicar no aplicativo, selecione Lab Application.
  5. Selecione Publicar.

    Uma mensagem de notificação é exibida com um link para o Aplicativo para exibir a tarefa publicada.

  6. Selecione Exibir aplicativo na notificação. Em seguida, selecione X para fechar a notificação..

    É exibida a lista Patches na página de detalhes do Aplicativo. Quando você publica uma tarefa, uma entrada de patch é criada no Aplicativo.

  7. Na lista Patches, você pode monitorar o status da correção. Selecione Atualizar para obter as atualizações mais recentes de status.

    Patch é uma atualização feita no Aplicativo. Quando você publica uma tarefa, um patch de Publicação é criado. Quando você cancela a publicação de uma tarefa, um patch de Não Publicação é criado.

    Quando o status do patch muda para Success, uma entrada de tarefa publicada é criada na lista Tasks da página de detalhes do Aplicativo.

3. Executando uma Tarefa do Carregador de Dados

  1. Na barra da guia, selecione a guia Abrir (ícone de mais), em seguida, selecione Aplicativos.
  2. Selecione Aplicativo de Laboratório para abrir a página de detalhes.
  3. Na página de detalhes do Aplicativo, selecione Tarefas.
  4. Na lista Tarefas, no menu Ações (três pontos) para Carregar Dados de Receita no Data Warehouse, selecione Executar.

    Uma mensagem de notificação é exibida e a lista Execuções é exibida. Uma execução de tarefa do carregador de dados é criada na lista Execuções. Use a lista Execuções para exibir todas as execuções de tarefas e seus status.

  5. Na lista Execuções, selecione Atualizar para obter as atualizações de status da execução de tarefa mais recente.

    Saiba mais sobre execuções de tarefas.

    Quando o status da execução muda para Sucesso, você pode ver os valores de Leitura de dados e Linhas gravadas.