Transforme Dados com Transformações de Dados no Autonomous AI Database

Use Transformações de Dados no Data Studio para projetar processos gráficos de integração e transformação de dados para o Oracle Autonomous AI Database. O serviço Data Transforms permite criar cargas de dados, fluxos de dados e fluxos de trabalho sem gravar código.

Os carregamentos de dados movem dados de conexões de origem para conexões de destino, os fluxos de dados definem como os dados são movidos e transformados entre sistemas e os fluxos de trabalho definem a sequência na qual os fluxos de dados, os carregamentos de dados e outras etapas são executados.

Quando você executa esses objetos, o agente de runtime do Oracle Data Transforms orquestra os jobs e gera o código para você.

Este tópico fornece um ponto de entrada para entender quando e como usar o Data Transforms com o Autonomous AI Database. Para obter referência completa, consulte a documentação do Data Studio.

Quando usar o Data Transforms

Use o Data Transforms quando precisar de uma maneira visual e de baixo código para mover, transformar, programar e monitorar o trabalho de integração de dados para o Autonomous AI Database.

Por exemplo, use-a para:

Crie carregamentos de dados para carregar várias entidades de dados de uma conexão de origem para uma conexão de destino.
Crie fluxos de dados para mover e transformar dados entre sistemas usando componentes como junções, filtros, mapeamentos, restrições, agregados, expressões, pesquisas, conjuntos, classificações e outras funções de banco de dados.
Crie workflows para organizar vários fluxos de dados, cargas de dados, variáveis e workflows em uma sequência de execução controlada.
Programar fluxos de dados ou workflows para execução em um horário ou intervalo especificado.
Monitore o status de execução para carregamentos de dados, fluxos de dados e workflows do painel de status ou das páginas Jobs.
Use variáveis para parametrizar fluxos de dados e workflows.
Usar modelos de machine learning em fluxos de dados, incluindo etapas de modelo de previsão que gravam a saída em uma tabela de destino.
Exportar e importar objetos de Transformação de Dados, como projetos, conexões, carregamentos de dados, fluxos de dados, workflows e programações, entre ambientes.

Use outras opções de carregamento ou transformação do Autonomous AI Database, como SQL, PL/SQL, DBMS_CLOUD, Oracle Data Pump ou ferramentas de orquestração externas, quando precisar de um workflow totalmente baseado em script, administrativo ou aplicativo, em vez de um workflow visual do Data Studio. Consulte Carregar Dados no Autonomous AI Database para saber mais sobre essas opções de carregamento de dados.

Como a Transformação de Dados funciona com o Autonomous AI Database

As Transformações de Dados estão disponíveis no Database Actions no Data Studio para Autonomous AI Database. Você pode abri-lo no cartão Transformações de Dados na página Database Actions ou no menu Data Studio no seletor do Database Actions. Para usar a ferramenta Transformações de Dados, acesse como usuário ADMIN ou como um usuário que tenha a atribuição DATA_TRANSFORM_USER.

O Data Transforms também está disponível como uma listagem separada do OCI Marketplace chamada Data Integrator: Web Edition. Se uma instância do Data Transforms do OCI Marketplace for registrada em um Autonomous AI Database, o cartão Data Transforms no Database Actions continuará a abrir essa instância registrada do Marketplace. Para usar a instância incorporada do Data Transforms, cancele o registro da instância do Marketplace.

Ao abrir o Data Transforms pela primeira vez, você deve fornecer credenciais de usuário do banco de dados. Após o início do serviço, a home page Transformações de Dados é aberta e você pode exibir a conexão do Autonomous AI Database na guia Conexões.

Consulte Acessar Transformações de Dados da Oracle do Data Studio para obter etapas de acesso, função necessária, comportamento de entrada pela primeira vez e comportamento de registro do Marketplace.

Antes de começar

Antes de criar transformações, verifique se:

Seu usuário tem acesso ao Database Actions e tem a atribuição DATA_TRANSFORM_USER, a menos que você esteja usando o usuário ADMIN.
Os sistemas de origem e destino necessários podem ser acessados pela rede da OCI usada pelo Autonomous AI Database. As conexões do Data Transforms são usadas para estabelecer conexão com tecnologias suportadas acessíveis pela sua rede da OCI. Consulte Trabalhar com Conexões para obter mais detalhes.
Se o Autonomous AI Database usar um ponto final privado, as origens de dados privadas deverão ser acessíveis de clientes na mesma VCN. Consulte Notas de Transformação de Dados para obter observações sobre origens de dados privadas e jobs de longa execução.
Você entende qual ambiente do Data Transforms está usando: Data Transforms incorporadas no Autonomous AI Database, uma instância registrada do Data Transforms ou a listagem do Marketplace Data Integrator: Web Edition. Alguns recursos documentados são marcados com emblemas que indicam onde se aplicam.

Transformações de Dados Abertas

Para abrir Transformações de Dados:

Abra o Database Actions para seu Autonomous AI Database.
Selecione Data Studio.
Selecione Transformações de Dados.
Acesse como ADMIN ou como usuário do banco de dados com a atribuição DATA_TRANSFORM_USER.
Se solicitado, forneça as credenciais de usuário do banco de dados necessárias para usar a conexão do Data Transforms.
Use a home page Transformações de Dados para criar ou gerenciar conexões, projetos, cargas de dados, fluxos de dados, workflows, jobs, variáveis e operações de importação ou exportação.

Para concluir as etapas da tarefa, use os links de documentação do Data Studio na seção a seguir.

O que você pode fazer nas Transformações de Dados

Conexões: Crie e gerencie conexões com sistemas de origem e destino, incluindo banco de dados, aplicativo, serviço, Object Storage, REST e conexões personalizadas baseadas em JDBC.

Consulte Trabalhar com Conexões para criar conexões, tipos de conexão suportados, conectores personalizados, conexões do serviço Object Storage, conexões REST e tarefas de conexão relacionadas.
Projetos: Organize fluxos de dados, workflows, variáveis, cargas de dados e jobs em grupos lógicos.

Consulte Trabalhar com Projetos para obter orientação sobre como organizar o trabalho de Transformações de Dados em contêineres de projetos.
Carregamentos de Dados: Mova várias entidades de dados de uma conexão de origem para uma conexão de destino e selecione ações de carregamento, como recriar, truncar, anexar, anexar incremental ou mesclagem incremental, quando houver suporte.

Consulte Criar e Executar Carregamentos de Dados para saber como criar carregamentos de dados, selecionar conexões de origem e destino, selecionar opções de processamento de carregamento e executar carregamentos de dados.
Entidades de Dados: Representam estruturas tabulares de origem ou destino que podem ser importadas, criadas, usadas em fluxos de dados e inspecionadas.

Consulte Trabalhar com Entidades de Dados para obter informações sobre como importar, criar e inspecionar entidades de dados usadas por cargas de dados e fluxos de dados.
Fluxos de Dados: Crie lógica de transformação visual conectando origens, destinos e componentes de transformação em uma tela de design.

Consulte Sobre Fluxos de Dados para saber mais sobre como criar e editar fluxos de dados visuais, adicionar componentes, mapear colunas, validar e executar fluxos de dados.
Workflows: Orquestre vários fluxos de dados, cargas de dados, variáveis e workflows em uma sequência definida.

Consulte Introdução a Workflows para obter informações sobre como criar e executar workflows que sequenciam fluxos de dados, carregamentos de dados, variáveis e outras etapas do workflow.
Programações: Programe fluxos de dados ou workflows para execução posterior ou recorrente.

Consulte Programar Fluxos de Dados ou Workflows para saber como programar o trabalho de transformação para execução programada.
Jobs e monitoramento: Rastreie execuções em execução e concluídas, revise os detalhes do job, execute novamente os jobs, exclua os jobs e inspecione os detalhes do erro.

Consulte Monitorar Status de Cargas de Dados, Fluxos de Dados e Workflows para obter orientação sobre como usar o painel de status e os links de job para monitorar a execução.
Variáveis: Armazena valores que podem ser substituídos em fluxos de dados e workflows no momento da execução.

Consulte Criar e Usar Variáveis para saber como criar variáveis e usá-las em fluxos de dados e workflows.
Modelos de machine learning: Crie entidades de dados de modelo de ML e use etapas de modelo de ML em fluxos de dados.

Consulte Usar Modelos de Aprendizado de Máquina (ML) para obter orientação sobre como criar entidades de dados de modelo de ML e usar modelos de ML em fluxos de dados.
Exportar e importar: Mova metadados do Data Transforms entre ambientes exportando e importando objetos por meio do serviço Object Storage.

Consulte Exportar e Importar Objetos para obter informações sobre como mover objetos de Transformação de Dados entre ambientes.