Visão Geral do Data Integration

Administradores, engenheiros de dados, desenvolvedores de ETL e operadores estão entre os diferentes tipos de profissionais de dados que usam o Oracle Cloud Infrastructure Data Integration.

Você pode desempenhar uma ou mais das seguintes atribuições:

Administradores: Supervisionar, gerenciar e monitorar o gerenciamento do ciclo de vida e as políticas de segurança do serviço.
Engenheiros de dados e desenvolvedores de ETL: Desenvolvem, criam e testaem soluções de integração de dados.
Operadores: Gerenciar, monitorar e diagnosticar execuções de integração de dados.

Dica

Assista a uma introdução em vídeo do serviço.

Sobre o Serviço

Antes de começar, o administrador deve atender aos requisitos de conectividade para que o serviço Data Integration possa estabelecer uma conexão com as origens de dados. Em seguida, o administrador cria espaços de trabalho e fornece a você o acesso a eles. Você usa espaços de trabalho para permanecer organizado e gerenciar facilmente diferentes ambientes de integração de dados.

Para cada solução de integração de dados, registra os ativos de dados para identificar os dados de origem e de destino a serem usados. Quando você estiver pronto para começar a projetar uma solução de integração de dados, o Data Integration fornecerá tarefas de integração e do carregador de dados.

Para criar uma tarefa de integração, inicie um fluxo de dados. O designer do serviço Data Integration é uma interface gráfica do usuário fácil de usar, na qual você pode selecionar entre diferentes operadores e criar visualmente o fluxo de dados. Inclui recursos de validação e depuração para ajudar a identificar e corrigir possíveis problemas antes de executar a tarefa.

Ao criar uma tarefa do carregador de dados, você especifica o ativo de dados de origem e configura transformações para limpar e processar os dados conforme eles são carregados no ativo de dados de destino.

Para executar um conjunto específico de processos em sequência ou em paralelo do início ao fim, crie um pipeline. A criação do design de um pipeline é semelhante à criação de um fluxo de dados, em que você usa operadores para adicionar as tarefas e atividades desejadas. Depois de criar um pipeline, você cria uma tarefa que o utiliza.

Depois de criar tarefas, publique-as no aplicativo padrão no Data Integration ou em um aplicativo criado. Em um aplicativo, você executa tarefas e monitora o andamento e o status delas. Também é possível programar tarefas para execuções automatizadas.

Conceitos do Data Integration

Veja a seguir uma lista de conceitos que seriam úteis para você saber ao usar o serviço Data Integration:

Espaço de Trabalho: O contêiner de todos os recursos do Data Integration, como projetos, pastas, ativos de dados, tarefas, fluxos de dados, pipelines, aplicativos e programações, associado a uma solução de integração de dados.
Projeto: Um contêiner dos recursos de design-time, como tarefas ou fluxos de dados e pipelines.
Pasta: Um contêiner dentro de um projeto ou de outra pasta para organizar recursos de design-time.
Ativo de dados: Representa uma origem de dados, como um banco de dados, um armazenamento de objetos, um arquivo ou um armazenamento de documentos, contendo os metadados e os detalhes da conexão da origem de dados.
Conexão: Inclui os detalhes necessários para estabelecer uma conexão com uma origem de dados. Uma conexão está sempre associada a um ativo de dados. Um ativo de dados pode ter mais de uma conexão.
Entidade de dados: Um conjunto de dados, como uma tabela ou view de banco de dados, ou um único arquivo lógico, com muitos atributos que descrevem seus dados.
Esquema: Um conjunto de entidades de dados dentro de um ativo de dados.
Fluxo de dados: Um recurso de design-time que define o fluxo de dados e qualquer operação nos dados entre os sistemas de origem e de destino. Para executar um fluxo de dados, adicione-o a uma tarefa de integração.
Pipeline: Um recurso de design-time para orquestrar tarefas e atividades em sequência ou em paralelo para facilitar um processo do início ao fim. Para executar um pipeline, adicione-o a uma tarefa de pipeline.
Operador: Um operador representa uma origem de entrada ou um destino de saída ou uma transformação em um fluxo de dados. Em um pipeline, um operador representa uma tarefa de design-time ou publicada, ou uma atividade, como mesclagem, decisão e fim.
Parâmetro: Um tipo de variável que você pode designar aos detalhes de um operador para poder reutilizar o design do fluxo de dados ou do pipeline com diferentes recursos e valores. Ao usar parâmetros e definir valores padrão durante o design time, você pode alterar os valores posteriormente, em tarefas que encapsulam o fluxo de dados ou o pipeline, ou quando você executar as tarefas.
Tarefa: Um recurso de design-time que especifica um conjunto de ações a serem executadas nos dados. Você pode criar tarefas do carregador de dados, tarefas de integração para fluxos de dados e tarefas de pipeline para pipelines. É possível também criar tarefas SQL e tarefas do OCI Data Flow. Para executar uma tarefa, publique-a em um aplicativo para testá-la ou implantá-la em produção.
Aplicativo: Um contêiner para artefatos de runtime, como tarefas que foram publicadas junto com suas dependências. Você usa aplicativos para testá-los e eventualmente implantá-los em produção.
Patch: Uma atualização para um aplicativo. Quando você publica uma única tarefa ou um grupo de tarefas ou quando cancela a publicação de uma tarefa, essas atividades são registradas como patches em um aplicativo. Quando você cria um aplicativo (alvo) fazendo uma cópia dos recursos existentes em outro aplicativo (fonte), um patch é adicionado ao aplicativo (alvo). Nas atualizações subsequentes do aplicativo de destino, sincronizando com alterações do aplicativo de origem, um patch também é criado no aplicativo (alvo).
Execução: Um artefato de runtime que representa a execução de uma tarefa.
Programação: Um recurso de tempo de execução que define quando e com que frequência qualquer tarefa publicada é executada automaticamente.
Programação de tarefa: Um recurso de runtime associado a uma tarefa publicada específica e a uma programação existente para definir quando e com que frequência a tarefa é executada automaticamente.

Arquiteturas de Referência

Saiba mais sobre as arquiteturas de referência disponíveis para ajudá-lo a aprender a usar o Oracle Cloud Infrastructure Data Integration.

Arquiteturas de referência são arquiteturas, configurações e práticas recomendadas para implantação no Oracle Cloud Infrastructure. Eles estão disponíveis no Oracle Architecture Center.

Na página principal do Architecture Center, digite OCI Data Integration no campo de pesquisa e pressione Enter.

Veja a seguir alguns exemplos de arquiteturas de referência que você pode encontrar:

Maneiras de Acessar o Oracle Cloud Infrastructure

Você pode acessar o Oracle Cloud Infrastructure com a Console (uma interface baseada em browser) ou a API REST.

As instruções para a Console e a API do Serviço Data Integration estão incluídas em tópicos neste guia. Para ver uma lista de SDKs disponíveis, consulte SDKs e CLI (Software Development Kits e Interface de Linha de Comando).

Para acessar a Console, você deve usar um browser suportado. Consulte Navegadores Suportados. No menu de navegação na parte superior desta página de ajuda, você pode usar o link Console do Oracle Cloud para ir para a página de acesso. Você será solicitado a informar um nome de conta ou tenancy na nuvem. Se solicitado a informar um domínio de identidades, na maioria dos casos, deixe-o em Padrão e informe um nome de usuário e uma senha.

Identificadores de Recursos

A maioria dos tipos de recursos do Oracle Cloud Infrastructure tem um identificador exclusivo designado pela Oracle chamado OCID (Oracle Cloud ID).

Para obter informações sobre o formato OCID e outras maneiras de identificar recursos, consulte Identificadores de Recursos.

Limites e Cotas do Serviço

Limites do Serviço

O serviço Data Integration limita você a cinco espaços de trabalho por região.

Cotas de Compartimento

Você pode limitar o número de recursos do espaço de trabalho em um compartimento, criando um limite de cota. Por exemplo:

set data-integration quota dis-workspace-count to 3 in compartment <compartment_name>

Tempo de Retenção

O Data Integration mantém espaços de trabalho excluídos e com falha por 15 dias. Após 15 dias, os espaços de trabalho são removidos permanentemente.

Serviços Integrados

O serviço Data Integration está integrado em vários serviços e recursos do Oracle Cloud Infrastructure.

Serviço IAM (Identity and Access Management)

O Data Integration se integra ao serviço OCI IAM com Domínios de Identidade para autenticação e autorização, para todas as interfaces (Console, SDK, CLI e API REST).

Um administrador configura grupos, compartimentos e políticas. As políticas controlam quem pode criar usuários, criar e gerenciar a rede na nuvem, iniciar instâncias, criar buckets, fazer download de objetos e assim por diante.

Se você for um usuário comum, não um administrador, que precisa usar os recursos do Oracle Cloud Infrastructure que a empresa possui, tenha o administrador configurado o ID do usuário para você. O administrador pode confirmar o(s) compartimento(s) que você pode usar.

O administrador pode criar políticas comuns para criar usuários do serviço Data Integration. Pode também criar as Políticas do Data Integration para controlar o acesso do usuário ao serviço Data Integration.

Solicitações de Serviço

O Data Integration não está integrado na API de Solicitações de Serviço comum. O serviço Data Integration usa sua própria API para solicitações de serviço. Consulte WorkRequest Referência.

Tenancy Explorer

O explorador de tenancies permite exibir todos os recursos de um compartimento específico em todas as regiões. O explorador de tenancies é acionado pelo serviço Search e suporta o tipo de recurso do Data Integration, workspace.

Monitoramento

O Oracle Cloud Infrastructure Monitoring permite monitorar ativamente e passivamente os recursos do Data Integration usando métricas e alarmes. Métricas do Serviço Data Integration capturam o número de bytes lidos e gravados, bem como execuções de tarefas ativas, bem-sucedidas e com falha.

Sobre Segurança de Dados

Além do controle e da transparência que você obtém com a segurança do Oracle Cloud Infrastructure, o serviço Data Integration também lida com os dados com cuidado.

O isolamento do cliente do Oracle Cloud Infrastructure garante que cada espaço de trabalho do Data Integration criado obtenha sua própria instância de computação reservada. Um espaço de trabalho é isolado de outros espaços de trabalho na mesma tenancy e de outras tenancies. O serviço Data Integration não armazena dados nesta instância de computação além das execuções de tarefas para garantir que os dados estejam seguros.

O Data Integration usa o serviço Vault do Oracle Cloud Infrastructure para armazenar e criptografar informações confidenciais, como senhas, arquivos de wallet do ativo de dados e informações de conexão como segredos. Os esquemas e as entidades de dados são acessados em tempo real, quando necessário. Quando uma amostragem de dados é carregada na guia Dados de um fluxo de dados ou para configurar transformações na tarefa do carregador de dados, os dados são carregados da entidade de dados em tempo real.

Designe apenas os privilégios necessários às contas usadas para dataintegration. Por exemplo, o serviço Data Integration exige apenas acesso de leitura para consumir dados de ativos de dados.

Para obter mais informações, consulte:

Guia de Segurança do Oracle Cloud Infrastructure
Descrições do conceito de Vault e segredo no Oracle Cloud Infrastructure Vault
Proteger o Data Integration
Políticas do Data Integration

Atividades Típicas do Usuário do Data Integration

Estas são algumas atividades que você provavelmente executará como usuário do serviço Data Integration.


Atividade	Descrição
Acessando ou Criando Espaços de Trabalho	Acessar ou criar uma área de trabalho para os projetos do Data Integration e seus recursos (ativos de dados, fluxos de dados, tarefas etc.)
Criando um Ativo de Dados	Registrar as origens de dados com as quais você trabalha como ativos de dados do Data Integration
Criando uma Conexão	Adicionar novas conexões a ativos de dados
Usando Projetos e Pastas	Crie projetos e pastas para organizar os artefatos de tempo de design. Criar um projeto copiando um projeto existente
Criando um Fluxo de Dados	Projetar um fluxo de dados
Criando um Pipeline	Projetar um pipeline
Criando uma Tarefa de Integração (para um fluxo de dados) Criando uma Tarefa do Carregador de Dados Criando uma Tarefa de SQL Criando uma Tarefa do OCI Data Flow Criando uma Tarefa REST Criando uma Tarefa de Pipeline (para um pipeline)	Criar tarefas
Criando Aplicativos	Crie um Aplicativo para executar e programar tarefas: Criar um aplicativo em branco (sem tarefas de amostra predefinidas) Criar um Aplicativo usando um modelo Criar um Aplicativo por cópia de um Aplicativo existente
Publicando Tarefas de Design	Publicar tarefas nos Aplicativos para teste e execução
Executando uma Tarefa Exibindo Execuções de Tarefas Monitorando uma Aplicação	Execute as tarefas e monitore o andamento delas
Programando Tarefas Publicadas	Crie uma programação e programações de tarefas para automatizar as execuções
Monitorando um Espaço de Trabalho	Monitorar um espaço de trabalho

Usando a Página Visão Geral do Data Integration da Console

Ao acessar o serviço Data Integration na Console e selecionar Visão Geral, você será apresentado à página Visão Geral do serviço Data Integration.

A página Visão Geral fornece informações sobre recursos, links para ajudar você a começar a usar o serviço e recursos para usar o Data Integration com eficiência.

Recursos de Aprendizado do Data Integration

Use os recursos a seguir para saber mais sobre o Oracle Cloud Infrastructure Data Integration.

Documentação do Oracle Cloud Infrastructure