Conceitos Básicos do Data Integration

Antes de criar um espaço de trabalho do Data Integration, verifique os pré-requisitos e a lista de tarefas pelas quais você, o cliente, é responsável.

Lista de Verificação de Responsabilidade do Cliente

Você deve ter os recursos e as políticas mínimas na tenancy a seguir. Se você não tiver os direitos corretos, peça ao administrador para criá-los.

Antes de Começar

Antes de começar a configurar o Data Integration para uso, você deve ter:

Uma conta no Oracle Cloud Infrastructure com privilégios de administrador
Acesso ao serviço Data Integration

Lista de Tarefas do Cliente

Esta seção resume as responsabilidades dos clientes do Data Integration antes de configurar e usar o Data Integration pela primeira vez.


Tarefa	Descrição
Criar recursos do Oracle Cloud Infrastructure para suas atividades do Data Integration	No serviço Oracle Cloud Infrastructure Identity and Access Management (IAM) com Domínios de Identidades, crie os compartimentos, os usuários e os grupos de usuários. Gerenciando Compartimentos Gerenciando Usuários Gerenciando Grupos
Configurar componentes de rede para suas origens de dados	Você pode configurar redes virtuais na nuvem (VCNs) e sub-redes no Oracle Cloud Infrastructure Networking for Data Integration. Só há suporte para sub-redes regionais, e nomes de host do DNS devem ser usados nas sub-redes. Dependendo do local das origens de dados que você está usando, talvez seja necessário criar outros objetos de rede, como gateways de serviço, grupos de segurança de rede e gateways NAT (Network Address Translation). Visão Geral do Serviço Networking VCNs e Sub-redes Para origens de dados em uma rede privada, crie uma VCN com pelo menos uma sub-rede regional.
Criar políticas para acessar e usar o Data Integration	No serviço Oracle Cloud Infrastructure Identity and Access Management (IAM) com Domínios de Identidade, crie as políticas necessárias que dão aos grupos de usuários acesso adequado aos recursos do Data Integration. O Data Integration também deve ter permissão para gerenciar as redes virtuais e as sub-redes que você configura para integração. Para obter referências e exemplos, consulte Políticas do Data Integration e certifique-se também de entender o relacionamento entre Permissões e Verbos.
Criar um espaço de trabalho	Quando você criar um espaço de trabalho no Data Integration, poderá ativar a rede privada configurada. Depois de criar um espaço de trabalho, consulte Atividades Típicas do Usuário do Data Integration como guia.

Consulte também Segurança de Dados.

Lista de Verificação de Responsabilidades Compartilhadas

Saiba como as tarefas de gerenciamento do plano de controle e do plano de dados para o Data Integration são compartilhadas entre a Oracle e você, o cliente.

De modo geral, o plano de controle é responsável por provisionar recursos do OCI e gerenciar operações de metadados para obter, criar, atualizar e excluir espaços de trabalho do Data Integration. O plano de dados é responsável por operações de design time e runtime relacionadas a ativos de dados, fluxos de dados, pipelines, tarefas e aplicativos no Data Integration.


Tarefa	Quem	Descrição
Provisionamento de recursos do espaço de trabalho	Oracle e Cliente	A Oracle é responsável por provisionar recursos do Oracle Cloud Infrastructure para espaços de trabalho do Data Integration, incluindo instâncias de computação e sua conectividade com uma sub-rede (se fornecida) por meio de uma VNIC secundária. Você, o cliente, é responsável por: Configure os recursos de infraestrutura antecipadamente, como criar um compartimento e recursos de rede. Criando os espaços de trabalho do Data Integration necessários especificando as características de configuração apropriadas. Para obter a lista de responsabilidades do cliente para configurar o serviço Data Integration antes do primeiro uso, consulte Lista de Verificação de Responsabilidade do Cliente.
Backup e recuperação de espaços de trabalho e aplicativos	Oracle e Cliente	A Oracle faz backup contínuo do conteúdo para executar a recuperação de desastres dos metadados de recursos do serviço Data Integration e da operação apenas do serviço. Esses backups incluem backups do espaço de trabalho do cliente, mas os backups não são disponibilizados aos clientes. Você, o cliente, é responsável por fazer backups dos dados do aplicativo, copiando os aplicativos para o mesmo espaço de trabalho, outro espaço de trabalho ou outro compartimento. Isso é especialmente importante para a recuperação de desastres entre regiões.
Aplicação de patch e upgrade do serviço	Oracle	A Oracle é responsável por aplicar patches e fazer upgrade do serviço Data Integration e de seus componentes de agente.
Escala	Oracle	A Oracle é responsável por dimensionar os planos de controle e dados. Você, o cliente, pode solicitar o dimensionamento dos recursos do OCI no plano de dados para computação do agente.
Monitoramento da integridade	Oracle e Cliente	A Oracle é responsável pelo monitoramento da integridade dos recursos do espaço de trabalho e pela garantia de sua disponibilidade. Você, o cliente, é responsável por monitorar a integridade e o desempenho de tarefas e aplicativos em todos os níveis, incluindo a disponibilidade de recursos dependentes referenciados no plano de dados durante as execuções de tarefas.
Segurança de aplicativos	Oracle e Cliente	A Oracle garante que os dados armazenados na OCI sejam criptografados e garante que as conexões com o Data Integration exijam criptografia SSL. Você, o cliente, é responsável pela segurança dos aplicativos em todos os níveis. Essa responsabilidade inclui acesso a recursos do espaço de trabalho, acesso de rede a esses recursos e acesso a dados dependentes.
Auditando	Oracle e Cliente	A Oracle é responsável por registrar chamadas de API REST feitas nos recursos do espaço de trabalho e por disponibilizar esses logs para você para fins de auditoria. Você, o cliente, é responsável por configurar o acesso aos logs de auditoria no serviço de log de auditoria e usar os logs para auditar o uso e monitorar a atividade na tenancy.
Alertas e notificações	Oracle e Cliente	A Oracle fornece eventos e notificações de serviço. Você, o cliente, é responsável por configurar alertas e notificações para eventos de serviço e monitorar alertas que possam ser de seu interesse.

Criando Recursos

Para criar recursos para atividades do serviço Data Integration:

Crie um compartimento na tenancy para as atividades do serviço Data Integration.

Para obter mais informações, consulte Gerenciando Compartimentos.
Se as origens de dados estiverem em uma rede privada, crie uma VCN com pelo menos uma sub-rede no compartimento.

Observação

A VCN e a sub-rede criadas aqui são as que você seleciona quando cria um espaço de trabalho. A sub-rede deve ser regional, abrangendo todos os domínios de disponibilidade.

Se você não vir a sub-rede listada, volte e verifique se ela foi criada como sub-rede regional.

Para obter mais informações, consulte VCNs e Sub-redes.
Crie um grupo para usuários responsáveis pelos espaços de trabalho e adicione usuários ao grupo.

Anote o nome do grupo. Você cria políticas para o grupo na próxima seção. Para obter mais informações, consulte Gerenciando Grupos.

Criando Políticas

Para controlar o acesso de usuário não administrador a recursos e funções do Data Integration, crie grupos no Oracle Cloud Infrastructure Identity and Access Management (IAM) com Domínios de Identidade. Em seguida, você cria políticas do serviço IAM que dão aos grupos o acesso apropriado.

Você pode usar os modelos de política do Data Integration no IAM Policy Builder para criar uma política ou pode digitar manualmente as instruções de política no editor manual. Consulte Criando Instruções de Política com o Policy Builder para obter informações sobre como usar o Policy Builder e os modelos de política.

Para entender a sintaxe usada ao criar uma instrução de política, consulte Sintaxe de Política. Certifique-se de entender o relacionamento entre Permissões e Verbos.

Você pode criar a maioria das políticas do serviço Data Integration no nível da tenancy ou no nível do compartimento. As políticas listadas aqui são exemplos que você pode modificar de acordo com as necessidades de acesso.

Para obter mais exemplos e referências, consulte Políticas do Data Integration.

Observação

Depois de adicionar componentes do IAM (por exemplo, grupos dinâmicos e instruções de política), não tente executar as tarefas associadas imediatamente. As novas políticas do IAM exigem cerca de cinco a 10 minutos para entrar em vigor.

Para Espaços de Trabalho

Para criar e usar espaços de trabalho

Criar espaços de trabalho

Essa política concede permissão a um grupo para criar espaços de trabalho do serviço Data Integration.

allow group <group-name> to manage dis-workspaces in compartment <compartment-name>

Os usuários com a permissão inspect só podem listar dis-workspaces. Os usuários com a permissão manage para dis-workspaces podem criar e excluir espaços de trabalho. Os usuários com a permissão use só podem executar atividades de integração nos espaços de trabalho. Exiba mais exemplos para criar uma política para requisitos específicos.

Verifique o status de criação do espaço de trabalho

Essa política concede permissão a um grupo para verificar o status durante a criação de um espaço de trabalho.

allow group <group-name> to manage dis-work-requests in compartment <compartment-name>

Exibir nomes de usuário

Essa política fornece acesso ao serviço Data Integration para listar nomes de usuários no campo Criado por quando eles criam projetos, ativos de dados e aplicativos no espaço de trabalho.

allow service dataintegration to inspect users in tenancy

Restringir grupo a um único espaço de trabalho

Depois de criar espaços de trabalho, você pode permitir que um grupo específico gerencie um espaço de trabalho específico e não qualquer outro espaço de trabalho:

allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'

Mover compartimentos

Esta política fornece acesso ao serviço Data Integration para mover um espaço de trabalho de um compartimento para outro compartimento de destino.

allow service dataintegration to inspect compartments in compartment <target-compartment-name>

Mover espaços de trabalho

Esta política permite que um grupo mova espaços de trabalho do serviço Data Integration.

allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>

allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>

Para Ativos de Dados

Object Storage

Crie essas políticas para permitir que o serviço Data Integration acesse recursos do serviço Object Storage, como objetos e buckets.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

Se o espaço de trabalho do Data Integration e a origem de dados do Object Storage estiverem em diferentes tenancies, você também deverá criar as seguintes políticas para compartimentos:

Na tenancy do espaço de trabalho:


Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}

Na tenancy do serviço Object Storage:


Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy

Observação

Diferentes tipos de políticas (controlador de recursos e em nome dele) são necessários para usar o serviço Object Storage. As políticas obrigatórias também dependem de se a instância do Object Storage e a instância do Data Integration estão na mesma tenancy ou em tenancies diferentes e se você cria as políticas no nível do compartimento ou da tenancy. Revise mais exemplos e o blog Policies in Oracle Cloud Infrastructure (OCI) Data Integration para identificar as políticas necessárias.

Fusion Applications

Crie essas políticas para permitir que o Data Integration acesse buckets e objetos no Oracle Cloud Infrastructure Object Storage. As políticas são obrigatórias para preparar dados extraídos, que precisam de pré-autenticação para concluir as operações.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Vault do OCI

Crie esta política para usar segredos no OCI Vault para obter informações confidenciais.

allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

A seguinte política permite que um grupo de usuários que não são administradores use segredos com o Oracle Autonomous Data Warehouse e o Oracle Autonomous Transaction Processing:

allow group <group-name> to read secret-bundles in compartment <compartment-name>

Autonomous Databases

Crie essa política se você usar um banco de dados autônomo como destino. Os bancos de dados autônomos usam o Object Storage para preparar dados e precisam de pré-autenticação para concluir as operações.

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Crie essa política se quiser que as credenciais do banco de dados autônomo sejam recuperadas automaticamente ao criar um ativo de dados do banco de dados autônomo.

allow group <group-name> to read autonomous-database-family in compartment <compartment-name>

Para Publicações

Para publicar tarefas no OCI Data Flow

Crie essas políticas para publicar tarefas do serviço Data Integration do serviço Data Integration para o serviço OCI Data Flow.

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Para que usuários não administradores publiquem no OCI Data Flow usando um ponto final privado, esta política é necessária para mostrar pontos finais privados:

allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

Criando um Espaço de Trabalho

Para poder começar a usar o Data Integration, você ou o administrador deve primeiro criar um espaço de trabalho para os projetos de integração de dados.

Crie um espaço de trabalho depois que os requisitos de conectividade do Data Integration forem atendidos. Consulte Criando Recursos.

Para obter outras informações de rede, consulte os seguintes tópicos:

Configurar componentes de rede para ativos de dados
Blog: Noções básicas sobre a configuração da VCN para Integração de Dados
Blog: Usando o Network Path Analyzer (solucione, verifique e valide)

Certifique-se de que você também tenha as políticas necessárias para criar espaços de trabalho, conforme descrito em Criando Políticas. Por exemplo, se você estiver criando um espaço de trabalho que use recursos de rede virtual na nuvem (VCN), crie políticas para permitir o acesso do Data Integration à VCN no compartimento.

1. Na página da lista Espaços de Trabalho do Data Integration, selecione Criar espaço de trabalho. Se precisar de ajuda para localizar a página da lista, consulte Acessando Espaços de Trabalho.
2. No painel Criar espaço de trabalho, digite um nome e uma descrição opcional para o espaço de trabalho.
3. Na seção Seleção de rede, selecione Ativar rede privada para usar uma rede privada para estabelecer conexão com as origens de dados. Em seguida, forneça os seguintes valores para usar uma rede privada:
  
  Choose a VCN em <Compartment_Name>: Selecione a VCN das integrações de dados.
  
  Choose a Subnet em <Compartment_Name>: Selecione a sub-rede na VCN selecionada para integrações de dados.
  
  IP do servidor DNS: (Opcional) Informe o endereço IP do servidor do sistema de nomes de domínio (DNS) do servidor.
  
  Zona do servidor DNS: (Opcional) Se você tiver inserido um endereço IP do servidor DNS, insira a zona DNS do servidor.
  
  Depois que um espaço de trabalho é criado, você não pode desativar a conexão de rede privada nem alterar as seleções de compartimento, VCN ou sub-rede.
4. (Opcional) Na seção Tags, adicione tags para ajudar a procurar recursos do serviço Data Integration na tenancy.
  
  Para obter informações sobre tags, consulte Tags e Conceitos de Namespace de Tag.
5. Selecione uma das opções a seguir:
  
  Para criar o espaço de trabalho, selecione Criar.
  
  Observação
  
  Se você não tiver adicionado as políticas necessárias, a criação do espaço de trabalho falhará. Na caixa de informações Acesso não autorizado exibida, selecione Gerenciar políticas para exibir os detalhes das instruções de política necessárias. Especifique o nome do grupo e o compartimento corretos nas instruções. Se você for um administrador, poderá adicionar as políticas selecionando Adicionar políticas. Se você não for um administrador, selecione Copiar políticas e envie-as a um administrador para adicioná-las.
  
  Você retornará à página Espaços de Trabalho. Pode demorar alguns minutos até que o espaço de trabalho esteja pronto para ser acessado. Quando o status for Ativo, você poderá selecionar o espaço de trabalho na lista.
  
  Para obter informações sobre como navegar e pesquisar em um espaço de trabalho, consulte Navegando em um Espaço de Trabalho.
  
  Para criar o espaço de trabalho posteriormente usando o Resource Manager e o Terraform, selecione Salvar como pilha para salvar a definição de recurso como uma configuração do Terraform.
  
  Para obter mais informações sobre como salvar pilhas de definições de recursos, consulte Criando uma Pilha de uma Página de Criação de Recurso.
Use o espaço de trabalho para criar artefatos de design-time, como ativos de dados, fluxos de dados e tarefas em um ou mais projetos ou pastas. Para obter informações sobre como usar projetos em um espaço de trabalho, consulte Usando Projetos e Pastas.
Use o comando oci data-integration workspace create e os parâmetros necessários para criar um espaço de trabalho:
oci data-integration workspace create [OPTIONS]
Para obter uma lista completa de flags e opções de variáveis para comandos da CLI, consulte a Referência de Linha de Comando.
Execute a operação CreateWorkspace para criar um espaço de trabalho.

Componentes em um Design

Depois de criar ativos de dados para os sistemas de dados de origem e destino, você cria os processos de integração de dados para extrair, carregar e transformar dados.

No Data Integration, para consumir e transformar dados, você cria tarefas do carregador de dados, fluxos de dados, tarefas de integração e outras tarefas. Para orquestrar um conjunto de tarefas em uma sequência ou em paralelo, você cria pipelines e tarefas de pipeline. Você pode usar as tarefas a seguir como diretriz.


Tarefa	Descrição
Criar uma tarefa do carregador de dados	Crie uma tarefa do carregador de dados na seção Tarefas de uma página de detalhes do projeto ou da pasta. Uma tarefa do carregador de dados obtém os dados de uma origem, transforma-os e depois os carrega para um destino.
Criar um fluxo de dados	Crie um fluxo de dados na seção Fluxos de Dados de uma página de detalhes do projeto ou da pasta.
Adicionar operadores	No designer de fluxo de dados, crie o fluxo lógico de dados de ativos de dados de origem para ativos de dados de destino. Adicione operadores de dados para especificar as origens de dados de origem e destino. Adicione operadores de modelagem, como filtro e junção, para limpar, transformar e enriquecer dados.
Adicionar funções definidas pelo usuário	Crie e use funções personalizadas.
Aplicar transformações	Na guia Dados de um operador no designer de fluxo de dados, aplique transformações para agregar, limpar e modelar dados.
Designar parâmetros	Na guia Detalhes de um operador, no designer de fluxo de dados, designe parâmetros para externalizar e substituir valores. Usando parâmetros, diferentes configurações de origens, destinos e transformações podem ser reutilizadas no design time e no runtime.
Criar uma tarefa de integração	Depois de concluir um design de fluxo de dados, na seção Tarefas de uma página de detalhes do projeto ou da pasta, crie uma tarefa de integração que use o fluxo de dados. O encapsulamento do fluxo de dados em uma tarefa de integração permite que você execute o fluxo de dados e escolha os valores de parâmetro que deseja usar no runtime.
Criar outras tarefas	Se necessário, você poderá criar outros tipos de tarefas na seção Tarefas de uma página de detalhes do projeto ou da pasta.
Criar um pipeline	Crie um pipeline na seção Pipelines de uma página de detalhes de projeto ou pasta. No designer de pipeline, use operadores para adicionar as tarefas e atividades que você deseja orquestrar como conjunto de processos em uma sequência ou em paralelo. Também é possível usar parâmetros para substituir valores no design time e no runtime.
Criar uma tarefa de pipeline	Após a conclusão de um design de pipeline, na seção Tarefas de uma página de detalhes de projeto ou pasta, crie uma tarefa de pipeline que use o pipeline. O encapsulamento do pipeline em uma tarefa de pipeline permite executar o pipeline e escolher os valores de parâmetro que deseja usar no runtime.

Documentação do Oracle Cloud Infrastructure