Documentação do Oracle Cloud Infrastructure

Como Trabalhar com Tarefas do OCI Data Flow

Uma tarefa do Oracle Cloud Infrastructure Data Flow permite programar, executar e monitorar um aplicativo do OCI Data Flow no Data Integration.

Um aplicativo criado no OCI Data Flow consiste em um aplicativo Spark e versão, dependências, parâmetros padrão e uma especificação de recurso de runtime padrão.

A criação e execução de tarefas do OCI Data Flow no Data Integration exige permissões relevantes e políticas do IAM para acessar aplicativos no OCI Data Flow. Para obter detalhes, consulte Políticas e Configuração Obrigatórias.

As páginas a seguir descrevem como você pode criar, editar e excluir tarefas do OCI Data Flow no Data Integration:

As páginas a seguir descrevem outras tarefas de gerenciamento que podem ser executadas:

Políticas e Configurações Obrigatórias

Antes de criar uma tarefa do OCI Data Flow, use a lista de verificação de tarefas a seguir para garantir que você tenha a configuração e as informações necessárias para usar as tarefas do OCI Data Flow no Data Integration.

Tarefa Requisito
Obter acesso ao Oracle Cloud Infrastructure Data Flow

Este tópico presume que você já tenha feito as configurações necessárias para usar o OCI Data Flow e criar aplicativos nele.

Conceitos Básicos do OCI Data Flow

A tarefa do OCI Data Flow criada no Data Integration está associada a um aplicativo que você cria no OCI Data Flow.
Criar um aplicativo no OCI Data Flow

Para usar uma tarefa do OCI Data Flow no Data Integration, você já deverá ter criado o aplicativo no OCI Data Flow para o idioma desejado.

Consulte Criando Aplicativos do OCI Data Flow.
Obter os detalhes de um aplicativo no OCI Data Flow

Reúna os seguintes detalhes do aplicativo que você criou no OCI Data Flow:

  • Compartimento no qual o aplicativo OCI Data Flow é criado
  • Nome do aplicativo OCI Data Flow
  • Se aplicável, os argumentos que chamam a classe principal

Criar políticas

Para permitir que o Data Integration crie e acesse aplicativos no OCI Data Flow:

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Para permitir que o Data Integration acione as tarefas do OCI Data Flow com o metastore configurado, crie dois grupos dinâmicos e uma regra para cada grupo:

Crie a seguinte regra de correspondência em <dynamic-group-name> :

ANY {resource.id = '<workspace-ocid>>'}

Crie a seguinte regra de correspondência em <dynamic-group-name-1> :

ANY {resource.id = '<datacatalog-metastore-ocid>'}

Em seguida, adicione as seguintes políticas:

allow dynamic-group <dynamic-group-name> to manage data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name> to use data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name-1> to read object-family in compartment <compartment-name>

Observação

  • As instruções de política fornecidas neste tópico são apenas exemplos. Certifique-se de criar políticas que atendam aos seus próprios requisitos.

  • Políticas entre tenancies serão necessárias se os recursos (como objetos e buckets do Object Storage) e o espaço de trabalho do Data Integration estiverem em tenancies diferentes. Consulte Exemplos de Política e o blog Políticas no Oracle Cloud Infrastructure (OCI) Data Integration para identificar as políticas para suas necessidades.

  • Depois de adicionar componentes do IAM (por exemplo, grupos dinâmicos e instruções de política), não tente executar as tarefas associadas imediatamente. As novas políticas do IAM exigem cerca de cinco a 10 minutos para entrar em vigor.