Documentação do Oracle Cloud Infrastructure

Configuração e Políticas Obrigatórias para o Serviço OCI Data Flow Executar Tarefas

Somente as tarefas de integração que você cria e publica no Data Integration podem ser configuradas para execução no serviço OCI Data Flow.

Para executar as tarefas no serviço OCI Data Flow, certifique-se de ter configurado os recursos e as políticas a seguir.

Ativos de dados usados nas tarefas

  • Deve ser configurado para usar segredos do OCI Vault para que as senhas se conectem às origens de dados. Isso é necessário para transmitir credenciais de forma segura entre os serviços do OCI. Consulte Segredos do OCI Vault e Oracle Wallets.

  • Deve ser especificado usando o FQDN (nome de domínio totalmente qualificado) para os hosts do banco de dados. O serviço OCI Data Flow não permite conexões por meio de endereços IP diretos.

OCI Object Storage

  • Os buckets do Object Storage são necessários para:
    • O serviço OCI Data Flow para fazer upload dos logs de execução do aplicativo Data Flow.
    • O serviço Data Integration para fazer upload dos artefatos para jobs de execução, como arquivos jar e zip.

    Ao editar pela primeira vez a configuração de execução do serviço OCI Data Flow de uma tarefa, o serviço Data Integration selecionará automaticamente o bucket dis-df-system-bucket se ele já existir. Caso contrário, você precisará selecionar um log e um bucket de artefato ao atualizar a configuração de execução da tarefa para usar o serviço Data Flow.

  • As permissões relevantes e as políticas do serviço IAM para acessar o Object Storage, conforme descrito em Exemplos de Política para Ativar o Acesso ao OCI Object Storage.

Observação

Diferentes tipos de políticas (controlador de recursos e em nome dele) são necessários para usar o serviço Object Storage. As políticas obrigatórias também dependem de se a instância do Object Storage e o espaço de trabalho do Data Integration estão na mesma tenancy ou em tenancies diferentes e se você cria as políticas no nível do compartimento ou da tenancy. Mais exemplos estão disponíveis no blog Políticas no Oracle Cloud Infrastructure (OCI) Data Integration para ajudá-lo a identificar as políticas para necessidades específicas.

Serviço OCI Data Flow

  • Uma piscina. Consulte Criando um Pool na documentação do OCI Data Flow.

    Para executar tarefas do serviço Data Integration no serviço OCI Data Flow, o pool necessário deve ter uma única configuração com pelo menos duas formas de computação.

  • Um ponto final privado. Consulte Criando um Ponto Final Privado na documentação do OCI Data Flow.

    Se as tarefas do serviço Data Integration acessarem origens de dados que só estão disponíveis usando IPs privados, um ponto final privado será necessário para conceder ao OCI Data Flow acesso a uma rede privada na tenancy para trabalhar com essas origens de dados.

  • Políticas relevantes para publicar no serviço Data Integration as tarefas que têm a configuração de execução do serviço Data Flow ativada e executar as tarefas no serviço Data Flow (com ou sem pontos finais privados).

    Para que o Data Integration execute tarefas no serviço Data Flow:

    allow any-user to manage dataflow-family in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

    Para que o usuário acesse o serviço Data Flow diretamente:

    allow group <group-name> to read dataflow-application in compartment <compartment-name>
    allow group <group-name> to manage dataflow-run in compartment <compartment-name>

    Para que o usuário gerencie pontos finais privados e pacotes secretos do serviço Data Flow:

    allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}
    allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

    Para que o serviço Data Flow leia os logs de execução do aplicativo do bucket do Object Storage especificado na configuração de execução da tarefa do serviço Data Integration para o serviço Data Flow:

    ALLOW SERVICE dataflow TO READ objects IN tenancy WHERE target.bucket.name = '<log-bucket-name>'

    Para usuários não administradores, estas políticas são necessárias:

    allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>
    allow group <group-name> to read secret-bundles in compartment <compartment-name>

Depois de atender aos requisitos de recursos e políticas de pré-requisito, edite a configuração de execução da tarefa que você deseja executar no serviço OCI Data Flow. Consulte Atualizando a Configuração de Execução da Tarefa do Serviço OCI Data Flow.

Observação

Depois de adicionar componentes do serviço IAM (por exemplo, grupos dinâmicos e instruções de política), não tente executar as tarefas associadas imediatamente. As novas políticas do IAM exigem cerca de cinco a 10 minutos para entrar em vigor.