Documentación de Oracle Cloud Infrastructure

Trabajo con tareas de OCI Data Flow

Una tarea de Oracle Cloud Infrastructure Data Flow permite programar, ejecutar y supervisar una aplicación de OCI Data Flow desde Data Integration.

Una aplicación que se crea en OCI Data Flow consta de una aplicación y versión de Spark, dependencias, parámetros por defecto y una especificación de recurso de tiempo de ejecución por defecto.

La creación y ejecución de tareas de OCI Data Flow en Data Integration requiere permisos y políticas de IAM relevantes para acceder a las aplicaciones en OCI Data Flow. Para obtener más información, consulte Políticas y configuración necesarias.

En las siguientes páginas se describe cómo crear, editar y suprimir tareas de OCI Data Flow en Data Integration:

En las siguientes páginas se describen otras tareas de gestión que se pueden realizar:

Políticas y configuración necesarios

Antes de crear una tarea de OCI Data Flow, utilice la siguiente lista de comprobación de tareas para asegurarse de que tiene la configuración y la información necesarias para utilizar las tareas de OCI Data Flow en Data Integration.

Tarea Requisito
Obtener acceso a Oracle Cloud Infrastructure Data Flow

En este tema se asume que ya ha configurado lo que necesita para utilizar OCI Data Flow y crear aplicaciones en OCI Data Flow.

Introducción a OCI Data Flow

La tarea de OCI Data Flow que crea en Data Integration está asociada a una aplicación que cree en OCI Data Flow.
Crear una aplicación en OCI Data Flow

Para utilizar una tarea de OCI Data Flow en Data Integration, ya debe haber creado la aplicación en OCI Data Flow para el idioma que desee.

Consulte Creación de aplicaciones de OCI Data Flow.
Obtener los detalles de una aplicación en OCI Data Flow

Recopile los siguientes detalles de la aplicación que ha creado en OCI Data Flow:

  • Compartimento en el que se crea la aplicación de OCI Data Flow
  • Nombre de la aplicación de OCI Data Flow
  • Si procede, los argumentos que llaman a la clase principal

Creación de políticas

Para permitir a Data Integration crear y acceder a aplicaciones en OCI Data Flow:

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage dataflow-run in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Para permitir a Data Integration disparar tareas de OCI Data Flow con metastore configurado, crear dos grupos dinámicos y crear una regla para cada grupo dinámico:

Cree la siguiente regla de coincidencia en <dynamic-group-name>:

ANY {resource.id = '<workspace-ocid>>'}

Cree la siguiente regla de coincidencia en <dynamic-group-name-1>:

ANY {resource.id = '<datacatalog-metastore-ocid>'}

A continuación, agregue las siguientes políticas:

allow dynamic-group <dynamic-group-name> to manage data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name> to use data-catalog-metastores in compartment <compartment-name>

allow dynamic-group <dynamic-group-name-1> to read object-family in compartment <compartment-name>
Nota

  • Las sentencias de política proporcionadas en este tema son solo ejemplos. Asegúrese de escribir políticas que cumplan sus propios requisitos.

  • Las políticas entre arrendamientos son necesarias si los recursos (como objetos y cubos de Object Storage) y el espacio de trabajo de Data Integration están en distintos arrendamientos. Consulte Ejemplos de políticas y el blog Políticas en Oracle Cloud Infrastructure (OCI) Data Integration para identificar las políticas que se ajustan a sus necesidades.

  • Después de agregar componentes de IAM (por ejemplo, grupos dinámicos y sentencias de política), no intente realizar las tareas asociadas inmediatamente. Las nuevas políticas de IAM requieren entre cinco y 10 minutos para que se apliquen.