Configuración y políticas necesarias para que el servicio OCI Data Flow ejecute tareas

Solo las tareas de integración que cree y publique en Data Integration se pueden configurar para que se ejecuten en el servicio OCI Data Flow.

Para ejecutar las tareas en el servicio OCI Data Flow, asegúrese de haber configurado los siguientes recursos y políticas.

OCI Object Storage

• Los cubos de Object Storage son necesarios para:

  • El servicio OCI Data Flow para cargar logs de ejecución de la aplicación Data Flow.
  • Servicio Data Integration para cargar los artefactos para trabajos de ejecución como archivos jar y zip.

  Al editar por primera vez la configuración de ejecución del servicio OCI Data Flow de una tarea, el servicio Data Integration selecciona automáticamente el cubo dis-df-system-bucket si ya existe. De lo contrario, deberá seleccionar un log y un cubo de artefacto al actualizar la configuración de ejecución de tarea para utilizar el servicio Data Flow.

• Permisos y políticas de IAM relevantes para acceder a Object Storage, como se describe en Ejemplos de políticas para activar el acceso a OCI Object Storage.

Servicio OCI Data Flow

• Una piscina. Consulte Creación de un pool en la documentación de OCI Data Flow.

  Para ejecutar tareas del servicio Data Integration en el servicio OCI Data Flow, el pool necesario debe tener una única configuración con al menos dos unidades de computación.

• Punto final privado. Consulte Creación de un punto final privado en la documentación de OCI Data Flow.

  Si las tareas del servicio Data Integration acceden a orígenes de datos que solo están disponibles mediante IP privadas, se necesita un punto final privado para proporcionar a OCI Data Flow acceso a una red privada del arrendamiento para trabajar con esos orígenes de datos.

• Políticas relevantes para publicar desde el servicio Data Integration las tareas que tienen activada la configuración de ejecución del servicio Data Flow y ejecutar las tareas en el servicio Data Flow (con o sin puntos finales privados).

  Para que Data Integration ejecute tareas en el servicio Data Flow:

  allow any-user to manage dataflow-family in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

  Para que el usuario pueda acceder al servicio Data Flow directamente:

  allow group <group-name> to read dataflow-application in compartment <compartment-name>

  allow group <group-name> to manage dataflow-run in compartment <compartment-name>

  Para que el usuario gestione los puntos finales privados y los paquetes de secretos de Data Flow:

  allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

  allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

  Para que el servicio Data Flow lea los logs de ejecución de la aplicación desde el cubo de Object Storage especificado en la configuración de ejecución de la tarea de Data Integration para Data Flow:

  ALLOW SERVICE dataflow TO READ objects IN tenancy WHERE target.bucket.name = '<log-bucket-name>'

  Para los usuarios no administradores, estas políticas son necesarias:

  allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

  allow group <group-name> to read secret-bundles in compartment <compartment-name>

Después de cumplir los requisitos de política y recurso de requisitos, edite la configuración de ejecución de la tarea que desea ejecutar en el servicio OCI Data Flow. Consulte Actualización de la configuración de ejecución de tareas para el servicio OCI Data Flow.