Introducción a Data Integration

Antes de crear un espacio de trabajo de Data Integration, revise los requisitos y la lista de tareas de las que usted, el cliente, es responsable.

Lista de control de responsabilidad del cliente

Debe tener los siguientes recursos y políticas mínimas en el arrendamiento. Si no tiene los derechos adecuados, solicite al administrador que los cree.

Antes de empezar

Antes de empezar a configurar el servicio Data Integration para su uso, debe tener:

Una cuenta de Oracle Cloud Infrastructure con privilegios de administrador
Acceso al servicio Data Integration

Lista de tareas de cliente

En esta sección se resumen las responsabilidades de los clientes de Data Integration antes de configurar y utilizar Data Integration por primera vez.


Tarea	Descripción
Crear recursos de Oracle Cloud Infrastructure para sus actividades de Data Integration	En el servicio Oracle Cloud Infrastructure Identity and Access Management (IAM) con dominios de identidad, cree los compartimentos, los usuarios y los grupos de usuarios. Gestión de compartimentos Gestión de usuarios Gestión de Grupos
Configurar componentes de red para los orígenes de datos	Puede configurar redes virtuales en la nube (VCN) y subredes en Oracle Cloud Infrastructure Networking para Data Integration. Solo están soportadas las subredes regionales y los nombres de host de DNS se deben utilizar en las subredes. Según la ubicación de los orígenes de datos que esté utilizando, es posible que deba crear otros objetos de red, como puertas de enlace de servicio, grupos de seguridad de red y puertas de enlace de traducción de direcciones de red (NAT). Visión general de red VCN y subredes Para los orígenes de datos de una red privada, cree una VCN con al menos una subred regional.
Crear políticas para acceder y utilizar Data Integration	En el servicio Oracle Cloud Infrastructure Identity and Access Management (IAM) con dominios de identidad, cree las políticas necesarias que proporcionen a los grupos de usuarios un acceso adecuado a los recursos de Data Integration. Data Integration también debe tener permiso para gestionar las redes virtuales y subredes que haya configurado para la integración. Para obtener referencias y ejemplos, consulte Políticas de Data Integration y también asegúrese de entiende la relación entre Permisos y verbos.
Crear un espacio de trabajo	Al crear un espacio de trabajo en Data Integration, puede activar la red privada que ha configurado. Después de crear un espacio de trabajo, consulte Actividades de usuario típicas de Data Integration como guía.

Consulte también Seguridad de datos.

Lista de control de responsabilidades compartidas

Descubra cómo Oracle y usted, el cliente, comparten las tareas de gestión del plano de control y del plano de datos para la integración de datos.

En términos generales, el plano de control es responsable de aprovisionar recursos de OCI y gestionar operaciones de metadatos para obtener, crear, actualizar y suprimir espacios de trabajo de Data Integration. El plano de datos es responsable de las operaciones de tiempo de diseño y tiempo de ejecución relacionadas con los activos de datos, los flujos de datos, los pipelines, las tareas y las aplicaciones de Data Integration.


Tarea	Quién	Descripción
Aprovisionamiento de recursos de espacio de trabajo	Oracle y el cliente	Oracle es responsable de aprovisionar recursos de Oracle Cloud Infrastructure para espacios de trabajo de Data Integration, incluidas las instancias informáticas y su conectividad a una subred (si se proporciona) a través de una VNIC secundaria. Usted, el cliente, es responsable de: Configurar los recursos de infraestructura de antemano, como crear un compartimento y recursos de red. Creación de los espacios de trabajo de Data Integration que necesita especificando las características de configuración adecuadas. Para obtener una lista de las responsabilidades del cliente para configurar el servicio Data Integration antes del primer uso, consulte Lista de control de responsabilidad del cliente.
Copia de seguridad y recuperación de espacios de trabajo y aplicaciones	Oracle y el cliente	Oracle realiza copias de seguridad del contenido de forma continua para realizar la recuperación ante desastres de los metadatos de los recursos del servicio Data Integration y solo del funcionamiento del servicio. Estas copias de seguridad incluyen copias de seguridad del espacio de trabajo del cliente, pero no están disponibles para los clientes. Usted, el cliente, es responsable de realizar copias de seguridad de los datos de la aplicación copiando las aplicaciones en el mismo espacio de trabajo, otro espacio de trabajo u otro compartimento. Esto es especialmente importante para la recuperación ante desastres entre regiones.
Aplicación de parches y actualizaciones de servicios	Oracle	Oracle es responsable de aplicar parches y actualizar el servicio Data Integration y sus componentes de agente.
Escalando	Oracle	Oracle es responsable de ampliar los planos de control y datos. Usted, el cliente, puede solicitar la ampliación de los recursos de OCI en el plano de datos para el cálculo de agentes.
Supervisión de Estado	Oracle y el cliente	Oracle es responsable de controlar el estado de los recursos del espacio de trabajo y de garantizar su disponibilidad. Usted, el cliente, es responsable de supervisar el estado y el rendimiento de las tareas y las aplicaciones en todos los niveles, incluida la disponibilidad de los recursos dependientes a los que se hace referencia en el plano de datos durante las ejecuciones de tareas.
Seguridad de aplicación	Oracle y el cliente	Oracle garantiza que los datos almacenados en OCI estén cifrados y que las conexiones a Data Integration necesitan cifrado SSL. Como cliente, usted es responsable de la seguridad de las aplicaciones en todos los niveles. Esta responsabilidad incluye el acceso a los recursos del espacio de trabajo, el acceso de red a esos recursos y el acceso a los datos dependientes.
Auditoría	Oracle y el cliente	Oracle es responsable de registrar las llamadas de la API de REST que se realizan a los recursos del espacio de trabajo y de poner esos logs a su disposición para la auditoría. Usted, el cliente, es responsable de configurar el acceso a los logs de auditoría en el servicio de log de auditoría y de utilizar los logs para auditar el uso y supervisar la actividad dentro del arrendamiento.
Alertas y notificaciones	Oracle y el cliente	Oracle proporciona eventos de servicio y notificaciones. Usted, el cliente, es responsable de configurar alertas y notificaciones para eventos de servicio y de supervisar alertas que puedan ser de su interés.

Creación de recursos

Para crear recursos para las actividades de Data Integration:

Cree un compartimento en el arrendamiento para las actividades de Data Integration.

Para obtener más información, consulte Gestión de compartimentos.
Si los orígenes de datos están en una red privada, cree una VCN con al menos una subred en el compartimento.

Nota

La VCN y la subred que cree aquí serán las que seleccione al crear un espacio de trabajo. La subred debe ser regional, abarcando todos los dominios de disponibilidad.

Si no aparece la subred en la lista, vuelva atrás y compruebe que se ha creado como una subred regional.

Para obtener más información, consulte VCN y subredes.
Cree un grupo para los usuarios a cargo de los espacios de trabajo y, a continuación, agregue usuarios al grupo.

Tome nota del nombre del grupo. Puede crear políticas para el grupo en la siguiente sección. Para obtener más información, consulte Gestión de Grupos.

Creación de políticas

Para controlar el acceso de usuarios que no son administradores a las funciones y los recursos de Data Integration, cree grupos en Oracle Cloud Infrastructure Identity and Access Management (IAM) con dominios de identidad. A continuación, escriba políticas de IAM que proporcionen a los grupos el acceso adecuado.

Puede utilizar plantillas de políticas de Data Integration en el creador de políticas de IAM para crear una política o puede introducir manualmente las sentencias de políticas en el editor manual. Consulte Escritura de sentencias de política con el creador de políticas para obtener información sobre cómo utilizar el creador de políticas y las plantillas de políticas.

Para comprender la sintaxis utilizada al escribir una sentencia de política, consulte Sintaxis de las políticas. Asegúrese de comprender la relación entre permisos y verbos.

Puede crear la mayoría de las políticas de Data Integration en el nivel de arrendamiento o en el nivel de compartimento. Las políticas que se muestran aquí son ejemplos, que puede modificar para adaptarse a las necesidades de acceso.

Para obtener más ejemplos y referencia, consulte Políticas de Data Integration.

Nota

Después de agregar componentes de IAM (por ejemplo, grupos dinámicos y sentencias de política), no intente realizar las tareas asociadas inmediatamente. Las nuevas políticas de IAM requieren entre cinco y 10 minutos para que se apliquen.

Para los espacios de trabajo

Para crear y utilizar espacios de trabajo

Crear espacios de trabajo

Esta política otorga permiso a un grupo para crear espacios de trabajo de Data Integration.

allow group <group-name> to manage dis-workspaces in compartment <compartment-name>

Los usuarios con el permiso inspect solo pueden mostrar dis-workspaces. Los usuarios con el permiso manage para dis-workspaces pueden crear y suprimir espacios de trabajo. Los usuarios con el permiso use solo pueden realizar actividades de integración en espacios de trabajo. Vea más ejemplos para crear una política para requisitos específicos.

Comprobar el estado de creación del espacio de trabajo

Esta política otorga permiso a un grupo para comprobar el estado al crear un espacio de trabajo.

allow group <group-name> to manage dis-work-requests in compartment <compartment-name>

Ver nombres de usuario

Esta política proporciona acceso a Data Integration para mostrar los nombres de los usuarios en el campo Creado por cuando crean proyectos, activos de datos y aplicaciones en el espacio de trabajo.

allow service dataintegration to inspect users in tenancy

Restringir un grupo a un solo espacio de trabajo

Después de crear espacios de trabajo, puede permitir que un grupo específico gestione un espacio de trabajo específico y ningún otro espacio de trabajo:

allow group <group-name> to manage dis-workspaces in compartment <compartment-name> where target.workspace.id = '<workspace-ocid>'

Mover compartimentos

Esta política proporciona acceso a Data Integration para mover un espacio de trabajo de un compartimento a otro compartimento de destino.

allow service dataintegration to inspect compartments in compartment <target-compartment-name>

Mover espacios de trabajo

Esta política otorga permiso a un grupo para mover espacios de trabajo de Data Integration.

allow group <group-name> to manage dis-workspaces in compartment <source-compartment-name>

allow group <group-name> to manage dis-workspaces in compartment <target-compartment-name>

Etiquetas

Esta política otorga permiso a un grupo para gestionar los espacios de nombres de etiqueta y las etiquetas en los espacios de trabajo de Data Integration.

allow group <group-name> to manage tag-namespaces in compartment <compartment-name>

Para agregar una etiqueta definida, debe tener permiso para utilizar el espacio de nombres de etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recurso.

Realizar búsquedas

Estas políticas proporcionan acceso a Data Integration para realizar búsquedas en los espacios de trabajo del arrendamiento.

allow service dataintegration to {TENANCY_INSPECT} in tenancy

allow service dataintegration to {DIS_METADATA_INSPECT} in tenancy

Cálculo del tamaño de subred

Al crear un espacio de trabajo para el que está activada la red privada, para comprobar si la subred tiene suficientes direcciones IP que asignar, agregue la siguiente política:

allow group <group_name> to inspect instance-family in compartment <compartment_name>

Para restringir el permiso a una llamada de API específica, agregue la siguiente política:

allow group <group_name> to inspect instance-family in compartment <compartment_name> where ALL {request.operation = 'ListVnicAttachments'}

Para activar la red privada

Data Integration puede estar en un arrendamiento diferente de los recursos de datos. Para ejecutar una tarea, Data Integration envía una solicitud al arrendamiento. A cambio, debe otorgar a Data Integration permiso para gestionar las redes virtuales que ha configurado para la integración. Cree espacios de trabajo de Data Integration en la misma región que la red y acceda a la red de forma segura a través de direcciones IP privadas. Sin una política para aceptar esta solicitud, fallará la integración de datos.

allow service dataintegration to use virtual-network-family in compartment <compartment-name>

La siguiente política otorga permiso a un grupo para gestionar los recursos de red en el compartimento.

allow group <group-name> to manage virtual-network-family in compartment <compartment-name>

O bien, para usuarios no administradores:

allow group <group-name> to use virtual-network-family in compartment <compartment-name>

allow group <group-name> to inspect instance-family in compartment <compartment-name>

Puede limitar las actividades de usuario dentro de la red al asignar el permiso inspect para las redes virtuales en la nube y las subredes del compartimento en lugar de manage. A continuación, los usuarios pueden ver las VCN y las subredes existentes y seleccionarlas al crear un espacio de trabajo. Vea más ejemplos para crear una política para requisitos específicos.

Para activos de datos

Object Storage

Cree las siguientes políticas para permitir que Data Integration acceda a los recursos de Object Storage, como los objetos y los cubos.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

Si el espacio de trabajo de Data Integration y el origen de datos de Object Storage están en diferentes arrendamientos, también debe crear las siguientes políticas para compartimentos:

En el arrendamiento del espacio de trabajo:


Endorse any-user to inspect compartments in tenancy <tenancy-name> where ALL {request.principal.type = 'disworkspace'}

En el arrendamiento de Object Storage:


Admit any-user of tenancy <tenancy-name> to inspect compartments in tenancy

Nota

Se necesitan diferentes tipos de políticas (entidad de recurso y en nombre de) para utilizar Object Storage. Las políticas necesarias también dependen de si la instancia de Object Storage y la instancia de integración de datos están en el mismo arrendamiento o en diferentes arrendamientos, y de si crea las políticas en el nivel de compartimento o en el nivel de arrendamiento. Revise más ejemplos y las políticas de blog en Oracle Cloud Infrastructure (OCI) Data Integration para identificar las políticas que necesita.

Fusion Applications

Cree estas políticas para permitir que Data Integration acceda a cubos y objetos en Oracle Cloud Infrastructure Object Storage. Las políticas son necesarias para almacenar temporalmente los datos extraídos, los cuales requieren autenticación previa para que se completen las operaciones.

allow group <group-name> to use object-family in compartment <compartment-name>

allow any-user to use buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage objects in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

OCI Vault

Cree esta política para utilizar secretos en OCI Vault para obtener información confidencial.

allow any-user to read secret-bundles in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

La siguiente política permite a un grupo de usuarios que no sean administradores utilizar secretos con Oracle Autonomous Data Warehouse y Oracle Autonomous Transaction Processing:

allow group <group-name> to read secret-bundles in compartment <compartment-name>

Base de datos autónoma

Cree esta política si utiliza una base de datos autónoma como destino. Las bases de datos autónomas utilizan Object Storage para el almacenamiento temporal de datos y requieren autenticación previa para completar las operaciones.

allow any-user to manage buckets in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>', request.permission = 'PAR_MANAGE'}

Cree esta política si desea que las credenciales de base de datos autónoma se recuperen automáticamente al crear un activo de datos de base de datos autónoma.

allow group <group-name> to read autonomous-database-family in compartment <compartment-name>

Para publicaciones

Para publicar tareas en OCI Data Flow

Cree estas políticas para publicar tareas de Data Integration en el servicio OCI Data Flow.

allow any-user to manage dataflow-application in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow any-user to read dataflow-private-endpoint in compartment <compartment-name> where ALL {request.principal.type = 'disworkspace', request.principal.id = '<workspace-ocid>'}

allow group <group-name> to read dataflow-application in compartment <compartment-name>

allow group <group-name> to manage dataflow-run in compartment <compartment-name>

Para que los usuarios no administradores publiquen en OCI Data Flow mediante un punto final privado, esta política es necesaria para mostrar puntos finales privados:

allow group <group-name> to inspect dataflow-private-endpoint in compartment <compartment-name>

Creación de espacios de trabajo

Para que pueda empezar a utilizar Data Integration, el administrador debe crear primero un espacio de trabajo para los proyectos de integración de datos.

Cree un espacio de trabajo una vez que se cumplan los requisitos de conectividad de Data Integration. Consulte Creación de Recursos.

Para obtener más información sobre redes, consulte los siguientes temas:

Configurar componentes de red para activos de datos
Blog: Descripción de la configuración de VCN para Data Integration
Blog: Uso de Network Path Analyzer (resolución de problemas, verificación y validación)

Asegúrese de tener también las políticas necesarias para crear espacios de trabajo, como se describe en Creación de políticas. Por ejemplo, si está creando un espacio de trabajo que utiliza recursos de red virtual en la nube (VCN), debe crear políticas para permitir el acceso de Data Integration a la VCN del compartimento.

1. En la página de lista Espacios de trabajo de Data Integration, seleccione Crear espacio de trabajo. Si necesita ayuda para buscar la página de lista, consulte Acceso a Espacios de Trabajo.
2. En el panel Crear espacio de trabajo, introduzca un nombre y una descripción opcional para el espacio de trabajo.
3. En la sección Network selection, seleccione Enable private network para utilizar una red privada para conectarse a los orígenes de datos. A continuación, proporcione los siguientes valores para utilizar una red privada:
  
  Seleccione una VCN en <Compartment_Name>: seleccione la VCN para las integraciones de datos.
  
  Seleccione una subred en <Compartment_Name>: seleccione la subred en la VCN seleccionada para las integraciones de datos.
  
  IP del servidor DNS: (opcional) introduzca la dirección IP del servidor del sistema de nombres de dominio (DNS) del servidor.
  
  Zona de servidor DNS: (opcional) si introdujo una dirección IP de servidor DNS, introduzca la zona DNS del servidor.
  
  Después de crear un espacio de trabajo, no puede desactivar la conexión de red privada ni cambiar las selecciones de compartimento, VCN o subred.
4. (Opcional) En la sección Etiquetas, agregue etiquetas que le ayuden a buscar recursos de Data Integration en el arrendamiento.
  
  Para obtener información sobre las etiquetas, consulte Conceptos de espacios de nombres de etiquetas y etiquetas.
5. Seleccione una de las siguientes opciones:
  
  Para crear el espacio de trabajo, seleccione Crear.
  
  Nota
  
  Si no ha agregado las políticas necesarias, la creación del espacio de trabajo falla. En el cuadro de información Acceso no autorizado que aparece, seleccione Gestionar políticas para ver los detalles de las sentencias de política necesarias. Especifique el nombre de grupo y compartimento correctos en las sentencias. Si es administrador, puede agregar las políticas seleccionando Agregar políticas. Si no es administrador, seleccione Copiar políticas y, a continuación, envíelas a un administrador para agregarlas.
  
  Volverá a la página Espacios de trabajo. Puede que se tarde unos minutos hasta que el espacio de trabajo esté listo para acceder a él. Cuando el estado sea Activo, puede seleccionar el espacio de trabajo de la lista.
  
  Para obtener información sobre la navegación y la búsqueda en un espacio de trabajo, consulte Navegación por un espacio de trabajo.
  
  Para crear el espacio de trabajo más tarde mediante Resource Manager y Terraform, seleccione Guardar como pila para guardar la definición de recurso como una configuración de Terraform.
  
  Para obtener más información sobre cómo guardar pilas de definiciones de recursos, consulte Creación de una pila a partir de una página de creación de recursos.
Utilice el espacio de trabajo para crear artefactos de tiempo de diseño como activos de datos, flujos de datos y tareas en uno o más proyectos o carpetas. Para obtener información sobre el uso de proyectos en un espacio de trabajo, consulte Uso de proyectos y carpetas.
Utilice el comando oci data-integration workspace create y los parámetros necesarios para crear un espacio de trabajo:
oci data-integration workspace create [OPTIONS]
Para obtener una lista completa de indicadores y opciones de variables para los comandos de la CLI, consulte la Referencia de la línea de comandos.
Ejecute la operación CreateWorkspace para crear un espacio de trabajo.

Componentes en un diseño

Después de crear activos de datos para los sistemas de datos de origen y destino, se crean los procesos de integración de datos para extraer, cargar y transformar datos.

En Data Integration, para realizar la ingesta y transformación de datos, cree tareas del cargador de datos, flujos de datos, tareas de integración y otras tareas. Para orquestar un juego de tareas en una secuencia o en paralelo, cree pipelines y tareas de pipeline. Puede utilizar las siguientes tareas como directriz.


Tarea	Descripción
Creación de una tarea del cargador de datos	Cree una tarea de cargador de datos en la sección Tareas de la página de detalles de un proyecto o una carpeta. Una tarea del cargador de datos toma datos de un origen, transforma los datos y, a continuación, carga los datos en un destino.
Crear un flujo de datos	Cree un flujo de datos en la sección Flujos de datos de la página de detalles de un proyecto o un carpeta.
Agregar operadores	En el diseñador de flujos de datos, cree el flujo lógico de datos de los activos de datos de origen a los activos de datos de destino. Agregue operadores de datos para especificar los orígenes de datos de origen y destino. Agregue operadores de conformación, como filtros y uniones, para limpiar, transformar y enriquecer los datos.
Agregar funciones definidas por el usuario	Permite crear y utilizar funciones personalizadas.
Aplicar transformaciones	En el separador Datos de un operador del diseñador de flujos de datos, aplique transformaciones para agregar, limpiar y conformar los datos.
Asignar parámetros	En el separador Detalles de un operador del diseñador del flujo de datos, asigne parámetros para externalizar y sustituir valores. Mediante el uso de parámetros, se pueden volver a utilizar diferentes configuraciones de orígenes, destinos y transformaciones en tiempo de diseño y en ejecución.
Crear una tarea de integración	Después de completar un diseño de flujo de datos, en la sección Tareas de una página de detalles de proyecto o carpeta, cree una tarea de integración que utilice el flujo de datos. El empaquetado del flujo de datos en una tarea de integración permite ejecutar el flujo de datos y puede seleccionar los valores de parámetros que desea utilizar en tiempo de ejecución.
Crear otras tareas	Si es necesario, puede crear otros tipos de tareas desde la sección Tareas de una página de detalles de proyecto o carpeta.
Crear un pipeline	Cree un pipeline en la sección Pipelines de la página de detalles de un proyecto o una carpeta. En el diseñador de pipeline, utilice operadores para agregar las tareas y actividades que desea orquestar como juego de procesos en una secuencia o en paralelo. También puede utilizar parámetros para sustituir valores en tiempo de diseño y de ejecución.
Cree una tarea de pipeline	Después de completar un diseño de pipeline, en la sección Tareas de la página de detalles de un proyecto o una carpeta, cree una tarea de pipeline que utilice el pipeline. El ajuste del pipeline en una tarea de pipeline permite ejecutar el pipeline, así como seleccionar los valores de parámetros que desea utilizar en tiempo de ejecución.

Documentación de Oracle Cloud Infrastructure