Generación de un archivo de importación de datos basada en archivos
El primer paso es generar un archivo de importación de datos basada en archivos (FBDI) para su consumo por parte de Oracle Cloud ERP.
La mayoría de las integraciones masivas con ERP utilizan archivos FBDI. Un archivo FBDI es un archivo de datos planos con un contenido similar al siguiente:
NEW,1,2018/03/01,Balance Transfer,Remote Transfer,USD,2018/03/01,A,01,000,1212,0000,000,,,,,,,,,,,,,,,,,,,,,,,,,,99.00,,,,Team A Team Batch5,,,Orange Journal5,,,,,,,,,,,,,,,,,,,,,123,,,,,,,,,,,,,,,,,,,,,,,,,,END
NEW,1,2018/03/01,Balance Transfer,Remote Transfer,USD,2018/03/01,A,01,000,4111,0000,000,,,,,,,,,,,,,,,,,,,,,,,,, ,99.00,,,,Team A Team Batch5,,,Orange Journal5,,,,,,,,,,,,,,,,,,,,,123,,,,,,,,,,,,,,,,,,,,,,,,,,END
Si el archivo de datos de la aplicación de origen no tiene el formato FBDI, debe convertirlo al formato FBDI mediante la funcionalidad de asignación de Oracle Integration (XSLT) para transformarlo del formato de origen al formato de destino. Sin embargo, puede haber casos en los que el archivo generado de origen es demasiado grande, por ejemplo, 500 MB.
La lectura de un archivo grande en memoria puede provocar que se quede sin memoria. Como Oracle Integration es una oferta PaaS, hay comprobaciones de los tamaños de archivo que se pueden leer con el adaptador FTP. Oracle Integration limita el archivo más grande que se puede leer en memoria mediante el adaptador FTP a un máximo de 1 MB. Sin embargo, Oracle Integration puede leer archivos de origen grandes en una serie de fragmentos mediante una función denominada Lectura de etapa. Stage Read es una función de reducción de mapas dentro de Oracle Integration.
Dado que la lectura de fragmentos de un servidor FTP es costosa para el proceso y el ancho de banda, Oracle recomienda descargar primero el archivo localmente en Oracle Integration antes de utilizar Lectura de etapa en el flujo de Oracle Integration.
Uso de un patrón de orquestación de importación de datos basada en archivos (FBDI)
A continuación se muestra un ejemplo de patrón de orquestación de Oracle Integration para convertir uno o más archivos de un archivo ZIP de origen al formato FBDI.
El flujo lógico para convertir de un formato de origen al formato FBDI sigue estos pasos:
- Lea el archivo de disparador.
- Descargue el archivo de datos de origen.
- Lectura de fragmentos y transformación de los datos en formato FBDI. El bucle externo garantiza que se procesen varios archivos de datos.
- Cree un archivo de lista.
- Genere uno o más archivos de propiedades y escriba el archivo ZIP.
- Archive el archivo de origen.
- Archive el archivo de disparador.
Por ejemplo:
Descripción del diario de ilustración: entry-1.png
Leer el Archivo de Disparador
La lectura del archivo de disparador es una integración programada de Oracle Integration.
Se accede al archivo disparador según un programa configurado. El primer paso es leer el archivo de disparador que se coloca en un servidor FTP. El archivo de disparador es un archivo de cero bytes con el mismo nombre que el archivo de datos de origen. El archivo de disparador proporciona el nombre del archivo de datos de origen que leerán las actividades descendentes en este flujo de Oracle Integration. Se utiliza un archivo de disparador para asegurarse de que la aplicación de origen ha escrito el archivo de datos completamente antes de que Oracle Integration intente acceder al archivo de datos que se va a leer. El adaptador FTP de Oracle Integration soporta la propiedad minimum age, pero a veces la aplicación de origen puede estar intentando agregar un archivo de datos si hay muchos registros. Como minimum age no está disponible para estos escenarios, en su lugar se utiliza un archivo de disparador.
Descarga del archivo de datos de origen
El siguiente paso es descargar el archivo de datos de origen en Oracle Integration.
El flujo de Oracle Integration se escribió con el requisito de que el archivo de datos de origen sea un archivo ZIP comprimido que pueda contener uno o más archivos de formato de datos de origen.
Lectura y transformación de fragmentos del archivo de datos
Utilice la función Lectura de etapa de Oracle Integration para leer un archivo de datos en fragmentos más pequeños.
Cada fragmento se transforma del formato de origen al formato FBDI y, a continuación, crea un archivo FBDI de salida. El bucle for externo que se muestra en el diagrama garantiza que si hay varios archivos como parte del archivo ZIP de origen, cada uno se lee y se transforma en un archivo con formato FBDI independiente.
Generar el archivo de lista
Genere un archivo de lista para Oracle Integration para determinar cuántos archivos FBDI se han creado.
Creación de propiedades y archivos ZIP
En este paso, genere un archivo de propiedades y escriba el archivo ZIP.
Oracle Integration utiliza el adaptador de Oracle Cloud ERP para cargar archivos FBDI en Oracle Cloud ERP. Aunque el adaptador de Oracle Cloud ERP utiliza internamente los servicios web proporcionados por Oracle Cloud ERP, oculta muchas complejidades implicadas en los servicios web raw. El adaptador de Oracle Cloud ERP espera que un archivo ZIP que contenga archivos de propiedades y FBDI se cargue en Oracle Cloud ERP. El archivo de propiedades es un archivo de manifiesto que contiene información sobre Jobname y Parameterlist que el adaptador de Oracle Cloud ERP necesita para cargar el archivo FBDI en Oracle Cloud ERP.