Carga de datos de un origen SFTP en Fusion Data Intelligence (vista previa)

Como administrador de servicio, puede utilizar el servicio de extracción de Fusion Data Intelligence para adquirir datos de un origen FTP seguro (SFTP) y utilizarlo para crear aumentos de datos.

1. Compruebe el número de puerto de la base de datos FTP segura y cree una solicitud de servicio para abrir el puerto.
   Nota
   
   Debe proporcionar la dirección IP del servidor SFTP, que debe ser una IP pública y no puede ser un nombre de host ni un nombre de dominio completo (FQDN) ni una IP privada de clase A.
2. En Fusion Data Intelligence, cree la conexión de datos SFTP mediante las siguientes instrucciones:
   1. En la consola de Fusion Data Intelligence, haga clic en Configuración de datos en Administración de aplicaciones.
   2. En la página Configuración de datos, haga clic en Gestionar conexiones.
   3. En la página Gestionar conexiones, haga clic en Crear y, a continuación, en Conexión.
   4. En Crear conexión, seleccione Extracción de datos en Tipo de uso y, a continuación, seleccione SFTP como tipo de conexión.
      
      

      

      
      
   5. In the dialog for the SFTP connection, select Standard in Connectivity Type, enter an email address to receive notifications in Notification Email, and provide applicable values in Remote Host, User Name, Private Key, Remote Host Extract Files Directory, File Type, CSV Delimiter, CSV Date Format, and CSV Timestamp Format. En Bloquear metadatos, especifique si desea desactivar las extracciones de metadatos después del primer refrescamiento si los metadatos no van a cambiar. Esta opción es útil si el indicador para derivar metadatos de archivos de datos mediante la utilidad de metadatos está activado en el origen. En Host remoto, asegúrese de especificar un servidor SFTP que admita algoritmos de intercambio de claves compatibles con FIPS.
      Asegúrese de lo siguiente:

      • El nombre de tabla y el nombre de archivo del origen de SFTP deben ser iguales.
      • La clave privada que proporcione tiene el formato OpenSSH válido y el número mínimo de bits de la clave debe ser 2048.
      • El formato de fecha de los archivos de datos debe coincidir con el formato de fecha del origen de SFTP; por ejemplo, si ha utilizado MM/dd/yyyy (23/01/1998) en el origen, debe especificar el mismo formato en Formato de fecha de CSV. Consulte Acerca del formato de fecha y registro de hora para extractores basados en archivos CSV.
      • El formato de registro de hora de los archivos de datos debe coincidir con el formato de registro de hora del origen SFTP; por ejemplo, si ha utilizado MM/dd/yyyy hh:mm:ss (23/01/1998 12:00:20) en el origen, debe especificar el mismo formato en CSV Timestamp Format.

      
      

      

      
      
   6. Verifique que el conmutador Refrescar metadatos esté activado para asegurarse de que los metadatos se refrescan al guardar la conexión.
      Posteriormente, puede refrescar los metadatos desde el menú Acciones de la página Gestionar conexiones, si es necesario.

      Nota
      
      No puede crear aumentos para SFTP a menos que realice una extracción de metadatos.
   7. Haga clic en Guardar.
3. En el origen de SFTP:
   1. Cree la estructura de carpetas en Bucket siguiendo estas directrices:
      

      • La carpeta base del cubo debe coincidir con los detalles proporcionados en la conexión.
      • Dentro de la carpeta base, asegúrese de colocar cada archivo en su propia carpeta.
      • Asegúrese de que el prefijo Data_Store_Name (igual que el nombre de carpeta) y los archivos de la carpeta de destino coinciden exactamente.

      Consulte la sección "Para crear una carpeta o subcarpeta" en Uso de la consola.

   2. Dentro de la carpeta base, cree el archivo de metadatos para la lista de almacenes de datos. Este archivo muestra los almacenes de datos soportados. Cada almacén de datos es una carpeta que tiene el archivo real utilizado en el aumento de datos, por ejemplo, ASSETS. Asegúrese de que el nombre de archivo y el nombre de carpeta coincidan y de que no haya caracteres especiales (incluido espacio) en el almacén de datos, la carpeta o los nombres de archivo.
      
   3. Cree el archivo de metadatos para cada archivo de datos en la carpeta del almacén de datos siguiendo estas directrices:

      META_DATASTORES.csv debe tener estas columnas:

      • DATA_STORE_NAME: columna obligatoria para identificar el nombre del almacén de datos.
      • DATA_STORE_LABEL: columna no obligatoria que identifica la descripción del almacén de datos.

      Nota
      
      Si agrega nuevos almacenes de datos a una conexión de origen existente, asegúrese de que META_DATASTORES.csv contiene la lista completa de almacenes de datos, incluidos los almacenes de datos existentes más antiguos.

      Cada carpeta debe tener:

      • Un archivo de datos que tiene los datos reales que se cargan en Fusion Data Intelligence. Este archivo debe tener un prefijo con el nombre de la tienda de datos.
      • Un archivo de metadatos para la lista de columnas contiene toda la información de columna de los datos. Este archivo debe tener un prefijo con META_DATASTORES_<DATA_STORE_NAME>_COL.
        • Para las columnas de estos metadatos, asegúrese de lo siguiente:
        • Si el nombre de columna es ABC, los metadatos pueden ser ABC o "ABC": se ignoran las comillas dobles.
        • Si el nombre de columna es "ABC", los metadatos deben ser ""ABC": se ignoran las primeras comillas dobles.

      Ejemplo

      En la imagen, el nombre de la carpeta es ACTIVITY_TYPES. Por lo tanto, el nombre del almacén de datos es ACTIVITY_TYPES. Puede confirmar esto desde el archivo META_DATASTORES.csv. En este ejemplo, el archivo se denomina ACTIVITY_TYPES.xlsx o ACTIVITY_TYPES.csv. El archivo de metadatos debe ser META_DATASTORES_ACTIVITY_TYPES_COL.csv.

      META_DATASTORES_ACTIVITY_TYPES_COL.csv tiene estas columnas:

      • DATA_STORE_NAME: columna obligatoria.
      • COLUMN_NAME: columna obligatoria.
      • COLUMN_LABEL: columna no obligatoria.
      • DATA_TYPE: columna obligatoria.
      • WIDTH: esta columna identifica la longitud de la cadena.
      • PRECISION: este valor de columna debe ser de tipo de dato numérico.
      • SCALE: este valor de columna debe ser un tipo de dato numérico.
      • KEY_SEQUENCE: columna obligatoria que identifica la definición de clave primaria. Si utiliza la clave primaria compuesta, utilice los números de orden de columna como valores.
4. En la página Gestionar conexiones, seleccione Acciones para la conexión SFTP y, a continuación, seleccione Probar conexión.
5. Para suprimir una conexión, en la página Gestionar conexiones, haga clic en Acciones para la conexión aplicable y seleccione Suprimir.
   Nota
   
   Asegúrese de suprimir las áreas funcionales, los aumentos de datos y las configuraciones de datos personalizadas relacionadas con la conexión de datos antes de suprimirla. No puede actualizar ni cargar datos de conexiones de datos suprimidas en el almacén.
6. Una vez que las conexiones se hayan establecido correctamente, vaya al mosaico Aumento de datos de la página Configuración de datos, seleccione la conexión en Origen de datos y cree un aumento de datos con los datos SFTP. Seleccione las tablas de origen de FTP seguro aplicables. Consulte Aumento de los datos.