Función de compresión de archivos de Object Storage

Descubra cómo utilizar la función predefinida de zip de archivo de almacenamiento de objetos en OCI Functions para comprimir los archivos almacenados en un cubo de OCI Object Storage y guardar el archivo zip en el cubo de destino especificado.

Casos de Uso Común

Entre las formas comunes de utilizar la función Zip del archivo de almacenamiento de objetos se incluyen:

  • Coloque los archivos en Object Storage y utilice Data Integration para comprimir los archivos y almacenar el archivo zip resultante en Object Storage.
  • Coloque los archivos en el almacenamiento de objetos y llame directamente a una función para comprimir los archivos y almacenar el archivo zip resultante en el almacenamiento de objetos.

Los servicios relacionados con la función de compresión de archivos de Object Storage incluyen:

Ámbito

Las consideraciones de ámbito para esta función incluyen:

  • La función predefinida funciona mejor si el tiempo de espera predeterminado se establece en 300 segundos.
  • El tiempo de ejecución de la función varía según el número de archivos de entrada.
  • Los nombres de archivo y de directorio deben ser únicos. Si un archivo y un directorio comparten el mismo nombre, la función no puede garantizar la corrección del resultado.

Requisitos y recomendaciones

A continuación, se muestran las mejores prácticas al utilizar esta función incorporada:

  • Establezca el tiempo de espera de la función predefinida en 300 segundos.
  • La VCN enlazada a la aplicación facilita el acceso a otros servicios de OCI mediante un gateway de servicio, un gateway de Internet o un gateway de NAT.
  • Defina el tamaño de memoria por defecto en la memoria máxima permitida para una función.
  • Evite incluir una carpeta y un archivo con el mismo nombre en el mismo nivel en el cubo de origen.

Configuración de la función de compresión de archivos de Object Storage

Para configurar una función Zip de archivo de almacenamiento de objetos, realice los siguientes pasos:

  1. En la página Funciones predefinidas, seleccione Zip de archivo de almacenamiento de objetos y, a continuación, seleccione Crear función.
  2. Configure el nombre, el compartimento y la aplicación de la siguiente forma:
    • Nombre: nombre que desea para la nueva función. El nombre debe comenzar con una letra o guion bajo, seguido de letras, números, guiones o guiones bajos. La longitud puede abarcar entre 1 y 255 caracteres. Evite introducir información confidencial.

      Para crear la función en un compartimento diferente, seleccione Cambiar compartimento.

    • Aplicación: seleccione la aplicación en la que desea crear la función.

      Si aún no existe una aplicación adecuada en el compartimento actual, seleccione Crear nueva aplicación y especifique los siguientes detalles:

      • Nombre: nombre de la nueva aplicación. Evite introducir información confidencial.
      • VCN: la VCN (red virtual en la nube) en la que se ejecutan funciones en la aplicación. Opcionalmente, seleccione Compartimento de VCN: para seleccionar un VCN de otro compartimento.
      • Subredes: subred (o subredes, hasta un máximo de tres) en las que ejecutar funciones. Opcionalmente, seleccione Compartimento de subredes: para seleccionar una subred de un compartimento diferente.
      • Unidad: arquitectura de procesador de las instancias informáticas en las que desplegar y ejecutar funciones en la aplicación. Todas las funciones de la aplicación se despliegan y ejecutan en instancias informáticas con la misma arquitectura. La imagen de la función debe contener las dependencias necesarias para la arquitectura que seleccione.
      • Etiquetas: si tiene permisos para crear un recurso, también tiene permisos para aplicar etiquetas de formato libre a ese recurso. Etiquetas Para aplicar una etiqueta defined, debe tener permisos para utilizar el espacio de nombres de la etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recursos. Si no está seguro de si desea aplicar etiquetas, omita esta opción o pregunte a un administrador. Puede aplicar etiquetas más tarde.
  3. Configure la política de IAM para funciones predefinidas.

    Por defecto, OCI Functions crea un grupo dinámico y una política de IAM con las sentencias de política necesarias para ejecutar la función predefinida. No realice cambios para aceptar el comportamiento predeterminado.

    Si no desea que OCI Functions cree automáticamente el grupo dinámico y la política, seleccione No crear un grupo dinámico ni una política de IAM.

    Importante

    Si selecciona la opción No crear un grupo dinámico y una política de IAM, debe definir el grupo dinámico y la política de IAM usted mismo. Para obtener más información, consulte Permisos.
  4. Configure la memoria de la función y los valores de timeout de la siguiente manera:
    • Memoria (en MB): cantidad máxima de memoria que la función puede utilizar mientras se ejecuta, en megabytes. Esta es la memoria disponible para la imagen de la función. (Valor predeterminado: 256 MB)
    • Timeout (en segundos): cantidad máxima de tiempo durante la que se puede ejecutar la función, en segundos. Si la función no se completa en el tiempo especificado, el sistema cancela la función. (Valor por Defecto: 300)
  5. (Opcional) Configure la simultaneidad aprovisionada para minimizar los retrasos iniciales al llamar a la función especificando un número mínimo de llamadas a funciones simultáneas para las que desea que la infraestructura de ejecución esté disponible constantemente. (Valor por defecto: No activado)

    Si se selecciona, especifique el número de unidades de simultaneidad aprovisionadas asignadas a esta función. Por defecto: 10.

    Para obtener más información sobre la simultaneidad aprovisionada, consulte Reducing Initial Latency Using Provisioned Concurrency.

  6. Defina los parámetros de configuración de función como se describe en Parámetros de Configuración.
  7. Opcionalmente, introduzca cualquier etiqueta en la sección Etiquetas. Si tiene permisos para crear un recurso, también tiene permisos para aplicar etiquetas de formato libre a dicho recurso. Para aplicar una etiqueta defined, debe tener permisos para utilizar el espacio de nombres de la etiqueta. Para obtener más información sobre el etiquetado, consulte Etiquetas de recursos. Si no está seguro de si desea aplicar etiquetas, omita esta opción o pregunte a un administrador. Puede aplicar etiquetas más tarde.
  8. Haga clic en Crear.

El cuadro de diálogo de despliegue muestra las tareas para desplegar la función (consulte Finalización del despliegue de funciones incorporadas).

Opciones de Configuración

Parámetros de Configuración

Nombre Descripción necesario
PBF_LOG_LEVEL Nivel de registro, las opciones son DEBUG, INFO, WARN y ERROR. El valor predeterminado es INFO. No

Permisos

La ejecución de una función requiere determinadas políticas de IAM. Si ha seleccionado la opción No crear un grupo dinámico y una política de IAM al crear la función, debe definir el grupo dinámico y la política de IAM usted mismo.

Para definir las políticas adecuadas, realice los siguientes pasos:

  • Crear un grupo dinámico con la regla:
    ALL {resource.id = '<function_ocid>', resource.compartment.id = '<compartment_ocid>'}
  • Configure una política de IAM mediante el grupo dinámico:
    Allow dynamic-group <dynamic-group-name> to read objectstorage-namespaces in compartment <compartment-name>
    Allow dynamic-group <dynamic-group-name> to manage objects in compartment <compartment-name>
    Allow dynamic-group <dynamic-group-name> to manage buckets in compartment <compartment-name>
Nota

Sustituya <function-ocid> por el OCID de la función que ha creado en los pasos anteriores.
Nota

Sustituya <dynamic-group-name> por el nombre del grupo dinámico que ha creado mediante el OCID de la función.
Nota

Sustituya <compartment_ocid> por el OCID del compartimento que contiene la función.

Llamando a esta función

Puede llamar a la función de las siguientes formas:

  • Llame a la función directamente como se documenta en Llamada a funciones creando un cuerpo de solicitud como se muestra en el siguiente ejemplo de JSON.
  • Llame a la función a través de Data Integration. Utilice la tarea de la API de REST para configurar el punto final de llamada con el cuerpo de la solicitud junto con los parámetros para disparar la función. El cuerpo REST se adhiere a los siguientes valores de JSON.

Valores de JSON de solicitud HTTP

Nombre Descripción necesario
COMPARTMENT_ID OCID de compartimento del cubo de origen. Si
REGIÓN Región en la que existen los cubos. El valor por defecto es la región en la que se crea la función. No
SOURCE_BUCKET Nombre del cubo de origen que contiene los archivos y directorios que se van a comprimir. Si
SOURCE_FILES
  • Lista separada por comas de archivos en el cubo de origen.
  • Utilice / para comprimir todo el contenido del cubo
  • Agregue / al nombre de carpeta si desea comprimir todo el contenido de una carpeta sin necesidad de especificar la ruta completa del archivo desde la raíz.

Ejemplos:

  • SOURCE_FILES: "/"
    • Permite recortar todo el contenido del cubo.
  • SOURCE_FILES: folder_1/, folder_2/sub_folder/
    • Graba todo el contenido de folder_1 y folder_2/sub_folder.
  • SOURCE_FILES: folder_1/sub_folder/text_file_1.txt, text_file_2.txt
    • Fichas text_file_1.txt y text_file_2.txt.
Si
TARGET_BUCKET Nombre completo del archivo zip de salida. Si el cubo de destino con el nombre proporcionado no existe, la función crea el cubo. Si solo se proporciona el nombre del cubo, la función genera automáticamente el nombre del archivo zip.

Ejemplo: PBF_ZIP_di_pbf_zip_destination_new_2023-02-22T05:27:53.654Z.zip

Si
ALLOW_OVERWRITE Se aceptan true o false. Si el atributo no se proporciona, el valor por defecto es false. El valor true significa que si ya existe un archivo zip con el mismo nombre en el cubo de destino, el archivo se sustituye. Un valor false significa que un intento de sustituir el archivo zip con el mismo nombre falla la ejecución de la función. No

Ejemplo de entrada JSON:

{
    "COMPARTMENT_ID": "ocid1.compartment.oc1...",
    "REGION": "us-ashburn-1",
    "SOURCE_BUCKET": "origin-storage",
    "SOURCE_FILES": "folder_1/test_file_1.txt,test_file_2.txt,folder_2/",
    "TARGET_BUCKET": "target-storage/my_zip_file.zip",
    "ALLOW_OVERWRITE": "false"
}

Cuerpo de Respuesta

  • Registros de hora: utilice UTC para evitar problemas de zona horaria.
  • Código: la función devuelve un código 200 si la tarea finaliza correctamente.
  • Estado: la función devuelve "Correcto" como estado si la tarea se completa correctamente.
  • datos: cuerpo de mensaje JSON que incluye información de respuesta específica para la tarea. La información adicional proporciona un mensaje de confirmación de la operación de descompresión correcta.

Ejemplo

En el siguiente ejemplo se muestran los datos de retorno de JSON:

{
    "startTime": "2023-02-22T05:27:53.505Z",
    "endTime": "2023-02-22T05:28:13.908Z",
    "runTime": "PT20.403S",
    "code": 200,
    "status": "Success",
    "data": {
        "additionalInformation": {
            "Message": "Zip File: PBF_ZIP_di_pbf_zip_destination_new_2023-02-22T05:27:53.654Z.zip, uploaded to Bucket: target_storage"
        }
    }
}

Solución de Problemas

Códigos de estado comunes de OCI Functions

En la siguiente tabla se resumen los errores comunes de OCI Functions que puede encontrar al trabajar con funciones predefinidas:

Código de Error Mensaje de Error Acción
200 Correcto Ninguna.
404 NotAuthorizedOrNotFound Verifique que las políticas necesarias estén configuradas (consulte Ejecución de comandos de la CLI de Fn Project devuelve un error 404).
444 Timeout

La conexión entre el cliente y OCI Functions se ha interrumpido durante la ejecución de la función (consulte La llamada a una función hace que el cliente informe de un timeout y se muestra un error 444 en los logs de la función). Un reintento podría resolver el problema.

Tenga en cuenta que la mayoría de los clientes tienen un timeout interno de 60 segundos. Incluso cuando el tiempo de espera de la función predefinida se establece en 300 segundos, puede ser necesario lo siguiente:

  • Al utilizar la CLI de OCI: utilice --read-timeout 300
  • Al utilizar el SDK de OCI: defina el timeout de lectura en 300 al crear el cliente
  • Al utilizar DBMS_CLOUD.SEND_REQUEST: utilice UTL_HTTP.set_transfer_timeout(300);

Para obtener más información, consulte Llamada a funciones.

502 504 (varios) La mayoría de los problemas devuelven un código de estado 502 (consulte Llamada a una función devuelve un mensaje de fallo de función y un error 502). Se puede resolver un error 502 con el mensaje "error receive function response" mediante el aumento de la asignación de memoria. Un 502 puede ocurrir ocasionalmente cuando la función está en algún estado transitorio. Un reintento podría resolver el problema.

Para identificar aún más la causa, active las funciones de registro para la función predefinida (consulte Almacenamiento y visualización de logs de funciones). Para obtener información detallada sobre la solución de problemas de una función, consulte Solución de problemas de OCI Functions.

Códigos de estado de función predefinidos de zip de archivo de almacenamiento de objetos

En la siguiente tabla se resumen los errores que puede encontrar al trabajar con esta función creada previamente:

Código de Error Mensaje de Error Acción
400 Falta el valor de configuración obligatorio El mensaje de error indica el nombre de campo necesario. Verifique que se proporciona el campo correcto en el cuerpo de la solicitud.
400 El nombre de archivo zip de salida proporcionado no tiene una extensión .zip Verifique que el nombre del archivo proporcionado para el campo TARGET_BUCKET tiene la extensión .zip.
409 El cubo de destino ya contiene un archivo comprimido con el mismo nombre Si ALLOW_OVERWRITE está definido en false, verifique que el cubo de destino no tenga ya un archivo zip con el mismo nombre.

Para identificar aún más la causa, active las funciones de registro para la función predefinida (consulte Almacenamiento y visualización de logs de funciones).

Consejos de análisis de logs

Todas las funciones predefinidas proporcionan una opción para especificar el nivel de registro como parámetro de configuración. Puede definir el nivel de registro en DEBUG para obtener más información.

Dado que una aplicación tiene varias funciones, las entradas del log de funciones predefinidas se identifican con el prefijo "PBF | <PBF NAME> ".

Por ejemplo, una entrada de log para la función creada previamente del generador de trabajos de flujo de trabajo de medios tiene un aspecto similar al siguiente:

"PBF | Media Workflow Job Spawner | INFO | 2023-02-07T18:06:50.809Z | Fetching details from Events JSON"