Documentación de Oracle Cloud Infrastructure

Paquete DBMS_DCAT

El paquete DBMS_DCAT proporciona funciones y procedimientos para ayudar a los usuarios de Autonomous Database a aprovechar la detección de datos y el sistema de gestión de metadatos centralizado de OCI Data Catalog.

Data Catalog recopila metadatos de los activos de almacenamiento de objetos de un lago de datos. El proceso de recopilación crea entidades lógicas, que se pueden considerar tablas con columnas y tipos de datos asociados. Los procedimientos y las funciones de DBMS_DCAT conectan Autonomous Database a Data Catalog y, a continuación, sincronizan los activos con la base de datos, creando esquemas protegidos y tablas externas. A continuación, puede consultar el almacén de objetos mediante esas tablas externas, uniendo fácilmente datos externos con datos almacenados en Autonomous Database. Esto simplifica drásticamente el proceso de gestión; hay un único almacén de metadatos gestionado de forma centralizada que se comparte entre varios servicios de OCI (incluidas las bases de datos autónomas). También hay vistas de diccionario de Autonomous Database que permiten inspeccionar el contenido de Data Catalog mediante SQL y mostrar cómo se asignan estas entidades de Data Catalog a los esquemas y tablas de Autonomous Database.

  • Usuarios y roles de Data Catalog
    El paquete DBMS_DCAT soporta usuarios/esquemas sincronizados, usuarios dcat_admin y usuarios locales. Los usuarios deben tener el rol dcat_sync para poder utilizar este paquete.
  • Credenciales y políticas de IAM necesarias
    En este tema se describen las credenciales y políticas de usuario de Oracle Cloud Infrastructure Identity and Access Management (IAM) necesarias para otorgar a los usuarios de Autonomous Database permiso para gestionar un catálogo de datos y leer desde Object Storage.
  • Resumen de subprogramas de gestión de conexiones
    En esta tabla se muestran los procedimientos de paquete DBMS_DCAT utilizados para crear, consultar y borrar conexiones de Data Catalog.
  • Resumen de Subprogramas de Sincronización
    Se puede ejecutar una sincronización, crear y borrar un trabajo de sincronización y borrar esquemas sincronizados con los procedimientos que se muestran en esta tabla.
  • La integración de resumen de vistas de Data Catalog
    Data Catalog con Autonomous Database proporciona numerosas tablas y vistas.

Tema principal: Referencia de paquete proporcionado por Autonomous Database

Usuarios y roles de Data Catalog

El paquete DBMS_DCAT soporta usuarios/esquemas sincronizados, usuarios dcat_admin y usuarios locales. Los usuarios deben tener el rol dcat_sync para poder utilizar este paquete.

Usuarios de Data Catalog

  • Usuarios/esquemas sincronizados

    Las tablas externas sincronizadas se organizan en esquemas de base de datos correspondientes a combinaciones de activo de datos/cubo o según las propiedades personalizadas definidas por el usuario. Los esquemas sincronizados se crean o borran automáticamente durante la sincronización de Data Catalog. Se crean como usuarios sin autenticación sin el privilegio Crear sesión. Los esquemas sincronizados también se crean mediante la cláusula protegida, de modo que los usuarios locales no puedan modificarlos (ni siquiera el administrador de la PDB) y solo se puedan modificar mediante la sincronización.

  • Usuario dcat_admin

    El usuario dcat_admin es un usuario de base de datos local que puede ejecutar una sincronización y otorgar el privilegio READ en tablas sincronizadas a otros usuarios o roles. El usuario se crea como un usuario sin autenticación sin el privilegio CREATE SESSION.

  • usuarios locales

    A los usuarios de base de datos que consultan las tablas externas los usuarios dcat_admin o ADMIN deben otorgar explícitamente privilegios READ en las tablas externas sincronizadas. Por defecto, una vez terminada la sincronización, solo los usuarios dcat_admin y ADMIN tienen acceso a las tablas externas sincronizadas.

Roles de Data Catalog

  • dcat_sync

    El rol dcat_sync tiene todos los privilegios necesarios para utilizar el paquete DBMS_DCAT. Los usuarios deben tener este rol para poder utilizar la API para desplazarse por Data Catalog y ejecutar la sincronización.

Tema principal: Paquete DBMS_DCAT

Credenciales y políticas de IAM necesarias

En este tema se describen las credenciales y políticas de usuario de Oracle Cloud Infrastructure Identity and Access Management (IAM) necesarias para otorgar a los usuarios de Autonomous Database permiso para gestionar un catálogo de datos y leer desde Object Storage.

Requisitos de políticas y credenciales de Data Catalog de OCI:

Requisitos de políticas y credenciales de AWS Glue Data Catalog

Las siguientes credenciales y políticas de usuario son necesarias para otorgar a los usuarios de Autonomous Database permiso para acceder a Amazon Web Services (AWS) Glue Data Catalogs y para leer desde el almacenamiento de objetos S3:
  • Se necesita un objeto de credencial con permiso para acceder a AWS Glue Data Catalog. Para obtener información sobre la gestión de credenciales, consulte DBMS_CLOUD for Access Management.

    Para acceder a un catálogo de datos de AWS Glue se requieren los siguientes privilegios: pegue: GetDatabases, pegue: GetTables y pegue: GetTable.

    Además, se necesita el privilegio s3:GetBucketLocation durante la sincronización para generar URL de https que se puedan resolver y que apunten a los objetos S3 subyacentes.
  • Se necesita un objeto de credencial con permiso para acceder a los archivos almacenados en S3 para que Autonomous Database pueda consultar archivos de datos.
  • Las credenciales de AWS están soportadas. Las credenciales de nombres de recursos de Amazon (ARN) de AWS no están soportadas.

Ejemplo: Creación de un objeto de credencial de autenticación nativa de OCI

En este ejemplo, creamos una credencial de autenticación nativa de OCI que se puede utilizar al crear un objeto de credencial de catálogo de datos o de almacén de objetos. Para obtener más información, consulte los procedimientos DBMS_DCAT SET_DATA_CATALOG_CREDENTIAL y DBMS_DCAT SET_OBJECT_STORE_CREDENTIAL respectivamente.

En la autenticación nativa de OCI, el procedimiento DBMS_CLOUD.CREATE_CREDENTIAL incluye estos parámetros: credential_name, user_ocid, tenancy_ocid, private_key y fingerprint. Consulte DBMS_CLOUD CREATE_CREDENTIAL Procedure para obtener una descripción completa de este procedimiento.

credential_name es el nombre del objeto de credencial. Los parámetros user_ocid y tenancy_ocid corresponden a los OCID del usuario y del arrendamiento respectivamente.

El parámetro private_key especifica la clave privada generada en formato PEM. Las claves privadas creadas con una frase de contraseña no están soportadas. Por lo tanto, debemos asegurarnos de generar una clave sin frase de contraseña. Consulte Cómo Generar una Clave de Firma de API para obtener más información sobre cómo crear una clave privada sin frase de contraseña. Además, la clave privada que proporcionamos para este parámetro solo debe contener la propia clave sin ninguna cabecera ni pie de página (por ejemplo, '-----BEGIN RSA PRIVATE KEY-----', '-----END RSA PRIVATE KEY-----').

El parámetro fingerprint especifica la huella que se obtiene después de cargar la clave pública en la consola o mediante los comandos OpenSSL. Consulte How to Upload the Public Key y How to Get the Key's Fingerprint para obtener más información sobre la obtención de la huella.

Una vez recopilada toda la información necesaria y generada la clave privada, estamos listos para ejecutar el siguiente procedimiento CREATE_CREDENTIAL: 

BEGIN
  DBMS_CLOUD.CREATE_CREDENTIAL (
    credential_name => 'OCI_NATIVE_CRED',
    user_ocid              => 'ocid1.user.oc1..aaaaaaaatfn77fe3fxux3o5lego7glqjejrzjsqsrs64f4jsjrhbsk5qzndq',
    tenancy_ocid           => 'ocid1.tenancy.oc1..aaaaaaaapwkfqz3upqklvmelbm3j77nn3y7uqmlsod75rea5zmtmbl574ve6a',
    private_key            => 'MIIEogIBAAKCAQEA...t9SH7Zx7a5iV7QZJS5WeFLMUEv+YbYAjnXK+dOnPQtkhOblQwCEY3Hsblj7Xz7o=',
    fingerprint            => '4f:0c:d6:b7:f2:43:3c:08:df:62:e3:b2:27:2e:3c:7a');
END;
/
Después de crear el objeto de credencial, se muestra en la tabla dba_credentials:
SELECT owner, credential_name
FROM dba_credentials 
WHERE credential_name LIKE '%NATIVE%';

OWNER CREDENTIAL_NAME
----- ---------------
ADMIN OCI_NATIVE_CRED

Ejemplo: Uso de la principal de recurso de Autonomous Database

En este ejemplo, se crea un grupo dinámico que incluye los miembros de recurso adecuados, se otorga al grupo dinámico permiso para gestionar una instancia de Data Catalog y, a continuación, se otorga al grupo dinámico permiso para leer desde el almacenamiento de objetos.

  1. Cree un grupo dinámico denominado adb-grp-1. Agregue una regla de coincidencia a adb-grp-1 que incluya la instancia de Autonomous Database con el OCID ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe como miembro de recurso.

    Regla de coincidencia de grupo dinámico:

    resource.id = 'ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe'

  2. Defina una política que otorgue al grupo dinámico adb-grp-1 acceso completo a las instancias de Data Catalog, en el compartimento mycompartment. 

    allow dynamic-group adb-grp-1 to manage data-catalog-family in compartment mycompartment
  3. Defina una política que permita al grupo dinámico adb-grp-1 leer cualquier cubo del compartimento denominado mycompartment.
    allow dynamic-group adb-grp-1 to read objects in compartment mycompartment

Ejemplo: uso de principales de usuario

En este ejemplo, user1 es un miembro del grupo adb-admins. Todos los miembros de este grupo tienen permiso para gestionar todos los catálogos de datos en mycompartment y para leer desde el almacén de objetos de mycompartment.

  1. Permita a los usuarios que sean miembros de adb-admins gestionar todos los catálogos de datos en mycompartment.
    allow group adb-admins to manage data-catalog-family in compartment mycompartment
  2. Permita a los usuarios que sean miembros de adb-admins leer cualquier objeto de cualquier cubo dentro de mycompartment.
    allow group adb-admins to read objects in compartment mycompartment

Tema principal: Paquete DBMS_DCAT

Resumen de Subprogramas de Gestión de Conexiones

En esta tabla se muestran los procedimientos de paquete DBMS_DCAT utilizados para crear, consultar y borrar conexiones de Data Catalog.

Subprograma Descripción
Procedimiento SET_DATA_CATALOG_CONN Crear una conexión al catálogo de datos proporcionado
Procedimiento SET_DATA_CATALOG_CREDENTIAL Definir la credencial de acceso al catálogo de datos que utiliza una conexión específica al catálogo de datos
Procedimiento SET_OBJECT_STORE_CREDENTIAL Definir la credencial utilizada por el identificador de conexión único proporcionado para acceder al almacén de objetos
Procedimiento UNSET_DATA_CATALOG_CONN Eliminar una conexión de Data Catalog existente
  • Procedimiento SET_DATA_CATALOG_CREDENTIAL
    Con este procedimiento se define la credencial de acceso de Data Catalog utilizada por una conexión específica a Data Catalog.
  • Procedimiento SET_OBJECT_STORE_CREDENTIAL
    Este procedimiento define la credencial que utiliza el identificador de conexión único proporcionado para acceder al almacén de objetos. Al cambiar la credencial de acceso al almacén de objetos, se modifican todas las tablas sincronizadas existentes para utilizar la nueva credencial.
  • Procedimiento SET_DATA_CATALOG_CONN
    Con este procedimiento se crea una conexión a la instancia de Data Catalog proporcionada. La conexión es necesaria para sincronizar los metadatos con Data Catalog. Una instancia de Autonomous Database se puede conectar a varias instancias de Data Catalog y soporta la conexión a Data Catalog de OCI y a Data Catalog de AWS Glue.
  • Procedimiento UNSET_DATA_CATALOG_CONN
    Con este procedimiento se elimina una conexión de Data Catalog existente.

Tema principal: Paquete DBMS_DCAT

Procedimiento SET_DATA_CATALOG_CREDENTIAL

Con este procedimiento se define la credencial de acceso de Data Catalog utilizada por una conexión específica a Data Catalog.

Sintaxis

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CREDENTIAL(
    credential_name VARCHAR2(128) DEFAULT NULL,
    dcat_con_id     VARCHAR2 DEFAULT NULL
  );

Parámetros

parámetro Descripción

credential_name

(Opcional) Credencial utilizada para acceder a Data Catalog.

dcat_con_id Identificador de conexión único de Data Catalog. Esta credencial se utiliza para la conexión identificada por dcat_con_id. El valor por defecto es Nulo.

Sintaxis

Esta credencial debe tener permisos de gestión de Data Catalog; consulte Data Catalog Policies. El valor por defecto es la entidad de recurso; consulte Acceso a recursos en la nube mediante la configuración de políticas y roles.

Procedimiento SET_OBJECT_STORE_CREDENTIAL

Este procedimiento define la credencial que utiliza el identificador de conexión único proporcionado para acceder al almacén de objetos. Al cambiar la credencial de acceso al almacén de objetos, se modifican todas las tablas sincronizadas existentes para utilizar la nueva credencial.

Sintaxis

PROCEDURE DBMS_DCAT.SET_OBJECT_STORE_CREDENTIAL(
    credential_name  VARCHAR2(128),
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
  );

Parámetros

parámetro Descripción

credential_name

Credencial utilizada por las tablas externas para acceder al almacén de objetos.
dcat_con_id Identificador de conexión único de Data Catalog. El valor por defecto es NULL.

Procedimiento SET_DATA_CATALOG_CONN

Con este procedimiento se crea una conexión a la instancia de Data Catalog proporcionada. La conexión es necesaria para sincronizar los metadatos con Data Catalog. Una instancia de Autonomous Database se puede conectar a varias instancias de Data Catalog y soporta la conexión a Data Catalog de OCI y a Data Catalog de AWS Glue.

Sintaxis

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CONN (
   region       VARCHAR2 DEFAULT NULL,
   endpoint     VARCHAR2 DEFAULT NULL,
   catalog_id   VARCHAR2 DEFAULT NULL,
   dcat_con_id  VARCHAR2 DEFAULT NULL,
   catalog_type VARCHAR2 DEFAULT NULL
 );

Parámetros

parámetro Descripción

region

Región de Data Catalog. Si se especifica endpoint, region es opcional. Si se proporcionan endpoint y region, endpoint tiene prioridad. El valor por defecto es NULL.

endpoint

Punto final de Data Catalog. Si se especifica region, endpoint es opcional. Si se proporcionan endpoint y region, endpoint tiene prioridad. El valor por defecto es NULL.

catalog_id

Identificador único de Oracle Cloud (OCID) para la instancia de Data Catalog. Al conectarse a los Data Catalog de AWS Glue, catalog_id es opcional.

dcat_con_id Identificador de conexión único de Data Catalog. Este identificador es necesario cuando se conecta a varios Data Catalog y es opcional cuando se conecta a uno solo. Se utiliza para hacer referencia a la conexión de Data Catalog en llamadas posteriores o al consultar vistas. Si no se especifica ningún identificador, este procedimiento genera un identificador de conexión NULL. Para dcat_con_id se aplican las siguientes restricciones:
  • Debe ser único dentro de la instancia de Autonomous Database.
  • Debe comenzar con una letra.
  • Puede contener caracteres alfanuméricos, guiones bajos (_), signos de dólar ($) y signos de almohadilla numérica (#).
  • Debe tener al menos 16 caracteres.
catalog_type Tipo de catálogo de datos que se va a conectar. Valores permitidos:
  • OCI_DCAT: catálogo de datos de OCI
  • AWS_GLUE: catálogo de datos de AWS Glue
  • NULL: el tipo de catálogo se detecta automáticamente desde la región o el punto final proporcionados.

Sintaxis

Solo tiene que llamar a este procedimiento una vez para definir la conexión. Como parte del proceso de conexión, Autonomous Database agrega propiedades personalizadas a Data Catalog. Los usuarios de Data Catalog pueden acceder a estas propiedades personalizadas y le permiten sustituir los nombres por defecto (para esquemas, tablas y columnas) y los tipos de datos de columna.

Antes de crear una conexión, se deben crear y definir credenciales. Para obtener una descripción del proceso de conexión, consulte Flujo de trabajo típico con Data Catalog para Data Catalog de OCI y Flujo de trabajo de usuario para consultar con AWS Glue Data Catalog para Data Catalog de AWS Glue.

Ejemplo: conexión con un OCID conocido

En este ejemplo, Autonomous Database se conecta a Data Catalog en la región uk-london-1. El parámetro catalog_id utiliza el identificador de Oracle Cloud (ocid) para la instancia de Data Catalog. El tipo de Data Catalog se determina automáticamente: AWS Glue Data Catalog u OCI Data Catalog. 

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_id=>'ocid1.datacatalog.oc1.uk-london-1...');
END;
/

Ejemplo: conexión a un Data Catalog de AWS Glue

Una conexión es la asociación entre una instancia de Autonomous Database y un Data Catalog de AWS Glue. Después de una conexión correcta, la instancia de Autonomous Database puede sincronizarse con AWS Glue. Cada cuenta de AWS tiene un catálogo de datos de AWS Glue por región y se puede acceder a cada catálogo mediante el punto final de servicio correspondiente para cada región. Una instancia de Autonomous Database se puede asociar a un catálogo de datos de AWS Glue llamando a la API DBMS_DCAT.SET_DATA_CATALOG_CONN y especificando el punto final para la región en la que reside el catálogo.

Consulte Puntos finales y cuotas de AWS Glue.

En este ejemplo, Autonomous Database se conecta a un Data Catalog de AWS Glue en la región uk-london-1. Puesto que se trata de una conexión de Data Catalog de AWS Glue, el parámetro catalog_id no es necesario. 

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_type=>'AWS_GLUE'
END;
/

Procedimiento UNSET_DATA_CATALOG_CONN

Con este procedimiento se elimina una conexión de Data Catalog existente.

Sintaxis

Nota

Al llamar a este procedimiento, se borran todos los esquemas protegidos y las tablas externas que se hayan creado como parte de las sincronizaciones anteriores. No afecta a los metadatos de Data Catalog. 
PROCEDURE DBMS_DCAT.UNSET_DATA_CATALOG_CONN (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
);

Parámetros

parámetro Descripción
dcat_con_id Identificador de conexión único de Data Catalog. El valor por defecto es Null.

Resumen de Subprogramas de Sincronización

La ejecución de una sincronización, la creación y el borrado de un trabajo de sincronización y el borrado de esquemas sincronizados se pueden realizar con los procedimientos que se muestran en esta tabla.

Nota

El 4 de abril de 2022, se agregaron los parámetros sync_option y grant_read al procedimiento DBMS_DCAT.RUN_SYNC. Para garantizar el rendimiento correcto de los trabajos de sincronización planificados creados antes de esa fecha, debe borrar y recrear los trabajos de sincronización planificados. See DBMS_DCAT.DROP_SYNC_JOB Procedure and DBMS_DCAT.CREATE_SYNC_JOB Procedure.
Subprograma Descripción
CREATE_SYNC_JOB Procedimiento Crear un trabajo de programador para llamar a RUN_SYNC periódicamente
DROP_SYNC_JOB Procedimiento Borrar un trabajo de sincronización existente para el identificador de conexión único indicado
Procedimiento DROP_SYNCED_SCHEMAS Borrar todos los esquemas sincronizados anteriormente para el identificador de conexión único proporcionado
RUN_SYNC Procedimiento Ejecutar una operación de sincronización
  • Procedimiento RUN_SYNC
    Este procedimiento ejecuta una operación de sincronización y es el punto de entrada a la sincronización. Como entrada, toma listas de activos, carpetas y entidades de catálogo de datos seleccionados y las materializa creando, borrando y modificando las tablas externas.
  • Procedimiento CREATE_SYNC_JOB
    Con este procedimiento se crea un trabajo del programador para llamar a RUN_SYNC periódicamente.
  • Procedimiento DROP_SYNC_JOB
    Con este procedimiento se borra un trabajo de sincronización existente para el identificador de conexión único especificado.
  • Procedimiento DROP_SYNCED_SCHEMAS
    Este procedimiento borra todos los esquemas sincronizados anteriormente para el identificador de conexión único especificado.

Tema principal: Paquete DBMS_DCAT

RUN_SYNC Procedimiento

Con este procedimiento se ejecuta una operación de sincronización y es el punto de entrada a la sincronización. Como entrada, toma listas de activos, carpetas y entidades de catálogo de datos seleccionados y las materializa creando, borrando y modificando las tablas externas.

El parámetro sync_option especifica la operación que realiza el procedimiento RUN_SYNC: SYNC, DELETE o REPLACE. La operación se realiza en entidades dentro del ámbito del parámetro synced_objects.

Cada llamada al procedimiento RUN_SYNC devuelve un operation_id único que se puede utilizar para consultar la vista USER_LOAD_OPERATIONS con el fin de obtener información sobre el estado de la sincronización y el valor log_table correspondiente. La vista DBMS_DCAT$SYNC_LOG se puede consultar para acceder fácilmente a log_table para la última operación de sincronización ejecutada por el usuario actual. Para obtener más información, consulte DBMS_DCAT$SYNC_LOG View y Supervisión y solución de problemas de cargas.

Nota

Los parámetros sync_option y grant_read se han agregado al procedimiento RUN_SYNC el 4 de abril de 2022. Para garantizar el rendimiento correcto de los trabajos de sincronización planificados creados antes de esa fecha, debe borrar y recrear los trabajos de sincronización planificados. See DBMS_DCAT.DROP_SYNC_JOB Procedure and DBMS_DCAT.CREATE_SYNC_JOB Procedure.

Sincronización de entidades lógicas particionadas o tablas de enlace

El procedimiento RUN_SYNC crea una tabla externa particionada para cada entidad lógica o tabla de pegamento cuando se aplican las tres siguientes:

  1. La entidad lógica del catálogo de datos de OCI o la tabla de pegamento tienen uno o más atributos particionados.
  2. Para los catálogos de datos de OCI, la entidad lógica se deriva de un patrón de nombre de archivo basado en prefijo. Las entidades lógicas particionadas derivadas de patrones basados en reglas no están soportadas.
  3. Para los catálogos de datos de OCI, la entidad lógica se basa en datos particionados que siguen el formato de carpeta de estilo de subdivisión o no de subdivisión. No están soportadas las entidades lógicas basadas en datos particionados que siguen el formato de estilo no de archivo con nombres de objeto.

    • Ejemplo 1. Entidades lógicas basadas en objetos recogidos que siguen el formato de partición de estilo Hive con patrones de nombre de archivo basados en prefijo.

      Tenga en cuenta los siguientes objetos:
      Bucket: MYBUCKET
cluster1/db1.db/sales/country=USA/year=2020/month=01/sales1.csv
cluster1/db1.db/sales/country=USA/year=2020/month=01/sales2.csv
cluster1/db1.db/sales/country=USA/year=2020/month=02/sales1.csv

      La recogida del cubo mediante un patrón de nombre de archivo con un prefijo de carpeta de inicio cluster1/db1.db genera una entidad lógica denominada SALES con tres atributos de partición: country, year y month. El tipo de atributos particiones es Partition, mientras que el tipo de atributos no particiones es Primitive.

    • Ejemplo 2. Entidades lógicas basadas en objetos recogidos que siguen el formato de partición de estilo no Hive con patrones de nombre de archivo basados en prefijo.
      Tenga en cuenta los siguientes objetos:
      Bucket: MYBUCKET
cluster2/db2.db/sales/USA/2020/01/sales1.csv
cluster2/db2.db/sales/USA/2020/01/sales2.csv
cluster2/db2.db/sales/USA/2020/02/sales1.csv

      La recogida del cubo mediante un patrón de nombre de archivo con un prefijo de carpeta de inicio cluster2/db2.db genera una entidad lógica denominada SALES con tres atributos de partición: name0, name1 y name2. La única diferencia entre la entidad lógica generada en comparación con el ejemplo 1 es que los nombres de atributos particionados se generan automáticamente, mientras que en el ejemplo 1 se extraen de la URL (country, year y month respectivamente).

Para ver un ejemplo completo de sincronización de entidades lógicas particionadas, consulte Ejemplo: escenario de datos particionados.

Sincronización incremental de tablas de valores/entidades lógicas particionadas

Cada llamada al procedimiento RUN_SYNC especifica un juego de entidades lógicas de OCI Data Catalog o tablas de AWS Glue que se sincronizarán con la base de datos. Cuando una entidad lógica o una tabla de pegamento está presente en dos llamadas RUN_SYNC, la segunda llamada conserva y, posiblemente, modifica las tablas externas existentes. En la siguiente tabla se muestran qué cambios de entidad lógica o de tabla de pegamento están soportados cuando la entidad lógica o la tabla de pegamento están particionadas:

Cambio de entidad lógica o de tabla de pegamento Acción

Adición, eliminación o actualización de una partición

Se actualizan todas las particiones de la tabla particionada externa, independientemente de si el catálogo de datos ha detectado un cambio.
Adición de un atributo particionado

No está soportada la adición de una columna dividida a una tabla dividida externa. Se emite una excepción.

Supresión de un atributo de partición

El borrado de una columna particionada de una tabla particionada externa no está soportado. Se emite una excepción.

Cambio del nombre de un atributo particionado

El nombre de una columna particionada en una tabla particionada externa no está soportado. Se emite una excepción.

Sintaxis

PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );
PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    operation_id     OUT NOCOPY NUMBER,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );

Parámetros

parámetro Descripción

synced_objects

Este parámetro es un documento JSON que especifica los objetos del catálogo de datos que sincronizar.

Para OCI Data Catalogs, el documento JSON especifica un juego de entidades con una granularidad múltiple: activos de datos, carpetas (cubos del almacén de objetos) o entidades lógicas. Contiene un asset_list que es una matriz de objetos de activos o una matriz que contiene una única cadena "*" que significa "sincronizar todos los activos de datos ( almacén de objetos) del catálogo".

Para AWS Glue Data Catalogs, el documento JSON especifica una lista de tablas con varias granularidades: bases de datos, tablas. El documento especifica una lista de bases de datos. Los usuarios pueden restringir el juego de tablas que se va a sincronizar especificando tablas individuales en una base de datos.
sync_option (Opcional) Hay tres opciones:
  • SYNC (por defecto): esta opción garantiza que lo que hay en el catálogo de datos, en el ámbito synced_objects, se representa en Autonomous Database. Si se ha suprimido una entidad lógica o una tabla de enlace del catálogo de datos, desde la última operación de sincronización, se suprime en Autonomous Database. Las siguientes operaciones se realizan en el ámbito synced_objects:
    • Agrega tablas para las nuevas entidades del catálogo de datos
    • elimina tablas para las entidades del catálogo de datos suprimidas
    • Actualiza las propiedades (como el nombre, las columnas y los tipos de datos) de las tablas existentes
  • DELETE: suprime las tablas del ámbito synced_objects.
  • REPLACE: sustituye todos los objetos sincronizados actualmente por los objetos del ámbito synced_objects.

error_semantics

(Opcional) Este parámetro especifica el comportamiento del error. Si se define en SKIP_ERRORS, la sincronización intenta continuar a pesar de los errores encontrados para entidades concretas. Si se define en STOP_ON_ERROR, el procedimiento falla en el primer error encontrado. El valor por defecto es SKIP_ERRORS.

log_level

 (Opcional) Este parámetro especifica los siguientes valores al aumentar el nivel de detalle de registro: (OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE u ALL). El valor por defecto es INFO.
grant_read (Opcional) Este parámetro es una lista de usuarios/roles a los que se otorgan automáticamente privilegios READ en todas las tablas externas procesadas por esta llamada de RUN_SYNC. A todos los usuarios/roles de la lista grant_read se les otorgan privilegios READ en todas las tablas externas nuevas o ya existentes que se correspondan con las entidades especificadas por el parámetro synced_objects. El procedimiento RUN_SYNC conserva los privilegios ya otorgados en las tablas externas sincronizadas.

operation_id

(Opcional) Este parámetro se utiliza para buscar la entrada correspondiente en USER_LOAD_OPERATIONS para la sincronización y determinar el nombre de la tabla de logs.

Nota: Hay una versión de RUN_SYNC que no devuelve un valor operation_id disponible para que los usuarios puedan consultar la última sincronización en USER_LOAD_OPERATIONS.

dcat_con_id Este parámetro es el identificador de conexión único del catálogo de datos que se especificó cuando se creó la conexión al catálogo de datos. Consulte Procedimiento DBMS_DCAT SET_DATA_CATALOG_CONN. Este parámetro identifica la conexión que se utiliza para la sincronización y se convierte en parte del nombre del esquema derivado. Consulte Asignación de Sincronización para obtener una descripción de cómo se deriva el nombre del esquema. El valor por defecto del parámetro es NULL.

Ejemplo: sincronización de todas las entidades de Data Catalog de OCI

En el siguiente ejemplo, todas las entidades de Data Catalog están sincronizadas. 

EXEC DBMS_DCAT.RUN_SYNC(synced_objects=>'{"asset_list":["*"]}');

Ejemplo: parámetro synced_objects para sincronizar todos los activos de datos de Data Catalog de OCI

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar todos los activos de datos (de Object Storage) en Data Catalog. 

{"asset_list" : ["*"]}

Ejemplo: parámetro synced_objects para sincronizar activos de datos de Data Catalog de OCI específicos

A continuación, se muestra un ejemplo de parámetro synced_objects para sincronizar dos activos de datos. 

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f"
        },
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f74523"
        }
    ]}

Ejemplo: parámetro synced_objects para sincronizar entidades específicas de Data Catalog de OCI dentro de un activo de datos

A continuación se muestra un ejemplo del parámetro synced_objects para sincronizar dos entidades dentro del activo de datos. 

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "folder_list":[
                "f1",         
                "f2" 
           ]
        }   
    ]}

Ejemplo: parámetro synced_objects para sincronizar entidades y carpetas de Data Catalog de OCI específicas dentro de un activo de datos

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar dos carpetas y dos entidades dentro del activo de datos. 

{"asset_list":[
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "entity_list": [
                "entity1",     
                "entity2"
            ],
             "folder_list": [
                "f1",         
                "f2"
            ]
        }   
    ]}

Ejemplo: parámetro synced_objects para sincronizar todas las bases de datos de catálogo de datos de AWS Glue

A continuación se muestra un parámetro synced_objects de ejemplo para sincronizar todas las bases de datos del catálogo de datos de AWS Glue. 

{"database_list":["*"]}

Ejemplo: parámetro synced_objects para sincronizar dos bases de datos de catálogo de datos de AWS Glue

A continuación, se muestra un parámetro synced_objects de ejemplo para sincronizar dos bases de datos de AWS Glue Data Catalog. 

{"database_list":[
    {"database":"tpcdscsv"},
    {"database":"tpcdsparquet"} ]}

Ejemplo: parámetro synced_objects para sincronizar tres bases de datos de catálogo de datos de AWS Glue

A continuación se muestra un parámetro synced_objects de ejemplo para sincronizar tres tablas de una base de datos de AWS Glue Data Catalog. 

{"database_list":[
 {"database":"tpcdsparquet",
     "table_list": [ "tpcdsparquet_customer",
                     "tpcdsparquet_item",
                     "tpcdsparquet_web_sales" ] } ]}

CREATE_SYNC_JOB Procedimiento

Con este procedimiento se crea un trabajo del programador para llamar a RUN_SYNC periódicamente.

Toma como entrada el juego de objetos que se va a sincronizar, la semántica de error, el nivel de log y un intervalo de repetición. Consulte el procedimiento DBMS_DCAT RUN_SYNC para obtener más información sobre cómo funciona la sincronización.

Solo puede haber un único trabajo de sincronización. El procedimiento CREATE_SYNC_JOB falla si ya se ha especificado otro trabajo, a menos que el parámetro force esté definido en TRUE. Si se define force en TRUE, se borra el trabajo anterior.

Si se intenta ejecutar un trabajo del programador mientras hay otra sincronización en curso, el trabajo del programador falla.

Nota

Los parámetros sync_option y grant_read se han agregado al procedimiento RUN_SYNC el 4 de abril de 2022. Para garantizar el rendimiento correcto de los trabajos de sincronización planificados creados antes de esa fecha, debe borrar y recrear los trabajos de sincronización planificados. See DBMS_DCAT.DROP_SYNC_JOB Procedure and DBMS_DCAT.CREATE_SYNC_JOB Procedure.

Sintaxis

PROCEDURE DBMS_DCAT.CREATE_SYNC_JOB (
    synced_objects   IN CLOB,
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    repeat_interval  IN VARCHAR2,
    force            IN VARCHAR2 DEFAULT 'FALSE',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
);

Parámetros

parámetro Descripción

synced_objects

Objeto JSON que especifica los objetos que se deben sincronizar, como se describe en el procedimiento RUN_SYNC.

error_semantics

(Opcional) Comportamiento de error, según se especifica para RUN_SYNC. El valor por defecto es SKIP_ERRORS.

log_level

(Opcional) Nivel de registro, según especificado para RUN_SYNC. El valor por defecto es INFO.

repeat_interval

Intervalo de repetición para el trabajo, con la misma semántica que el parámetro de intervalo de repetición del procedimiento DBMS_SCHEDULER.CREATE_JOB. Para obtener más información sobre repeat_interval, consulte Visión general de creación de trabajos.

force

(Opcional) Si TRUE, los trabajos de sincronización existentes se suprimen primero. Si FALSE, el procedimiento CREATE_SYNC_JOB falla si ya existe un trabajo de sincronización. El valor por defecto es FALSE.

grant_read (Opcional) Lista de usuarios y roles a los que se otorgará READ en las tablas externas sincronizadas, como se describe para el procedimiento RUN_SYNC. Consulte Procedimiento DBMS_DCAT.RUN_SYNC.
sync_option (Opcional) comportamiento con respecto a las entidades que ya se han sincronizado mediante una operación RUN_SYNC anterior, como se describe para el procedimiento RUN_SYNC. Consulte Procedimiento DBMS_DCAT.RUN_SYNC.
dcat_con_id Este parámetro es el identificador de conexión único de Data Catalog que se especificó al crear la conexión a Data Catalog. Consulte Procedimiento DBMS_DCAT SET_DATA_CATALOG_CONN. Este parámetro identifica la conexión que se utiliza para la sincronización y se convierte en parte del nombre del esquema derivado. Consulte Asignación de Sincronización para obtener una descripción de cómo se deriva el nombre del esquema. El valor por defecto del parámetro es NULL.

DROP_SYNC_JOB Procedimiento

Con este procedimiento se borra un trabajo de sincronización existente para el identificador de conexión único proporcionado.

Sintaxis

PROCEDURE DBMS_DCAT.DROP_SYNC_JOB (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parámetros

parámetro Descripción
dcat_con_id Identificador de conexión único de Data Catalog. El valor por defecto es NULL.

Procedimiento DROP_SYNCED_SCHEMAS

Con este procedimiento se borran todos los esquemas sincronizados anteriormente para el identificador de conexión único proporcionado.

Sintaxis

PROCEDURE DBMS_DCAT.DROP_SYNCED_SCHEMAS (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parámetros

parámetro Descripción
dcat_con_id Identificador de conexión único de Data Catalog. El valor por defecto es NULL.

Resumen de las vistas de Data Catalog

La integración de Data Catalog con Autonomous Database proporciona numerosas tablas y vistas.

Estas tablas y vistas le ayudarán a comprender lo siguiente:

  • Activos de Data Catalog disponibles. Obtenga información sobre cualquier tipo de activo de Data Catalog, incluidas las bases de datos, los almacenes de objetos y mucho más.
  • Información sobre los activos y las entidades de Data Catalog Object Storage que se han sincronizado con Autonomous Database. Esto incluye detalles sobre cómo se asignan los elementos de Data Catalog (activos, carpetas y entidades) a los objetos de Autonomous Database (por ejemplo, esquemas y tablas externas).
  • Ejecuciones de sincronización de metadatos. Revise los detalles sobre los trabajos de sincronización, incluidas las incidencias que se hayan producido durante la sincronización.

En esta tabla se muestran las tablas y vistas proporcionadas por el paquete DBMS_DCAT.

Ver Descripción
Vista ALL_CLOUD_CATALOG_DATABASES Mostrar información sobre los activos de datos de Data Catalog de OCI y las bases de datos de Data Catalog de AWS Glue
Vista ALL_CLOUD_CATALOG_TABLES Se utiliza para mostrar información sobre entidades de datos para tablas y Data Catalog de OCI para Data Catalog de AWS Glue
Vista ALL_DCAT_ASSETS Enumerar los activos de catálogo de datos para los que esta base de datos tiene autorización de acceso
Vista ALL_DCAT_ATTRIBUTES Enumerar atributos de catálogo de datos para el acceso a esta base de datos
Vista ALL_DCAT_CONNECTIONS Vista que contiene información sobre los catálogos de datos conectados a esta instancia
Vista ALL_DCAT_ENTITIES

Muestra las entidades lógicas a las que está autorizada la base de datos para acceder
Vista ALL_DCAT_FOLDERS Enumerar metadatos para los cubos de Object Storage que contienen los archivos de datos para las entidades lógicas
Vista ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS Enumerar todos los catálogos accesibles en todas las regiones, junto con el nivel de privilegios de acceso para cada catálogo
Vista ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS Enumerar todos los catálogos accesibles en la región actual, junto con el nivel de privilegios de acceso para cada catálogo
Vista ALL_GLUE_DATABASES Muestra las bases de datos de Data Catalog de AWS Glue a las que está autorizada la credencial de Data Catalog para acceder
Vista ALL_GLUE_TABLES Muestra todas las tablas de Data Catalog de AWS Glue a las que está autorizada la credencial de Data Catalog para acceder
Vista DCAT_ATTRIBUTES Enumerar la asignación de atributos de entidad lógica a columnas de tablas externas
Vista DCAT_ENTITIES Descripción de la Asignación de Entidades Lógicas a Tablas Externas
DBMS_DCAT$SYNC_LOG Vista Proporciona un acceso sencillo a la tabla de logs para la última operación de sincronización ejecutada por el usuario actual
  • ALL_CLOUD_CATALOG_DATABASES Vista
    Utilice la vista ALL_CLOUD_CATALOG_DATABASES para mostrar información sobre los activos de datos de OCI Data Catalog y las bases de datos de AWS Glue Data Catalog.
  • Vista ALL_CLOUD_CATALOG_TABLES
    La vista ALL_CLOUD_CATALOG_TABLES se utiliza para mostrar información sobre entidades de datos para OCI Data Catalogs y tablas para AWS Glue Data Catalogs.
  • ALL_DCAT_ASSETS Vista
    Activos de Data Catalog para los que esta base de datos tiene autorización de acceso.
  • Vista ALL_DCAT_ATTRIBUTES
    Atributos de Data Catalog para los que esta base de datos tiene autorización de acceso.
  • Vista ALL_DCAT_CONNECTIONS
    Vista que contiene información sobre los catálogos de datos conectados a esta instancia.
  • Vista ALL_DCAT_ENTITIES
    Entidades lógicas de Data Catalog para las que esta base de datos tiene autorización de acceso.
  • Vista ALL_DCAT_FOLDERS
    Metadatos para los cubos de Object Storage que contienen los archivos de datos para las entidades lógicas.
  • ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS Vista
    En esta vista se muestran todos los catálogos accesibles de todas las regiones, junto con el nivel de privilegios de acceso para cada catálogo.
  • ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS Vista
    En esta vista se muestran todos los catálogos accesibles de la región actual, junto con el nivel de privilegios de acceso para cada catálogo.
  • ALL_GLUE_DATABASES Vista
    Las bases de datos de AWS Glue Data Catalog a las que está autorizada la credencial de Data Catalog.
  • Vista ALL_GLUE_TABLES
    Esta vista muestra todas las tablas de AWS Glue Data Catalog a las que está autorizada la credencial del catálogo de datos.
  • Vista DCAT_ATTRIBUTES
    Muestra la asignación de atributos de entidad lógica a columnas de tablas externas.
  • Vista DCAT_ENTITIES
    Describe la asignación de entidades lógicas a tablas externas.
  • Vista DBMS_DCAT$SYNC_LOG
    La vista DBMS_DCAT$SYNC_LOG proporciona un acceso sencillo a la tabla de logs para la última operación de sincronización ejecutada por el usuario actual.

Tema principal: Paquete DBMS_DCAT

Vista ALL_CLOUD_CATALOG_DATABASES

Utilice la vista ALL_CLOUD_CATALOG_DATABASES para mostrar información sobre los activos de datos de OCI Data Catalog y las bases de datos de AWS Glue Data Catalog.

Columna Descripción
DCAT_CON_ID CON1
CATALOG_ID Identificador único de catálogo de datos.

Ejemplo de OCI Data Catalog:

ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

Ejemplo de AWS Glue Data Catalog:

NULL

579294766787
NAME Nombre del activo de datos (OCI)/ base de datos (AWS Glue).

Ejemplo de OCI Data Catalog:

OBJECT_STORE_AT_ASHBURN

Ejemplo de AWS Glue Data Catalog:

OBJECT_STORE_AT_N_CALIFORNIA
DESCRIPTION Descripción del activo de datos (OCI)/base de datos (AWS Glue).

Ejemplo de OCI Data Catalog: 

Data stored in S3 (N. California)

Ejemplo de AWS Glue Data Catalog: 

Data stored in S3 (N. California)
TIME_CREATED Fecha y hora en que se creó el activo de datos (OCI)/bases de datos (AWS Glue) en el catálogo de datos.

Ejemplo de OCI Data Catalog:

26-SEP-22 10.56.01.395000 PM +00:00

Ejemplo de AWS Glue Data Catalog:

2022-06-15T09:45:35+01:00
DETAILS Documento JSON con metadatos sobre cada entidad de datos (OCI)/base de datos (AWS Glue).

Ejemplo de OCI Data Catalog: 

{
  "catalog-id": "ocid1.datacatalog.oc1.ap-mumbai-1.amaaa...",
  "description": null,
  "display-name": "OBJECT_STORE_AT_ASHBURN",
  "external-key": "https://swiftobjectstorage.us-ashburn-1....",
  "key": "bc95181c-3ac3-4959-9e5f-4e460d3fb82a",
  "lifecycle-state": "ACTIVE",
  "time-created": "2022-09-26T22:56:01.395000+00:00",
  "type-key": "3ea65bc5-f60d-477a-a591-f063665339f9",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-4e460d3fb82a"
}

Ejemplo de AWS Glue Data Catalog: 

{
    "Name": "dbmsdcatpoc",
    "Parameters": {
        "somekey": "somevalue"
    },
    "CreateTime": "2022-06-15T09:45:35+01:00",
    "CreateTableDefaultPermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
            },
            "Permissions": [
                "ALL"
            ]
        }
    ],
    "CatalogId": "579294766787"
}

Vista ALL_CLOUD_CATALOG_TABLES

La vista ALL_CLOUD_CATALOG_TABLES se utiliza para mostrar información sobre entidades de datos para catálogos de datos de OCI y tablas para catálogos de datos de AWS Glue.

Columna Descripción
DCAT_CON_ID Identificador único del catálogo de datos. Identificador de conexión.

Ejemplo de OCI Data Catalog: CON1

Ejemplo de AWS Glue Data Catalog: CON1
CATALOG_ID Identificador único de catálogo de datos.

Ejemplo de OCI Data Catalog: ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

Ejemplo de AWS Glue Data Catalog: NULL

579294766787
DATABASE_NAME Nombre del activo de datos (OCI)/ base de datos (AWS Glue).

Ejemplo de OCI Data Catalog: OBJECT_STORE_AT_ASHBURN

Ejemplo de AWS Glue Data Catalog: OBJECT_STORE_AT_N_CALIFORNIA
NAME Nombre de la entidad de datos (OCI)/tabla (AWS Glue).

Ejemplo de OCI Data Catalog: BIKES_TRIPS

Ejemplo de AWS Glue Data Catalog: BIKES_TRIPS
DESCRIPTION Descripción de la entidad de datos (OCI) / tabla (AWS Glue).

Ejemplo de OCI Data Catalog: Table storing bike trips

Ejemplo de AWS Glue Data Catalog: Table storing bike trips
TIME_CREATED Fecha y hora de creación de la entidad de datos (OCI)/tabla (AWS Glue) en el catálogo de datos.

Ejemplo de OCI Data Catalog: 26-SEP-22 10.56.01.395000 PM +00:00

Ejemplo de AWS Glue Data Catalog: 2022-06-15T09:45:35+01:00
TIME_UPDATED La última vez que se ha realizado un cambio en la entidad de datos (OCI)/tabla (AWS Glue).

Ejemplo de OCI Data Catalog: 26-SEP-22 10.56.01.395000 PM +00:00

Ejemplo de AWS Glue Data Catalog: 2022-06-15T09:45:35+01:00
DETAILS Documento JSON con metadatos sobre cada entidad de datos (OCI)/tabla (AWS Glue)

Ejemplo de OCI Data Catalog: 

{  
  "business-name": null,
  "data-asset-key": "bc95181c-3ac3-4959-9e5f-...",
  "description": null,
  "display-name": "bikes_trips",
  "external-key": "LE: https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/..._trips",
  "folder-key": "9c4b542d-d6eb-4b83-bf59-...",
  "folder-name": "hive",
  "is-logical": true,
  "is-partition": false,
  "key": "fde30a69-a07c-478a-ab62-...",
  "lifecycle-state": "ACTIVE",
  "object-storage-url": "https://objectstorage.us-ashburn-1.oraclecloud.com/n/...",
  "path": "OBJECT_STORE_AT_ASHBURN/hive/hive",
  "pattern-key": "db21b3f1-1508-4045-aa80-...",
  "properties": {
    "default": {
      "CONTENT-LENGTH": "4310321",
      "LAST-MODIFIED": "Fri, 9 Oct 2020 20:16:52 UTC",
      "archivedPECount": "0",
      "dataEntityExpression": "{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*",
      "harvestedFile": "bikes.db/trips/p_start_month=2019-09/000000_0",
      "patternName": "bikes_trips"
    },
    "harvestProps": {
      "characterset": "UTF8",
      "compression": "none",
      "type": "PARQUET"
    }
  },
  "realized-expression": "bikes.db/trips/.*",
  "time-created": "2022-09-26T22:56:35.063000+00:00",
  "time-updated": "2022-09-26T22:56:35.063000+00:00",
  "type-key": "6753c3af-7f88-44b9-be52-1d57bef462fb",
  "updated-by-id": "ocid1.user.oc1..r5l3tov7a",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-..."
}

Ejemplo de AWS Glue Data Catalog: 

{
    "Name": "bikes_trips",
    "DatabaseName": "dbmsdcatpoc",
    "Owner": "owner",
    "CreateTime": "2022-06-23T13:24:20+01:00",
    "UpdateTime": "2022-06-23T13:24:20+01:00",
    "LastAccessTime": "2022-06-23T13:24:20+01:00",
    "Retention": 0,
    "StorageDescriptor": {
        "Columns": [
            {
                "Name": "trip_duration",
                "Type": "int"
            },
            {
                "Name": "start_month",
                "Type": "string"
            }, ...
        ],
        "Location": "s3://dbmsdcatpoc/hive/bikes.db/trips/",
        "InputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
        "OutputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat",
        "Compressed": false,
        "NumberOfBuckets": -1,
        "SerdeInfo":
 {            "SerializationLibrary": "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe",
            "Parameters": {
                "serialization.format": "1"
            }
        },
        "BucketColumns": [],
        "SortColumns": [],
        "Parameters": {
            "CrawlerSchemaDeserializerVersion": "1.0",
            "CrawlerSchemaSerializerVersion": "1.0",
            "UPDATED_BY_CRAWLER": "crawler-bikes",
            "averageRecordSize": "86",
            "classification": "parquet",
            "compressionType": "none",
            "objectCount": "12",
            "recordCount": "404947",
            "sizeKey": "35312159",
            "typeOfData": "file"
        },
        "StoredAsSubDirectories": false
    },
    "PartitionKeys": [
        {
            "Name": "p_start_month",
            "Type": "string"
        }
    ],
    "TableType": "EXTERNAL_TABLE",
    "Parameters": {
        "CrawlerSchemaDeserializerVersion": "1.0",
        "CrawlerSchemaSerializerVersion": "1.0",
        "UPDATED_BY_CRAWLER": "crawler-bikes",
        "averageRecordSize": "86",
        "classification": "parquet",
        "compressionType": "none",
        "objectCount": "12",
        "recordCount": "404947",
        "sizeKey": "35312159",
        "typeOfData": "file"
    },
    "CreatedBy": "arn:aws:sts::579294766787:assumed-role/AWSGlueServiceRole-dbmsdcat/AWS-Crawler",
    "IsRegisteredWithLakeFormation": false,
    "CatalogId": "579294766787",
    "VersionId": "0"
}

Ejemplo

Vista ALL_DCAT_ASSETS

Activos de Data Catalog para los que esta base de datos tiene autorización de acceso.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2 (4000) Identificador de conexión que es único en la instancia

KEY

 VARCHAR2(4000)

Clave de activo
DISPLAY_NAME VARCHAR2(4000) Nombre mostrado del activo
DESCRIPTION VARCHAR2(4000) Descripción de activo
CATALOG_ID VARCHAR2(4000) OCID para el activo de Data Catalog
EXTERNAL_KEY VARCHAR2(4000) URI de almacenamiento de objetos base para el activo
URI VARCHAR2(4000) URI de activo para la API de Data Catalog
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE Fecha y hora de creación del activo de datos
TYPE_KEY VARCHAR2(4000) Clave del tipo de activo de datos (actualmente, solo están soportados los activos de datos de Object Storage). Las claves de tipo se pueden encontrar mediante el punto final de Data Catalog '/types'.
LIFECYCLE_STATE VARCHAR2(4000) Estado actual del activo de datos. Para obtener más información sobre los posibles estados del ciclo de vida, consulte Referencia DataAsset de Data Catalog para obtener una lista de los posibles estados para lifecycleState.

Vista ALL_DCAT_ATTRIBUTES

Atributos de Data Catalog para los que esta base de datos tiene autorización de acceso.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2 (4000) Identificador de conexión que es único en la instancia
KEY NUMBER Clave de atributo

DISPLAY_NAME

 VARCHAR2(4000)

Nombre Mostrado del Atributo
BUSINESS_NAME VARCHAR2(4000) Nombre de negocio de atributo
DESCRIPTION VARCHAR2(4000) Descripción del Atributo
DATA_ASSET_KEY VARCHAR2(4000) Clave de activo de datos
FOLDER_KEY VARCHAR2(4000) Clave de carpeta
ENTITY_KEY VARCHAR2(4000) Clave de Entidad
EXTERNAL_KEY VARCHAR2(4000) Clave externa única para el atributo.
LENGTH NUMBER Longitud máxima permitida del valor de atributo
PRECISION NUMBER La precisión del valor de atributo (normalmente se aplica al tipo de datos flotante)
SCALE NUMBER Escala del valor de atributo (generalmente se aplica al tipo de datos flotante)
IS_NULLABLE NUMBER identifica si se pueden asignar valores nulos a este atributo
URI VARCHAR2(4000) URI a la instancia de atributo en la API de Data Catalog
LIFECYCLE_STATE VARCHAR2(4000) Estado actual del atributo. Para obtener más información sobre los posibles estados del ciclo de vida, consulte Referencia de atributo de Data Catalog para obtener una lista de los posibles estados para lifecycleState.
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE Fecha y hora de creación del atributo
EXTERNAL_DATA_TYPE VARCHAR2(4000) Tipo de datos del atributo según lo definido en el sistema externo.
MIN_COLLECTION_COUNT NUMBER Número mínimo de elementos, si el tipo de atributo es un tipo de recopilación
MAX_COLLECTION_COUNT NUMBER Número máximo de elementos, si el tipo de atributo es un tipo de recopilación
DATATYPE_ENTITY_KEY VARCHAR2(4000) Clave de entidad que representa el tipo de datos de este atributo, aplicable si este atributo es de tipo complejo
EXTERNAL_DATATYPE_ENTITY_KEY VARCHAR2(4000) Clave de entidad externa que representa el tipo de datos de este atributo, aplicable si este atributo es de tipo complejo
PARENT_ATTRIBUTE_KEY VARCHAR2(4000) Clave de atributo que representa el atributo principal de este atributo, aplicable si el atributo principal es de tipo de datos complejo
EXTERNAL_PARENT_ATTRIBUTE_KEY VARCHAR2(4000) Clave de atributo externa que representa el atributo principal de este atributo, aplicable si el atributo principal es de tipo complejo
PATH VARCHAR2(4000) Ruta completa del atributo

Vista ALL_DCAT_CONNECTIONS

Vista que contiene información sobre los catálogos de datos conectados a esta instancia.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2(4000) Identificador de conexión que es único en la instancia
COMPARTMENT_ID VARCHAR2(4000) OCID para el compartimento donde reside la instancia de Data Catalog
INSTANCE_ID VARCHAR2(4000)

OCID para la instancia de Data Catalog

REGION

 VARCHAR2(4000)

Región de la instancia de Data Catalog

ENDPOINT VARCHAR2(4000) Punto final para la instancia de Data Catalog
CREATED TIMESTAMP Cuándo se ha creado la instancia de Data Catalog
NAME VARCHAR2(4000) Nombre de la instancia de Data Catalog
LAST_UPDATED TIMESTAMP Registro de hora de la última actualización de la conexión a la instancia de Data Catalog
LATEST_OPERATION_ID NUMBER ID de la última operación de sincronización
DATA_CATALOG_CREDENTIAL VARCHAR2(128) Credencial utilizada para acceder a Data Catalog
OBJECT_STORE_CREDENTIAL VARCHAR2(128) Credencial utilizada por el controlador de tabla externa para acceder al almacén de objetos

Vista ALL_DCAT_ENTITIES

Entidad lógica de Data Catalog para la que esta base de datos tiene autorización de acceso.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2(4000) Identificador de conexión que es único en la instancia
CATALOG_ID VARCHAR2(4000) OCID para el catálogo de datos que contiene el activo

KEY

 VARCHAR2(4000)

Clave de Entidad
DISPLAY_NAME VARCHAR2(4000)

Nombre mostrado de la entidad
BUSINESS_NAME VARCHAR2(4000)

Nombre de negocio de entidad
DESCRIPTION VARCHAR2(4000)

Descripción de la entidad lógica.

DATA_ASSET_KEY

 VARCHAR2(4000)

Clave de activo

FOLDER_KEY

 VARCHAR2(4000)

Clave única de carpeta
FOLDER_NAME VARCHAR2(4000) Nombre de la carpeta
EXTERNAL_KEY VARCHAR2(4000) Clave externa para la entidad lógica
PATTERN_KEY VARCHAR2(4000) Clave del patrón asociado para la entidad lógica
REALIZED_EXPRESSION VARCHAR2(4000) Expresión regular utilizada para obtener los archivos de esta entidad lógica
PATH VARCHAR2(4000) Ruta completa para la entidad lógica
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE Fecha y hora de creación de la entidad
TIME_UPDATED TIMESTAMP(6) WITH TIME ZONE Última vez que se ha realizado un cambio en la entidad de datos
UPDATED_BY_ID VARCHAR2(4000) OCID del usuario que ha actualizado este objeto en Data Catalog
URI VARCHAR2(4000) URI de la instancia de entidad en la API
LIFECYCLE_STATE VARCHAR2(4000) Estado actual de la entidad. Para obtener más información sobre los posibles estados del ciclo de vida, consulte Referencia de entidad de Data Catalog para obtener una lista de los posibles estados para lifecycleState.

Vista ALL_DCAT_FOLDERS

Metadatos para los cubos de Object Storage que contienen los archivos de datos para las entidades lógicas.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2(4000) Identificador de conexión que es único en la instancia
CATALOG_ID VARCHAR2(4000) OCID para el catálogo de datos que contiene el activo

KEY

 VARCHAR2(4000)

Clave de carpeta

DISPLAY_NAME

 VARCHAR2(4000)

Nombre mostrado de la carpeta
BUSINESS_NAME VARCHAR2(4000) Nombre de negocio de la carpeta
DESCRIPTION VARCHAR2(4000) Descripción de la Carpeta
DATA_ASSET_KEY VARCHAR2(4000) Clave para el activo de datos que contiene la carpeta
PARENT_FOLDER_KEY VARCHAR2(4000) Clave para la carpeta principal (actualmente, esta es la clave del activo de datos)
PATH VARCHAR2(4000) Ruta completa de la carpeta
EXTERNAL_KEY VARCHAR2(4000) URI de Object Storage para el cubo
TIME_EXTERNAL TIMESTAMP(6) WITH TIMEZONE Último registro de hora modificado de esta carpeta
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE Fecha/hora de creación de la carpeta
URI VARCHAR2(4000) URI a la instancia de carpeta en la API de Data Catalog.
LIFECYCLE_STATE VARCHAR2(4000) Estado actual de la carpeta. Para obtener más información sobre los posibles estados del ciclo de vida, consulte la Referencia de la carpeta de Data Catalog para obtener una lista de los posibles estados para lifecycleState.

Vista ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS

En esta vista se muestran todos los catálogos accesibles de todas las regiones, junto con el nivel de privilegios de acceso para cada catálogo.

Columna Tipo de Dato Descripción

CATALOG_ID

 VARCHAR2(4000)

OCID de catálogo
CATALOG_NAME VARCHAR2(4000) Nombre del catálogo
CATALOG_REGION VARCHAR2(4000) Nombre de la región de catálogo
CATALOG_SCORE NUMBER La puntuación del catálogo es un valor numérico calculado de los privilegios configurados para la credencial de acceso de Data Catalog. Una puntuación de catálogo superior significa mayores privilegios, que pueden equivalir a una mayor probabilidad de que este catálogo esté destinado para su uso con esta instancia de Autonomous Database.

Vista ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS

En esta vista se muestran todos los catálogos accesibles de la región actual, junto con el nivel de privilegios de acceso para cada catálogo.

Columna Tipo de Dato Descripción

CATALOG_ID

 VARCHAR2(4000)

OCID de catálogo
CATALOG_NAME VARCHAR2(4000) Nombre del catálogo
CATALOG_SCORE NUMBER La puntuación del catálogo es un valor numérico calculado de los privilegios configurados para la credencial de acceso de Data Catalog. Una puntuación de catálogo superior significa mayores privilegios, que pueden equivalir a una mayor probabilidad de que este catálogo esté destinado para su uso con esta instancia de Autonomous Database.

Vista ALL_GLUE_DATABASES

Bases de datos de AWS Glue Data Catalog a las que está autorizada la credencial de Data Catalog.

Columna Tipo de dato Descripción
DCAT_CON_ID VARCHAR2(4000) Identificador único del ID de conexión de Data Catalog.
CATALOG_ID VARCHAR2(255) Identificador único de Data Catalog.
NAME VARCHAR2(255) Nombre de la base de datos.
DESCRIPTION VARCHAR2(2048) Descripción de la base de datos.
LOCATION_URI VARCHAR2(1024) Ubicación de la base de datos.
CREATE_TIME TIMESTAMP Hora a la que se creó la base de datos en el catálogo de datos.
PARAMETERS CLOB Documento JSON con pares clave-valor que definen parámetros y propiedades de la base de datos.
TARGET_DATABASE VARCHAR2(4000) Documento JSON que describe una base de datos de destino para el enlace de recursos en AWS.

Vista ALL_GLUE_TABLES

Esta vista muestra todas las tablas de AWS Glue Data Catalog a las que está autorizada la credencial de Data Catalog.

Columna Tipo de dato Descripción
DCAT_CON_ID VARCHAR2(4000) Identificador único del ID de conexión de Data Catalog.
CATALOG_ID VARCHAR2(255) Identificador de Catálogo
DATABASE_NAME VARCHAR2(255) Nombre de base de datos
NAME VARCHAR2(255) Nombre de Tabla
TABLE_TYPE VARCHAR2(255) Tipo de Tabla
CLASSIFICATION VARCHAR2(255)  
DESCRIPTION VARCHAR2(2048) Descripción de Tabla
OWNER VARCHAR2(255) Propietario de Tabla
CREATED_BY VARCHAR2(255) Creador de tabla
CREATE_TIME TIMESTAMP Hora a la que se creó la tabla en el catálogo de datos.
LAST_ANALYZED_TIME TIMESTAMP La última vez que se calcularon las estadísticas de columna para esta tabla.
LAST_ACCESS_TIME TIMESTAMP Última vez que se accedió a la tabla.
UPDATE_TIME TIMESTAMP La última vez que se actualizó la tabla.
IS_REGISTERED_WITH_LAKE_FORMATION NUMBER Indica si la tabla está registrada con la formación de lago de AWS.
PARAMETERS CLOB Documento JSON con pares clave-valor que definen las propiedades de la tabla.
PARTITION_KEYS CLOB Documento JSON con una lista de columnas por las que se particiona la tabla.
RETENTION NUMBER Tiempo de retención para esta tabla.
STORAGE_DESCRIPTION CLOB Documento JSON con información sobre el almacenamiento físico de una tabla.
TARGET_TABLE VARCHAR2(4000) Documento JSON que describe una tabla de destino utilizada para el enlace de recursos en AWS.
VERSION_ID VARCHAR2(255) Identificador de versión de la tabla.
VIEW_EXPANDED_TEXT CLOB Presentado por AWS Glue para la compatibilidad con Hive. No utilizado por AWS Glue.
VIEW_ORIGINAL_TEXT CLOB Presentado por AWS Glue para la compatibilidad con Hive. No utilizado por AWS Glue.

Vista DCAT_ATTRIBUTES

muestra la asignación de atributos de entidad lógica a columnas de tablas externas.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2 (4000) Identificador de conexión que es único en la instancia
ASSET_KEY VARCHAR2(4000) Clave de activo del catálogo de datos

ENTITY_KEY

 VARCHAR2(4000)

Clave de entidad del catálogo de datos

ATTRIBUTE_KEY

 VARCHAR2(4000)

Clave de atributo de Data Catalog
ORACLE_COLUMN_NAME VARCHAR2(128) Nombre de Columna Asignado

Vista DCAT_ENTITIES

Descripción de la Asignación de Entidades Lógicas a Tablas Externas.

Columna Tipo de Dato Descripción
DCAT_CON_ID VARCHAR2(4000) Identificador de conexión que es único en la instancia
ASSET_KEY VARCHAR2(4000) Clave de activo del catálogo de datos

ENTITY_KEY

 VARCHAR2(4000)

Clave de entidad del catálogo de datos

FOLDER_KEY

 VARCHAR2(4000)

Clave de la carpeta de Data Catalog
ORACLE_TABLE_NAME VARCHAR2(128) Nombre de tabla asignada
ORACLE_SCHEMA_NAME VARCHAR2(128) Nombre de esquema asignado
ENTITY_ORACLE_DB_SCHEMA VARCHAR2(4000) Propiedad personalizada oracle-db-schema de la entidad utilizada para derivar el esquema
ASSET_ORACLE_DB_SCHEMA VARCHAR2(4000) Propiedad personalizada oracle-db-schema del activo de datos utilizada para derivar el esquema
FOLDER_ORACLE_DB_SCHEMA VARCHAR2(4000) Propiedad personalizada oracle-db-schema de la carpeta utilizada para derivar el esquema

DBMS_DCAT$SYNC_LOG Vista

La vista DBMS_DCAT$SYNC_LOG proporciona un acceso sencillo a la tabla de logs para la última operación de sincronización ejecutada por el usuario actual.

Todas las llamadas al procedimiento RUN_SYNC se registran en una nueva tabla de logs, a la que apunta el campo LOGFILE_TABLE de USER_LOAD_OPERATIONS. Las tablas de log se borran automáticamente después de 2 días, y los usuarios pueden borrar todos los logs de sincronización mediante el procedimiento DBMS_CLOUD.DELETE_ALL_OPERATIONS, donde el tipo es DCAT_SYNC.

La vista DBMS_DCAT$SYNC_LOG identifica automáticamente la tabla de logs más reciente. El esquema de la vista DBMS_DCAT$SYNC_LOG se describe a continuación y los permisos de acceso son idénticos a los de las tablas de log individuales. Por defecto, se otorga READ al rol dbms_dcat y al usuario ADMIN.

Las tablas de logs tienen el siguiente formato:

Columna Tipo de Dato Descripción

LOG_TIMESTAMP

 TIMESTAMP

Registro de hora de la entrada de log.

LOG_LEVEL

 VARCHAR2(32)

The entry log level can have one of the following values: OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL.

LOG_DETAILS VARCHAR2(32767) Mensaje de log.