Catálogos externos

Los catálogos externos son catálogos en los que los datos se obtienen de una ubicación fuera del área de trabajo de Oracle AI Data Platform.

Sprint de LiveLabs

Los catálogos externos se conectan a orígenes como Oracle Autonomous AI Lakehouse, Oracle AI Database y Oracle Autonomous AI Transaction Processing para extraer datos en su AI Data Platform Workbench. Los catálogos externos utilizan las credenciales proporcionadas durante la creación del catálogo externo para consultar el origen externo. Para obtener más información sobre los orígenes de datos, consulte Orígenes internos.

Por ejemplo, si crea un catálogo externo para una instancia de Autonomous AI Lakehouse en la que las credenciales de usuario de Autonomous AI Lakehouse utilizadas tienen acceso a schema1, pero no a schema2, solo aparece schema1 en el catálogo externo. Los usuarios con permisos para el catálogo externo solo pueden consultar el esquema al que tiene acceso el usuario de Autonomous AI Lakehouse.

Note:

El área de trabajo de AI Data Platform no soporta la recopilación de datos de esquemas y tablas compartidos entre bases de datos de conexión (PDB) o de esquemas y tablas mantenidos por Oracle.

Permisos necesarios para Autonomous AI Lakehouse y el procesamiento de transacciones de IA autónoma

Al crear un catálogo externo en el área de trabajo de AI Data Platform, las credenciales de usuario que utilice para conectarse deben tener al menos los siguientes permisos:

• CREAR SESIÓN para conectar a la base de datos
• Acceso SELECT en los objetos necesarios (tablas/vistas/tablas externas) mediante permisos de privilegios mínimos o un rol de lectura dedicado
• LECTURA, ESCRITURA en DIRECTORY DATA_PUMP_DIR

Si va a insertar datos o crear una nueva tabla en el catálogo externo, asegúrese de que el usuario forma parte de DWROLE. Para obtener más información, consulte la documentación de Oracle Autonomous AI Transaction Processing, Gestión de privilegios de usuario en Autonomous AI Database: conexión con una herramienta de cliente.

Limitaciones

La operación UPDATE no está soportada para catálogos externos. Utilizar tablas de catálogo externo para detectar y acceder a consultas.

DDL no está soportado, incluso cuando las credenciales utilizadas para crear el catálogo externo tienen permisos para ejecutar sentencias DDL.

La carcasa de nombres de tabla afecta a cómo se crea la tabla en Oracle Autonomous AI Lakehouse. Tenga en cuenta el comportamiento de creación de tablas al crear tablas a partir de AI Data Platform en Autonomous AI Lakehouse

• Si el nombre de la tabla se proporciona en mayúsculas, la tabla se crea con letras mayúsculas y sigue el comportamiento por defecto no sensible a mayúsculas/minúsculas en Autonomous AI Lakehouse.
• Si el nombre de la tabla se proporciona en minúsculas, la tabla se crea como sensible a mayúsculas/minúsculas en Autonomous AI Lakehouse. Los nombres de columna para las tablas creadas mediante Autonomous AI Lakehouse siempre se crean como sensibles a mayúsculas/minúsculas.

Creación de un catálogo externo

Puede conectar un catálogo desde el área de trabajo de AI Data Platform a un origen externo.

1. Haga clic en Create en el panel de navegación de la izquierda y seleccione Catalog. También puede navegar al catálogo maestro y hacer clic en Crear catálogo en catálogo maestro.
2. Complete los campos de nombre y descripción.
3. En la lista desplegable Tipo de catálogo, seleccione Catálogo externo.
4. Seleccione el tipo de origen externo.
   • Para Oracle Autonomous AI Lakehouse, proporcione un archivo de cartera o la configuración de la instancia.
   • Para Oracle Autonomous AI Transaction Processing, proporcione un archivo de cartera o la configuración de la instancia.
   • Para Oracle AI Database, proporcione un archivo de cartera o la configuración de la instancia.
   • Para Kafka, proporcione el servidor de inicialización de datos. Separe varios servidores con una coma. (Próximamente)
5. Rellene el nombre de usuario y la contraseña.
6. SSL está activado por defecto. Desactive la casilla para desactivar SSL.
7. Haga clic en Create.
   Los catálogos externos que extraen datos de un origen externo muestran un icono de círculo giratorio.
   

   

   
   

   También puede supervisar el progreso desde Ejecuciones de trabajos.

Creación de un catálogo externo para redes privadas

Puede crear un catálogo externo que acceda a orígenes de datos en una red privada.

1. Haga clic en Create en el panel de navegación de la izquierda y seleccione Catalog. También puede navegar al catálogo maestro y hacer clic en Crear catálogo en catálogo maestro.
2. Complete los campos de nombre y descripción.
3. En la lista desplegable Tipo de catálogo, seleccione Catálogo externo.
4. Seleccione el tipo de origen externo:
   • Para Oracle Autonomous AI Lakehouse, proporcione un archivo de cartera o la configuración de la instancia.
   • Para Oracle Autonomous AI Transaction Processing, proporcione un archivo de cartera o la configuración de la instancia.
   • Para Oracle AI Database, proporcione un archivo de cartera o la configuración de la instancia.
   • Para Oracle Exadata Database Service, proporcione el nombre de host, puerto y servicio (SID).
   • Para Snowflake, proporcione el nombre de la cuenta, el nombre de la base de datos y el almacén de Snowflake. Para el método de autenticación, seleccione Key Pair (Par de claves), proporcione el archivo de clave privada y la frase de contraseña de clave privada.
   • Para Azure SQL, proporcione el host, el puerto, el nombre de usuario y la contraseña. Opcionalmente, puede incluir el nombre de la base de datos.
   • Para MySQL, proporcione el host, el puerto, el nombre de usuario y la contraseña.
   • Para Kafka, proporcione el servidor de inicialización de datos. Separe varios servidores con una coma. (Próximamente)
5. Introduzca el nombre y la contraseña de usuario.
6. SSL está activado por defecto. Desactive la casilla para desactivar SSL.
7. Seleccione Activar red privada.
8. Seleccione el espacio de trabajo con la configuración de red privada deseada.
   Para obtener información sobre la configuración de un espacio de trabajo configurado para redes privadas, consulte Creación de un espacio de trabajo con acceso a red privada activado.
9. Haga clic en Create.
   Los catálogos externos que extraen datos de un origen externo muestran un icono de círculo giratorio.
   

   

   
   

   También puede supervisar el progreso desde Ejecuciones de trabajos.

Refrescar catálogos de datos externos

Puede activar un refrescamiento de todos los catálogos externos para actualizar su contenido desde el origen.

1. En la página de inicio, haga clic en Catálogo maestro.
2. Seleccione el catálogo externo que desea actualizar.
3. Haga clic en Refrescar.
   Al hacer clic en Refrescar, los flujos de trabajo se inician en segundo plano para extraer y actualizar metadatos de catálogos externos. Los catálogos que extraen datos de un origen externo muestran un icono de círculo giratorio.
   

   

   
   

   También puede supervisar el progreso desde Ejecuciones de trabajos.

Refrescamiento de Catálogos Externos con SQL

Puede refrescar los metadatos de catálogos, esquemas y tablas externos mediante la gramática SQL.

Para actualizar un catálogo externo, utilice:

REFRESH EXTERNAL CATALOG <<catalog_name>>

Para refrescar un esquema en un catálogo externo, utilice:

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

Para refrescar una tabla en un esquema de un catálogo externo, utilice:

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

Para obtener más información, consulte Gramática SQL.

Editar descripción de catálogo externo

Puede editar la descripción de los catálogos externos después de la creación si su contenido o finalidad han cambiado.

1. En la página de inicio, haga clic en Catálogo maestro.
2. Junto al catálogo externo, haga clic en Acciones y en Editar descripción.
   
   

   

   
   
3. Realice los cambios en la descripción del catálogo y haga clic en Guardar.

Cambiar el nombre de un catálogo externo

Puede cambiar el nombre de los catálogos externos para proporcionar una etiqueta descriptiva cuando haya cambiado el contenido o la finalidad del catálogo.

No puede cambiar el nombre del catálogo por defecto.

1. En la página de inicio, haga clic en Catálogo maestro.
2. Junto al catálogo, haga clic en Acciones y en Cambiar nombre.
   
   

   

   
   
3. Realice los cambios en el nombre del catálogo y haga clic en Guardar.

Edición de una configuración de catálogo externo

Puede editar la configuración de un catálogo externo para actualizar la contraseña necesaria.

1. En la página de inicio, haga clic en Catálogo maestro.
2. Junto al catálogo, haga clic en Acciones y en Editar configuración.
3. Introduzca la nueva contraseña para el catálogo externo y haga clic en Guardar.

Suprimir un catálogo externo

Puede suprimir catálogos externos para eliminar todos los metadatos almacenados localmente.

Al suprimir un catálogo externo, solo se suprimen los metadatos almacenados localmente. Los datos del origen no se ven afectados.

1. En la página de inicio, haga clic en Catálogo maestro.
2. Junto al catálogo, haga clic en Acciones y, a continuación, en Suprimir.
   
   

   

   
   
3. Seleccione Confirmar supresión de los catálogos.
4. Haga clic en Suprimir.

Cómo suprimir datos de tablas de un catálogo externo

Puede utilizar la ruta de acceso de escritura de Spark para suprimir filas de una tabla de catálogo externa cuando el catálogo y la tabla estén configurados para soportar SQL DELETE de transferencia.

Uso del ID de catálogo para suprimir datos de tabla: ejemplo de Python

from pyspark.sql.types import StructType

df = spark.createDataFrame([], StructType([]))


    df.write
      .format("aidataplatform")
      .option("catalog.id", "<catalog>")
      .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
      .save()

Uso del ID de catálogo para suprimir datos de tabla: ejemplo de Scala

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("catalog.id", "<catalog>")
  .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
  .save()

Ejemplo de estilo de ingesta para suprimir datos de tabla: ejemplo de Python

from pyspark.sql.types import StructType
df = spark.createDataFrame([], StructType([]))

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()

Ejemplo de estilo de ingesta para suprimir datos de tabla: ejemplo de Scala

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()