Catalogues externes

Les catalogues externes sont des catalogues dans lesquels les données proviennent d'un emplacement situé en dehors d'Oracle AI Data Platform Workbench.

Sprint LiveLabs

Les catalogues externes se connectent à des sources telles qu'Oracle Autonomous AI Lakehouse, Oracle AI Database et Oracle Autonomous AI Transaction Processing pour extraire des données dans AI Data Platform Workbench. Les catalogues externes utilisent les informations d'identification fournies lors de la création du catalogue externe pour interroger la source externe. Pour plus d'informations sur les sources de données, reportez-vous à Sources internes.

Par exemple, si vous créez un catalogue externe pour une instance Autonomous AI Lakehouse où les informations d'identification utilisateur Autonomous AI Lakehouse utilisées ont accès à schema1, mais pas à schema2, seul schema1 apparaît dans le catalogue externe. Les utilisateurs disposant de droits d'accès pour le catalogue externe peuvent uniquement interroger le schéma auquel l'utilisateur Autonomous AI Lakehouse a accès.

Remarques :

Le pupitre AI Data Platform ne prend pas en charge la collecte de données à partir de schémas et de tables partagés entre des bases de données pluggables ou à partir de schémas et de tables gérés par Oracle.

Droits d'accès requis pour Autonomous AI Lakehouse et Autonomous AI Transaction Processing

Lorsque vous créez un catalogue externe dans le pupitre AI Data Platform, les informations d'identification utilisateur que vous utilisez pour vous connecter doivent disposer au moins des autorisations suivantes :

• CREATE SESSION pour se connecter à la base de données
• Accès SELECT sur les objets requis (tables/vues/tables externes) via des autorisations de moindre privilège ou un rôle de lecture dédié
• READ, WRITE sur DIRECTORY DATA_PUMP_DIR

Si vous insérez des données ou que vous créez une table dans le catalogue externe, assurez-vous que l'utilisateur fait partie du DWROLE. Pour plus d'informations, reportez-vous à la documentation Oracle Autonomous AI Transaction Processing, Gérer les privilèges utilisateur sur Autonomous AI Database - Connexion à un outil client.

Limites

L'opération UPDATE n'est pas prise en charge pour les catalogues externes. Utiliser des tables de catalogue externes pour le repérage et l'accès aux requêtes.

Le langage DDL n'est pas pris en charge, même lorsque les informations d'identification utilisées pour créer le catalogue externe sont autorisées à exécuter des instructions DDL.

La casse des noms de table affecte la façon dont la table est créée dans Oracle Autonomous AI Lakehouse. Notez le comportement de création de table lors de la création de tables à partir de la plate-forme de données d'IA dans Autonomous AI Lakehouse

• Si le nom de la table est indiqué en majuscules, la table est créée à l'aide de lettres majuscules et suit le comportement par défaut sans distinction majuscules/minuscules dans Autonomous AI Lakehouse.
• Si le nom de la table est indiqué en minuscules, la table est créée en respectant la casse dans Autonomous AI Lakehouse. Les noms de colonne des tables créées via Autonomous AI Lakehouse sont toujours créés en respectant la casse.

Créer un catalogue externe

Vous pouvez connecter un catalogue de AI Data Platform Workbench à une source externe.

1. Cliquez sur Créer dans le panneau de navigation de gauche et sélectionnez Catalogue. Vous pouvez également accéder au catalogue maître et cliquer sur Créer un catalogue dans le catalogue maître.
2. Renseignez les champs de nom et de description.
3. Dans la liste déroulante Type de catalogue, sélectionnez Catalogue externe.
4. Sélectionnez le type de source externe.
   • Pour Oracle Autonomous AI Lakehouse, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle Autonomous AI Transaction Processing, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle AI Database, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Kafka, fournissez le serveur d'amorçage. Séparez les serveurs par une virgule. (Prochainement)
5. Renseignez le nom d'utilisateur et mot de passe.
6. SSL est activé par défaut. Décochez la case pour désactiver SSL.
7. Cliquez sur Créer.
   Les catalogues externes qui extraient des données à partir d'une source externe affichent une icône en forme de cercle.
   

   

   
   

   Vous pouvez également surveiller la progression à partir des exécutions de travail.

Création d'un catalogue externe pour les réseaux privés

Vous pouvez créer un catalogue externe qui accède aux sources de données dans un réseau privé.

1. Cliquez sur Créer dans le panneau de navigation de gauche et sélectionnez Catalogue. Vous pouvez également accéder au catalogue maître et cliquer sur Créer un catalogue dans le catalogue maître.
2. Renseignez les champs de nom et de description.
3. Dans la liste déroulante Type de catalogue, sélectionnez Catalogue externe.
4. Sélectionnez le type de source externe :
   • Pour Oracle Autonomous AI Lakehouse, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle Autonomous AI Transaction Processing, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle AI Database, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle Exadata Database Service, fournissez l'hôte, le port et le nom de service (SID).
   • Pour Snowflake, indiquez le nom du compte Snowflake, le nom de la base de données et l'entrepôt. Pour la méthode d'authentification, sélectionnez Paire de clés, indiquez le fichier de clés privées et la phrase de passe de clé privée.
   • Pour Azure SQL, indiquez l'hôte, le port, le nom utilisateur et le mot de passe. Vous pouvez éventuellement inclure le nom de la base de données.
   • Pour MySQL, indiquez l'hôte, le port, le nom utilisateur et le mot de passe.
   • Pour Kafka, fournissez le serveur d'amorçage. Séparez les serveurs par une virgule. (Prochainement)
5. Renseignez le nom d'utilisateur et mot de passe.
6. SSL est activé par défaut. Décochez la case pour désactiver SSL.
7. Sélectionnez Activer le réseau privée.
8. Sélectionnez l'espace de travail avec la configuration de réseau privé souhaitée.
   Pour plus d'informations sur la configuration d'un espace de travail configuré pour les réseaux privés, reportez-vous à Création d'un espace de travail avec accès au réseau privé activé.
9. Cliquez sur Créer.
   Les catalogues externes qui extraient des données à partir d'une source externe affichent une icône en forme de cercle.
   

   

   
   

   Vous pouvez également surveiller la progression à partir des exécutions de travail.

Actualiser les catalogues de données externes

Vous pouvez déclencher une actualisation de tous les catalogues externes pour mettre à jour leur contenu à partir de la source.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. Sélectionnez le catalogue externe à actualiser.
3. Cliquez sur Actualiser.
   Lorsque vous cliquez sur Actualiser, les workflows démarrent en arrière-plan pour extraire et mettre à jour les métadonnées des catalogues externes. Les catalogues qui extraient des données d'une source externe affichent une icône en forme de cercle.
   

   

   
   

   Vous pouvez également surveiller la progression à partir des exécutions de travail.

Actualiser les catalogues externes à l'aide de SQL

Vous pouvez actualiser les métadonnées des catalogues, schémas et tables externes à l'aide de la grammaire SQL.

Pour actualiser un catalogue externe, utilisez :

REFRESH EXTERNAL CATALOG <<catalog_name>>

Pour actualiser un schéma dans un catalogue externe, utilisez :

REFRESH SCHEMA IN EXTERNAL CATALOG <<catalog_name.schema_name>>

Pour actualiser une table dans un schéma d'un catalogue externe, utilisez :

REFRESH TABLE IN EXTERNAL CATALOG <<catalog_name.schema_name.table_name>>

Pour plus d'informations, voir Grammaire SQL.

Modifier une description de catalogue externe

Vous pouvez modifier la description des catalogues externes après leur création si leur contenu ou leur fonction a changé.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard de votre catalogue externe, cliquez sur Actions, puis sur Modifier la description.
   
   

   

   
   
3. Apportez les modifications à la description du catalogue, puis cliquez sur Enregistrer.

Renommer un catalogue externe

Vous pouvez renommer vos catalogues externes pour fournir un libellé descriptif lorsque le contenu ou l'objectif du catalogue a changé.

Vous ne pouvez pas renommer le catalogue par défaut.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard de votre catalogue, cliquez sur Actions, puis sur Renommer.
   
   

   

   
   
3. Apportez les modifications requises au nom du catalogue, puis cliquez sur Enregistrer.

Modification d'une configuration de catalogue externe

Vous pouvez modifier la configuration d'un catalogue externe pour mettre à jour le mot de passe requis.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard de votre catalogue, cliquez sur Actions, puis sur Modifier la configuration.
3. Entrez le nouveau mot de passe du catalogue externe et cliquez sur Enregistrer.

Supprimer un catalogue externe

Vous pouvez supprimer des catalogues externes pour enlever toutes les métadonnées stockées localement.

La suppression d'un catalogue externe supprime uniquement les métadonnées stockées localement. Les données de la source ne sont pas impactées.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard du catalogue, cliquez sur Actions, puis sur Supprimer.
   
   

   

   
   
3. Sélectionnez Confirmer la suppression des catalogues.
4. Cliquez sur Supprimer.

Suppression de données de tables dans un catalogue externe

Vous pouvez utiliser le chemin d'écriture Spark pour supprimer des lignes d'une table de catalogue externe lorsque le catalogue et la table sont configurés pour prendre en charge la suppression SQL DELETE.

Utiliser l'ID de catalogue pour supprimer des données de table : Exemple Python

from pyspark.sql.types import StructType

df = spark.createDataFrame([], StructType([]))


    df.write
      .format("aidataplatform")
      .option("catalog.id", "<catalog>")
      .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
      .save()

Utiliser l'ID de catalogue pour supprimer les données de table : Exemple Scala

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("catalog.id", "<catalog>")
  .option("pushdown.sql", "DELETE FROM <schema>.<target_table> WHERE ID = 2")
  .save()

Exemple de type ingestion pour la suppression de données de table : Exemple Python

from pyspark.sql.types import StructType
df = spark.createDataFrame([], StructType([]))

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()

Exemple de type ingestion pour la suppression de données de table : Exemple Scala

val df = spark.emptyDataFrame

df.write
  .format("aidataplatform")
  .option("data.asset.type", "ORACLE_ALH")
  .option("tns.alias", alhTns)
  .option("user.name", userName)
  .option("wallet.content", alhWalletContent)
  .option("password", alhPassword)
  .option("pushdown.sql", "DELETE FROM ADMIN.PUSHDOWN_FEATURE WHERE ID = 2")
  .save()