Catalogues externes

Les catalogues externes sont des catalogues dans lesquels les données proviennent d'un emplacement situé en dehors d'Oracle AI Data Platform Workbench.

Sprint LiveLabs

Les catalogues externes se connectent à des sources telles qu'Oracle Autonomous AI Lakehouse, Oracle AI Database et Oracle Autonomous AI Transaction Processing pour extraire des données dans AI Data Platform Workbench. Les catalogues externes utilisent les informations d'identification fournies lors de la création du catalogue externe pour interroger la source externe. Pour plus d'informations sur les sources de données, reportez-vous à Sources internes.

Par exemple, si vous créez un catalogue externe pour une instance Autonomous AI Lakehouse où les informations d'identification utilisateur Autonomous AI Lakehouse utilisées ont accès à schema1, mais pas à schema2, seul schema1 apparaît dans le catalogue externe. Les utilisateurs disposant de droits d'accès pour le catalogue externe peuvent uniquement interroger le schéma auquel l'utilisateur Autonomous AI Lakehouse a accès.

Remarques :

Le pupitre AI Data Platform ne prend pas en charge la collecte de données à partir de schémas et de tables partagés entre des bases de données pluggables ou à partir de schémas et de tables gérés par Oracle.

Droits d'accès requis pour Autonomous AI Lakehouse et Autonomous AI Transaction Processing

Lorsque vous créez un catalogue externe dans le pupitre AI Data Platform, les informations d'identification utilisateur que vous utilisez pour vous connecter doivent disposer au moins des autorisations suivantes :

• CREATE SESSION pour se connecter à la base de données
• Accès SELECT sur les objets requis (tables/vues/tables externes) via des autorisations de moindre privilège ou un rôle de lecture dédié
• READ, WRITE sur DIRECTORY DATA_PUMP_DIR

Si vous insérez des données ou que vous créez une table dans le catalogue externe, assurez-vous que l'utilisateur fait partie du DWROLE. Pour plus d'informations, reportez-vous à la documentation Oracle Autonomous AI Transaction Processing, Gérer les privilèges utilisateur sur Autonomous AI Database - Connexion à un outil client.

Limites

Les catalogues externes prennent en charge les requêtes et les instructions LMD. Le langage DDL n'est pas pris en charge, même lorsque les informations d'identification utilisées pour créer le catalogue externe sont autorisées à exécuter des instructions DDL.

Créer un catalogue externe

Vous pouvez connecter un catalogue de AI Data Platform Workbench à une source externe.

1. Cliquez sur Créer dans le panneau de navigation de gauche et sélectionnez Catalogue. Vous pouvez également accéder au catalogue maître et cliquer sur Créer un catalogue dans le catalogue maître.
2. Renseignez les champs de nom et de description.
3. Dans la liste déroulante Type de catalogue, sélectionnez Catalogue externe.
4. Sélectionnez le type de source externe.
   • Pour Oracle Autonomous AI Lakehouse, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle Autonomous AI Transaction Processing, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle AI Database, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Kafka, fournissez le serveur d'amorçage. Séparez les serveurs par une virgule. (Prochainement)
5. Renseignez le nom d'utilisateur et mot de passe.
6. SSL est activé par défaut. Décochez la case pour désactiver SSL.
7. Cliquez sur Créer.
   Les catalogues externes qui extraient des données à partir d'une source externe affichent une icône en forme de cercle.
   

   

   
   

   Vous pouvez également surveiller la progression à partir des exécutions de travail.

Création d'un catalogue externe pour les réseaux privés

Vous pouvez créer un catalogue externe qui accède aux sources de données dans un réseau privé.

1. Cliquez sur Créer dans le panneau de navigation de gauche et sélectionnez Catalogue. Vous pouvez également accéder au catalogue maître et cliquer sur Créer un catalogue dans le catalogue maître.
2. Renseignez les champs de nom et de description.
3. Dans la liste déroulante Type de catalogue, sélectionnez Catalogue externe.
4. Sélectionnez le type de source externe.
   • Pour Oracle Autonomous AI Lakehouse, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle Autonomous AI Transaction Processing, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle AI Database, fournissez un fichier de portefeuille ou la configuration d'instance.
   • Pour Oracle Exadata Database Service, fournissez l'hôte, le port et le nom de service (SID).
   • Pour Kafka, fournissez le serveur d'amorçage. Séparez les serveurs par une virgule. (Prochainement)
5. Renseignez le nom d'utilisateur et mot de passe.
6. SSL est activé par défaut. Décochez la case pour désactiver SSL.
7. Sélectionnez Activer le réseau privée.
8. Sélectionnez l'espace de travail avec la configuration de réseau privé souhaitée.
   Pour plus d'informations sur la configuration d'un espace de travail configuré pour les réseaux privés, reportez-vous à Création d'un espace de travail avec accès au réseau privé activé.
9. Cliquez sur Créer.
   Les catalogues externes qui extraient des données à partir d'une source externe affichent une icône en forme de cercle.
   

   

   
   

   Vous pouvez également surveiller la progression à partir des exécutions de travail.

Actualiser les catalogues de données externes

Vous pouvez déclencher une actualisation de tous les catalogues externes pour mettre à jour leur contenu à partir de la source.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. Sélectionnez le catalogue externe à actualiser.
3. Cliquez sur Actualiser.
   Lorsque vous cliquez sur Actualiser, les workflows démarrent en arrière-plan pour extraire et mettre à jour les métadonnées des catalogues externes. Les catalogues qui extraient des données d'une source externe affichent une icône en forme de cercle.
   

   

   
   

   Vous pouvez également surveiller la progression à partir des exécutions de travail.

Modifier une description de catalogue externe

Vous pouvez modifier la description des catalogues externes après leur création si leur contenu ou leur fonction a changé.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard de votre catalogue externe, cliquez sur Actions, puis sur Modifier la description.
   
   

   

   
   
3. Apportez les modifications à la description du catalogue, puis cliquez sur Enregistrer.

Renommer un catalogue externe

Vous pouvez renommer vos catalogues externes pour fournir un libellé descriptif lorsque le contenu ou l'objectif du catalogue a changé.

Vous ne pouvez pas renommer le catalogue par défaut.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard de votre catalogue, cliquez sur Actions, puis sur Renommer.
   
   

   

   
   
3. Apportez les modifications requises au nom du catalogue, puis cliquez sur Enregistrer.

Modification d'une configuration de catalogue externe

Vous pouvez modifier la configuration d'un catalogue externe pour mettre à jour le mot de passe requis.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard de votre catalogue, cliquez sur Actions, puis sur Modifier la configuration.
3. Entrez le nouveau mot de passe du catalogue externe et cliquez sur Enregistrer.

Accéder aux tables du catalogue externe dans le bloc-notes

Vous pouvez accéder aux tables à partir de catalogues externes dans vos blocs-notes à l'aide de noms en trois parties.

La propagation vers le bas est activée par défaut et des opérations telles que les groupements, les projections, les filtres, l'élagage des colonnes, topN, limit, offset, boolean, logical, et les opérateurs relationnels sont propagées vers la source.

1. Accédez à l'interface de code de votre bloc-notes.
2. Pour lire les données de votre table de catalogue externe, utilisez :

   df = spark.read.table("<<catalog_name>>.<<schema_name>>.<<table_name>>")

3. Pour écrire des données dans votre catalogue externe, il existe quatre options :

   Option#1
   df.write.saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#2
   df.write.mode("append").insertInto("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#3
   df.write.mode("overwrite").saveAsTable("<<catalog_name>>.<<schema_name>>.<<table_name>>")
   
   Option#4
   df.write.option('write.mode', 'MERGE').option('write.merge.keys','merge column(s)').insertInto('<<catalog_name>>.<<schema_name>>.<<table_name>>')

Supprimer un catalogue externe

Vous pouvez supprimer des catalogues externes pour enlever toutes les métadonnées stockées localement.

La suppression d'un catalogue externe supprime uniquement les métadonnées stockées localement. Les données de la source ne sont pas impactées.

1. Sur la page d'accueil, cliquez sur Catalogue maître.
2. En regard du catalogue, cliquez sur Actions, puis sur Supprimer.
   
   

   

   
   
3. Sélectionnez Confirmer la suppression des catalogues.
4. Cliquez sur Supprimer.