Remplir automatiquement le catalogue

A propos du remplissage automatique

Vous pouvez automatiser le processus d'extraction des métadonnées des sources directement dans vos catalogues de données.

Il est fastidieux et compliqué de créer manuellement des schémas, des tables et des partitions à partir de vos sources de données. Oracle AI Data Platform Workbench offre la possibilité d'extraire automatiquement les métadonnées des sources de données et de créer des entités dans les catalogues que vous indiquez dans l'extracteur de métadonnées.

Vous renseignez automatiquement ces métadonnées dans votre catalogue en créant un extracteur de métadonnées. Dans le cadre de la création de l'extracteur, vous indiquez le catalogue cible vers lequel extraire les métadonnées et la source des métadonnées. Vous pouvez choisir de faire en sorte que l'extracteur crée des tables dans un schéma spécifié ou laisser le système suggérer l'emplacement de création des tables si aucun schéma n'est spécifié ou détecté.

Le remplissage automatique peut extraire les métadonnées des types de fichier suivants :

CSV
JSON
Avro
ORC
Parquet
Delta Lake

Remarques :

Lorsque vous indiquez le dossier source lors de la création d'un extracteur de métadonnées, tous les fichiers du dossier feuille doivent avoir le même format de données.

Remarques :

Le remplissage automatique ne prend en charge que les traits de soulignement (_ ) comme caractères spéciaux dans les noms de colonne.

Vous pouvez choisir de vérifier manuellement les entités extraites ou de laisser le système créer automatiquement les entités à partir des métadonnées extraites. Lors de l'extraction des métadonnées, les entités à l'origine d'erreurs sont capturées dans le journal. Vous pouvez consulter le journal pour voir quelles entités ont rencontré des erreurs et prendre des mesures pour les corriger.

La vérification manuelle des entités vous permet d'accepter ou de rejeter des entités sur une base individuelle. Vous pouvez afficher les entités qui ont déjà été approuvées ou rejetées dans l'onglet Entités vérifiées.

Les extracteurs affichent leur statut pour vous indiquer à quelle étape ils se trouvent actuellement et si une intervention de l'utilisateur est requise.

Statut extracteur	Description
Non Démarré	L'extracteur n'a pas démarré. Démarrez l'extracteur pour commencer.
En cours d'exécution	L'extraction est en cours
Prêt pour la révision	L'extracteur a été exécuté et vous avez choisi l'approbation manuelle. Les entités extraites doivent être examinées et acceptées ou approuvées.
Vérification en cours	L'extracteur a été exécuté et vous avez choisi l'approbation manuelle. Certaines entités ont été vérifiées ou approuvées par un utilisateur, mais il reste des entités qui nécessitent une vérification.
Terminé	L'extracteur a été exécuté et les entités ont été approuvées automatiquement ou manuellement par un utilisateur

Vous pouvez afficher et utiliser les extracteurs de métadonnées créés par d'autres utilisateurs si vous disposez des droits d'accès requis.

Créer un extracteur de métadonnées

Vous pouvez créer des extracteurs de métadonnées pour automatiser l'extraction d'entités telles que des schémas et des tables dans vos catalogues.

Sur la page d'accueil, cliquez sur Renseigner automatiquement le catalogue.
Cliquez sur Créer un extracteur de métadonnées.
Entrez le nom de l'extracteur de métadonnées.
Sélectionnez le catalogue cible dans la liste déroulante Catalogue.
Sélectionnez le type de source approprié dans la liste déroulante Type de source.
En regard de Compute, cliquez sur Parcourir et choisissez le cluster que l'extracteur doit utiliser. Cliquez sur Sélectionner.
Dans URI Object Storage, indiquez si les compartiments doivent être parcourus pour le bucket ou le dossier vers lequel extraire les métadonnées ou si vous voulez indiquer l'URI du bucket ou du dossier.
- Pour Sélectionner un bucket ou un dossier, cliquez sur Parcourir afin de sélectionner le compartiment, le bucket et le dossier vers lesquels extraire les métadonnées.
- Pour Saisir l'URI manuellement, entrez l'URI dans le champ fourni.
Indiquez si les entités sont créées avec une approbation manuelle ou automatiquement approuvées par le système.
Facultatif : sélectionnez le schéma dans lequel les tables externes sont créées. Si aucun schéma n'est spécifié, le système crée des tables dans le schéma en fonction de la structure de dossiers ou dans le schéma par défaut si aucun schéma n'est détecté.

Vérifier manuellement les entités de métadonnées extraites

Lorsque vous choisissez la méthode manuelle de création d'entités dans un extracteur de métadonnées, vous devez vérifier les entités extraites et les approuver ou les rejeter en les ajoutant à votre catalogue.

Sur la page d'accueil, cliquez sur Renseigner automatiquement le catalogue.
Cliquez sur le nom du processus d'extraction de métadonnées.
Cliquez sur l'onglet Entités en attente de vérification.
Pour chaque entité, sélectionnez Approuver ou Rejeter.
Facultatif : sélectionnez Tout approuver ou Tout rejeter pour affecter le statut sélectionné à toutes les entités en cours de vérification.
Cliquez sur Soumettre.

Afficher les entités vérifiées

Vous pouvez voir les entités qui ont été vérifiées manuellement ou automatiquement dans le cadre de l'extraction des métadonnées et voir les détails de journal, les détails de table ou le schéma de colonne pour cette entité.

Sur la page d'accueil, cliquez sur Renseigner automatiquement le catalogue.
Cliquez sur le nom de l'extracteur de métadonnées.
Cliquez sur l'onglet Entités vérifiées.
En regard d'une entité, cliquez sur Actions.
- Cliquez sur Afficher les détails de la table pour afficher les détails de la table de l'entité sélectionnée.
- Cliquez sur Afficher le schéma de colonne pour afficher le schéma de colonne de l'entité sélectionnée.
- Cliquez sur Visualiser les journaux pour afficher les journaux d'extracteur de métadonnées de l'entité sélectionnée.

Afficher les détails de l'extracteur de métadonnées

Vous pouvez visualiser les détails d'un extracteur de métadonnées pour voir son statut, sa méthode de création de métadonnées, son emplacement de base et ses détails de création.

Sur la page d'accueil, cliquez sur Renseigner automatiquement le catalogue.
Cliquez sur le nom du processus d'extraction de métadonnées.
Cliquez sur l'onglet Détails.

Supprimer l'extracteur de métadonnées

Vous pouvez supprimer les extracteurs de métadonnées qui ne sont plus nécessaires.

Sur la page d'accueil, cliquez sur Renseigner automatiquement le catalogue.
En regard de l'extracteur de métadonnées à supprimer, cliquez sur Actions, puis sur Supprimer.
Cliquez sur Supprimer.

6 Renseigner automatiquement le catalogue