Alimenter automatiquement le catalogue

À propos de l'alimentation automatique

Vous pouvez automatiser le processus d'extraction des métadonnées de sources directement dans vos catalogues de données.

La création manuelle de schémas, de tables et de partitions à partir de vos sources de données prend beaucoup de temps et est compliquée. Oracle AI Data Platform Workbench offre la possibilité d'extraire automatiquement les métadonnées à partir de sources de données et de créer des entités dans les catalogues que vous spécifiez dans l'extracteur de métadonnées.

Vous alimentez automatiquement ces métadonnées dans votre catalogue en créant un extracteur de métadonnées. Dans le cadre de la création de l'extracteur, vous précisez le catalogue cible vers lequel extraire les métadonnées et la source des métadonnées. Vous pouvez choisir que l'extracteur crée des tables dans un schéma spécifique ou laisser le système suggérer où les tables sont créées si aucun schéma n'est spécifié ou détecté.

L'alimentation automatique peut extraire les métadonnées des types de fichier suivants :

CSV
JSON
Avro
Code de taux d'intérêt
Parquet
Delta Lake

Note :

Lorsque vous spécifiez le dossier source lors de la création d'un extracteur de métadonnées, tous les fichiers du dossier feuille doivent avoir le même format de données.

Note :

L'alimentation automatique prend uniquement en charge les traits de soulignement ( _ ) en tant que caractères spéciaux dans les noms de colonne.

Vous pouvez choisir de vérifier manuellement les entités extraites ou de laisser le système créer automatiquement les entités à partir des métadonnées extraites. Lors de l'extraction des métadonnées, les entités qui génèrent des erreurs sont capturées dans le journal. Vous pouvez consulter le journal pour voir quelles entités ont rencontré des erreurs et prendre des mesures pour les corriger.

La révision manuelle des entités vous permet d'accepter ou de rejeter des entités sur une base individuelle. Vous pouvez voir les entités déjà approuvées ou rejetées dans l'onglet Entités révisées.

Les extracteurs affichent leur statut pour vous indiquer à quelle étape ils se trouvent actuellement et si une intervention de l'utilisateur est requise.

Statut de l'extracteur	Description
Non démarré	L'extracteur n'a pas démarré. Démarrez l'extracteur pour commencer.
En cours d'exécution	L'extracteur est en cours
Prête pour la révision	L'extracteur a été exécuté et vous avez choisi l'approbation manuelle. Les entités extraites doivent être révisées et acceptées ou approuvées.
Vérification	L'extracteur a été exécuté et vous avez choisi l'approbation manuelle. Certaines entités ont été révisées ou approuvées par un utilisateur, mais il reste des entités qui nécessitent une révision.
Terminé	L'extracteur a été exécuté et les entités ont été approuvées automatiquement ou manuellement par un utilisateur

Vous pouvez consulter et utiliser les extracteurs de métadonnées créés par d'autres utilisateurs si vous disposez des autorisations requises.

Créer un extracteur de métadonnées

Vous pouvez créer des extracteurs de métadonnées pour automatiser l'extraction d'entités telles que des schémas et des tables dans vos catalogues.

Dans la page d'accueil, cliquez sur Alimenter automatiquement le catalogue.
Cliquez sur Créer un extracteur de métadonnées.
Entrez un nom pour l'extracteur de métadonnées.
Sélectionnez le catalogue cible dans la liste déroulante Catalogue.
Sélectionnez le type de source approprié dans la liste déroulante Type de source.
À côté de Calcul, cliquez sur Parcourir et sélectionnez la grappe que l'extracteur doit utiliser. Cliquez sur Sélectionner.
Pour URI du stockage d'objets, indiquez s'il faut parcourir les compartiments du seau ou du dossier vers lequel vous voulez extraire les métadonnées ou si vous voulez spécifier l'URI du seau ou du dossier.
- Pour Sélectionner un seau ou un dossier, cliquez sur Parcourir pour sélectionner le compartiment, le seau et le dossier dans lesquels les métadonnées doivent être extraites.
- Pour Entrer l'URI manuellement, entrez l'URI dans le champ fourni.
Indiquez si les entités sont créées avec une approbation manuelle ou automatiquement approuvées par le système.
Facultatif : Sélectionnez le schéma dans lequel les tables externes sont créées. Si aucun schéma n'est indiqué, le système crée des tables dans le schéma en fonction de la structure des dossiers ou dans le schéma par défaut si aucun schéma n'est détecté.

Réviser manuellement les entités de métadonnées extraites

Lorsque vous choisissez la méthode manuelle de création d'entités dans un extracteur de métadonnées, vous devez vérifier les entités extraites et approuver ou rejeter leur ajout à votre catalogue.

Dans la page d'accueil, cliquez sur Alimenter automatiquement le catalogue.
Cliquez sur le nom de l'extracteur de métadonnées.
Cliquez sur l'onglet Entités en attente de révision.
Pour chaque entité, sélectionnez Approuver ou Rejeter.
Facultatif : Sélectionnez Tout approuver ou Tout rejeter pour régler toutes les entités en cours de révision au statut sélectionné.
Cliquez sur Soumettre.

Voir les entités révisées

Vous pouvez voir les entités qui ont été vérifiées manuellement ou automatiquement dans le cadre de l'extraction des métadonnées et voir les détails du journal, les détails de la table ou le schéma de colonne pour cette entité.

Dans la page d'accueil, cliquez sur Alimenter automatiquement le catalogue.
Cliquez sur le nom de l'extracteur de métadonnées.
Cliquez sur l'onglet Entités vérifiées.
À côté d'une entité, cliquez sur Actions.
- Cliquez sur Voir les détails de la table pour voir les détails de la table pour l'entité sélectionnée.
- Cliquez sur Voir le schéma de colonne pour voir le schéma de colonne de l'entité sélectionnée.
- Cliquez sur Voir les journaux pour voir les journaux de l'extracteur de métadonnées pour l'entité sélectionnée.

Voir les détails de l'extracteur de métadonnées

Vous pouvez voir les détails d'un extracteur de métadonnées pour voir son statut, sa méthode de création, son emplacement de base et ses détails de création.

Dans la page d'accueil, cliquez sur Alimenter automatiquement le catalogue.
Cliquez sur le nom de l'extracteur de métadonnées.
Cliquez sur l'onglet Détails.

Supprimer l'extracteur de métadonnées

Vous pouvez supprimer les extracteurs de métadonnées qui ne sont plus nécessaires.

Dans la page d'accueil, cliquez sur Alimenter automatiquement le catalogue.
À côté de l'extracteur de métadonnées à supprimer, cliquez sur Actions et cliquez sur Supprimer
Cliquez sur Supprimer.

6 Alimentation automatique du catalogue