Documentation Oracle Cloud Infrastructure

Chargement des données dans Autonomous AI Lakehouse à l'aide d'une tâche d'un programme de chargement de informations

Une tâche de programme de chargement de données vous aide à transformer et charger les données dans les lacs de données ou d'autres cibles telles qu'Oracle Autonomous AI Lakehouse.

Les données source du chargement peuvent provenir d'une ou de plusieurs entités de données dans un schéma.

Dans ce tutoriel, vous effectuez les opérations suivantes :

  1. Créez une tâche de programme de chargement des données pour transformer et charger des données à partir d'une seule entité de données Object Storage vers Autonomous AI Lakehouse.
  2. Publiez la tâche de programme de chargement de données dans une application.
  3. Exécutez la tâche de programme de chargement de données.

Avant de commencer

Pour mener à bien ce tutoriel, vous devez disposer des éléments suivants :

1. Création d'une tâche de programme de chargement de données

  1. Dans la barre d'onglets, sélectionnez l'onglet Ouvrir (icône Plus), puis Projets.
  2. Sur la page Projets, sélectionnez DI_Lab.
  3. Sur la page DI_Lab de détails de projet, sélectionnez Tâches dans le sous-menu de gauche.
  4. Sur la page Tâches, sélectionnez Créer une tâche, puis Programme de chargement de données.

    La page Créer une tâche du programme de chargement de données s'ouvre dans un nouvel onglet. Les étapes numérotées et nommées en haut vous guident tout au long de la configuration. Une coche apparaît sur l'icône d'une étape une fois cette dernière configurée. Pour passer d'une étape à l'autre, sélectionnez Suivant ou Précédent. Vous pouvez également accéder directement à une étape configurée en sélectionnant son icône.

  5. Sur la page Créer une tâche de programme de chargement de données, à l'étape Informations de base, sélectionnez les éléments suivants :
    Pour cet élémentSélectionnez
    Type de source File Storage
    Type de cible Base de données
    Type de chargement Entité de données unique
  6. Pour le nom de la tâche, entrez Load Revenue Data into Data Warehouse. Sélectionnez ensuite Suivant pour passer à l'étape suivante.

    Une case à cocher apparaît sur l'icône de l'étape Informations de base une fois celle-ci configurée.

  7. A l'étape Source, sélectionnez les éléments suivants :
    Pour cet élémentSélectionnez
    Ressource de données Data_Lake
    Connexion Connexion par défaut
    Compartiment Compartiment contenant le bucket dans lequel vous avez téléchargé le fichier de données échantillon REVENUE.CSV
    Bucket Bucket Object Storage qui contient le fichier CSV échantillon
  8. Sous Paramètres de fichier, sélectionnez les éléments suivants :
    Pour cet élémentSélectionnez
    Type de fichier CSV
    Type de compression Automatique (valeur par défaut)
    Données avec un en-tête la case à cocher
    Délimiteur Virgule

    Vous pouvez conserver les paramètres par défaut dans les autres champs.

  9. Sous Entités des données disponibles, cochez la case de REVENUE.CSV, puis sélectionnez Définir en tant que source.

    Le nom REVENUE.CSV apparaît en regard de Entité de données sélectionnée.

  10. Sélectionnez Créer pour enregistrer la tâche et poursuivre les modifications.
  11. Sélectionnez Suivant pour passer à l'étape Cible, puis sélectionnez les éléments suivants :
    Pour cet élémentSélectionnez
    Ressource de données Data_Warehouse
    Connexion Connexion par défaut
    Schéma BETA
  12. Sous Emplacement de préparation, vous pouvez utiliser l'emplacement de préparation par défaut configuré lors de la création de la ressource de données cible.

    Vous pouvez également désélectionner la case pour sélectionner un autre bucket Object Storage.

  13. Sous Paramètres de chargement des entités à données cible, sélectionnez Créer de nouvelles entités à données.

    Insérer est la stratégie d'intégration par défaut.

  14. Sous Options de nom d'entité de données cible, sélectionnez Indiquer un nom d'entité. Ensuite, dans le champ Nom d'entité, entrez REVENUE_TARGET.
  15. Sélectionnez Enregistrer pour enregistrer la tâche et poursuivre les modifications.
  16. Sélectionnez Suivant pour passer à l'étape Transformation.

    L'instance Data Xplorer interactive apparaît. Dans l'onglet Attributs, les attributs de l'entité de données REVENUE.CSV sont affichés.

  17. Sous Attributs, recherchez SRC_ORDER_NUMBER. Ensuite, dans le menu des transformations (menu transformations) de SRC_ORDER_NUMBER, sélectionnez Remplissage NULL.

    Menu de transformations

  18. Dans la boîte de dialogue Remplissage NULL, procédez comme suit :
    • Entrez Not Available dans le champ Remplacer par.
    • Ne sélectionnez pas Conserver les attributs source.
    • Conservez le nom et les autres champs tels quels.
  19. Cliquez sur Appliquer.
  20. Sélectionnez l'icône Transformations en regard de l'entité de données.

    Bouton de développement du panneau de transformation

    Le panneau Transformations apparaît. Vous pouvez y consulter la liste des transformations appliquées au jeu de données source. Pour enlever une transformation, sélectionnez l'icône de suppression en regard du nom de l'attribut transformé.

    Panneau Transformations développé

  21. Pour fermer le panneau Transformations, sélectionnez l'icône X.
  22. En regard de Attributs, sélectionnez Données pour accéder à l'onglet Données et localisez SRC_ORDER_NUMBER.

    Les valeurs NULL dans SRC_ORDER_NUMBER ont été remplacées par la chaîne Not Available.

  23. Sélectionnez Suivant pour accéder à l'étape Vérifier et valider.

    La validation de la tâche commence automatiquement.

    Un récapitulatif des détails de configuration de chaque étape est présenté dans un bloc. Si vous modifiez la configuration d'une étape, accédez à l'étape Vérifier et valider pour valider à nouveau la tâche.

    Le résultat de la validation de tâche est affiché dans le dernier bloc, Validation.

  24. Si la validation aboutit, sélectionnez Enregistrer et fermer.

2. Publication d'une tâche de programme de chargement de données

  1. Sur la page du détail du projet DI Lab, sélectionnez Tâches dans le sous-menu.
  2. Dans la liste Tâches, recherchez Load Revenue Data into Data Warehouse.
  3. Sélectionnez le menu Actions (trois points), puis Publier vers l'application.
  4. Dans la boîte de dialogue Publier sur une application, sélectionnez Lab Application.
  5. Sélectionnez Publier.

    Un message de notification apparaît avec un lien vers l'application pour afficher la tâche publiée.

  6. Sélectionnez Visualiser l'application dans la notification. Sélectionnez ensuite X pour fermer la notification.

    La liste Patches de la page de détails de l'application apparaît. Lorsque vous publiez une tâche, une seule entrée de patch est créée dans l'application.

  7. Dans la liste Patches, vous pouvez surveiller le statut du patch. Sélectionnez Actualiser pour obtenir les dernières mises à jour de statut.

    Un patch est une mise à jour apportée à l'application. Lorsque vous publiez une tâche, un patch Publier est créé. Lorsque vous annulez la publication d'une tâche, un patch Annuler la publication est créé.

    Lorsque le statut du patch devient Réussite, une entrée de tâche publiée est créée dans la liste Tâches de la page de détails de l'application.

3. Exécution d'une tâche de programme de chargement de données

  1. Dans la barre d'onglets, sélectionnez l'onglet Ouvrir (icône Plus), puis Applications.
  2. Sélectionnez Lab Application pour ouvrir la page de détails.
  3. Sur la page des détails de l'application, sélectionnez Tâches.
  4. On the Tasks list, from the Actions menu (three dots) for Load Revenue Data into Data Warehouse, select Run.

    Un message de notification s'affiche et la liste Exécutions apparaît. Une exécution de tâche de programme de chargement de données est créée dans la liste Exécutions. Utilisez la liste Exécutions pour visualiser toutes les exécutions de tâche et leur statut.

  5. Dans la liste Exécutions, sélectionnez Actualiser pour obtenir les dernières mises à jours de statut d'exécution de tâche.

    En savoir plus sur les exécutions de tâche

    Lorsque le statut d'exécution devient Succès, vous pouvez voir les valeurs pour Lecture des données et Lignes écrites.