Ingestion des données de source de données dans des agents d'IA génératifs
Une tâche d'ingestion de données extrait des données des documents de source de données, les convertit dans un format structuré approprié pour l'analyse, puis les stocke dans une base de connaissances.
Note
- Après avoir créé une tâche d'ingestion
-
- Consultez les journaux de statut et de statut pour confirmer que tous les fichiers mis à jour ont été ingérés. Si vous avez besoin d'aide pour obtenir les journaux de statut, voir Obtention des détails d'un travail d'ingestion de données.
- Si la tâche d'ingestion échoue (par exemple, en raison d'un fichier trop volumineux), résolvez le problème et redémarrez la tâche.
- Traitement des tâches exécutées précédemment par le pipeline d'ingestion
-
Lorsque vous redémarrez une tâche d'ingestion exécutée précédemment, le pipeline :
- Détecte les fichiers qui ont été ingérés avec succès précédemment et les ignore.
- Ingère uniquement les fichiers qui ont échoué précédemment et qui ont depuis été mis à jour.
- Exemple de scénario
-
Supposons que vous ayez 20 fichiers à ingérer et que l'exécution de la tâche initiale aboutisse à 2 fichiers en échec. Lorsque vous redémarrez la tâche, le pipeline :
- Reconnaît que 18 fichiers ont déjà été ingérés avec succès et les ignore.
- Enregistre uniquement les 2 fichiers qui ont échoué précédemment et qui ont depuis été mis à jour.