Collecte des métadonnées techniques

Pour effectuer la collecte de votre source de données, vous devez l'enregistrer en tant que ressource de données dans votre instance de catalogue de données. Une ressource de données est un magasin de données physique ou un flux de données tel qu'une base de données, un conteneur de stockage en nuage ou un flux de messages.

Lors de la collecte d'une ressource de données, le collecteur du catalogue de données extrait, uniformise et indexe les métadonnées de la ressource de données afin de créer un référentiel unifié et interrogeable dans le catalogue de données. Vous pouvez alors parcourir ou explorer le catalogue de données pour voir les entités de données et les attributs acquis afin d'annoter et d'enrichir les ressources de données.

La collecte d'une source de données comprend les étapes suivantes :

Utilisez les sources de données ci-dessous (accessibles à l'aide d'adresses IP publiques ou privées) pour créer des ressources de données dans le catalogue de données.

Vous pouvez également vous connecter à des sources de données sur site qui sont connectées à des réseaux en nuage virtuels d'Oracle Cloud Infrastructure.

Selon le type de ressource de données que vous créez, vous pouvez utiliser différentes structures de données pour parcourir les entités de données. Par exemple, si vous créez une ressource de données Oracle Database, vous parcourez les objets de base de données pour vérifier la table et voir les entités de données.

Les objets collectés pour différentes sources de données sont répertoriés dans le tableau suivant :

Les types de fichier suivants sont pris en charge pour le service de stockage d'objets Oracle :

• Fichiers CSV (valeurs séparées par des virgules) (.csv, .csv.gz)

  Note
  
  Les séparateurs pris en charge sont , (virgule), \t (tabulation), | (barre verticale), ; (point-virgule).

• Fichiers XML (.xml, .xsd)

• Fichiers avro (.avro, .avro.gz)

• Fichiers Excel (.xls, .xlsx)

• Fichiers Apache Parquet (.parquet, .pq)

• Fichiers Apache ORC (.orc)

• Fichiers JSON simples (.json, .json.gz)

Si vous choisissez de collecter des types de fichier non pris en charge, le collecteur du catalogue de données extrait uniquement les informations de base de ces fichiers, telles que les noms et les chemins.

Une ressource de données contient une ou plusieurs entités de données. Une entité de données est une collection de données, telle qu'une table ou une vue de base de données, ou un seul fichier logique. Une entité de données contient normalement de nombreux attributs qui décrivent ses données. Un attribut décrit un élément de données doté d'un nom et d'un type de données.