Collecte de métadonnées techniques

Pour collecter la source de données, vous devez l'inscrire en tant que ressource de données dans votre instance de catalogue de données. Une ressource de données est une banque de données physique ou un flux de données, tel qu'une base de données, un conteneur de stockage cloud ou un flux de message.

Lors de la collecte d'une ressource de données, le collecteur Data Catalog extrait, standardise et indexe les informations sur les métadonnées à partir de la ressource de données pour créer un référentiel unifié et pouvant faire l'objet de recherches dans le catalogue de données. Ensuite, parcourez ou explorez le catalogue de données pour visualiser les attributs et entités de données collectés afin d'annoter et d'enrichir les ressources de données.

La collecte d'une source de données implique les étapes suivantes :

Vous pouvez utiliser les sources de données suivantes (accessibles à l'aide d'adresses IP privées ou publiques) pour créer des ressources de données dans Data Catalog.

Vous pouvez également vous connecter à des sources de données sur site connectées à des réseaux Cloud virtuels Oracle Cloud Infrastructure.

Selon le type de ressource de données que vous créez, vous utilisez différentes structures de données pour parcourir les entités de données. Par exemple, si vous créez une ressource de données Oracle Database, vous parcourez les objets de base de données pour vérifier la table et afficher les entités de données.

Les objets collectés pour différentes sources de données sont répertoriés dans le tableau suivant :

Les types de fichier suivants sont pris en charge pour Oracle Object Storage :

• Fichiers CSV (valeurs séparées par une virgule) (.csv, .csv.gz)

  Remarque
  
  Les séparateurs pris en charge sont , (virgule), \t (tabulation), | (barre verticale), ; (point-virgule).

• Fichiers XML (.xml, .xsd)

• Fichiers Avro (.avro, .avro.gz)

• Fichiers Excel (.xls, .xlsx)

• Fichiers Apache Parquet (.parquet, .pq)

• Fichiers Apache ORC (.orc)

• Fichiers JSON simples (.json, .json.gz)

Si vous choisissez de collecter des types de fichier non pris en charge, le collecteur Data Catalog extrait uniquement les informations de base de ces fichiers, telles que les noms et les chemins.

Elle contient des entités de données. Une entité de données est une collection de données telle qu'une table ou une vue de base de données, ou un fichier logique unique. Une entité de données possède généralement de nombreux attributs qui décrivent ses données. Un attribut décrit un élément de données avec un nom et un type de données.