Harvesting für technische Metadaten ausführen

Um für die Datenquelle ein Harvesting auszuführen, müssen Sie die Datenquelle als Datenasset in der Data Catalog-Instanz registrieren. Ein Datenasset ist ein physischer Datenspeicher oder Datenstream, wie eine Datenbank, ein Cloud-Speichercontainer oder ein Nachrichtenstream.

Beim Harvesting eines Datenassets extrahiert, standardisiert und indexiert der Data Catalog Harvester Metadateninformationen aus dem Datenasset, um ein einheitliches und durchsuchbares Repository im Datenkatalog zu erstellen. Anschließend können Sie den Datenkatalog durchsuchen oder explorieren, um die durch Harvesting erstellten Datenentitys und Attribute anzuzeigen und die Datenassets zu annotieren und anzureichern.

Das Harvesting einer Datenquelle umfasst die folgenden Schritte:

Mit den folgenden (über öffentliche oder private IP-Adressen zugänglichen) Datenquellen können Sie Datenassets in Data Catalog erstellen.

Sie können auch Verbindungen zu On-Premise-Datenquellen herstellen, die mit virtuellen Cloud-Netzwerken (VCNs) in Oracle Cloud Infrastructure verbunden sind.

Je nach Typ des erstellten Datenassets verwenden Sie unterschiedliche Datenstrukturen, um die Datenentitys zu durchsuchen. Beispiel: Wenn Sie ein Oracle Database-Datenasset erstellen, durchsuchen Sie Datenbankobjekte, um die Tabelle zu prüfen und Datenentitys anzuzeigen.

Die durch Harvesting erstellten Objekte für verschiedene Datenquellen werden in der folgenden Tabelle aufgeführt:

Folgende Dateitypen werden für Oracle Object Storage unterstützt:

• CSV-Dateien (.csv, .csv.gz)

  Hinweis
  
  Unterstützte Trennzeichen: , (Komma), \t (Tabulator), | (Pipe), ; (Semikolon)

• XML-Dateien (.xml, .xsd)

• AVRO-Dateien (.avro, .avro.gz)

• Excel-Dateien (.xls, .xlsx)

• Apache Parquet-Dateien (.parquet, .pq)

• Apache ORC-Dateien (.orc)

• Einfache JSON-Dateien (.json, .json.gz)

Wenn Sie für nicht unterstützte Dateitypen ein Harvesting ausführen, extrahiert der Data Catalog Harvester nur grundlegende Informationen aus diesen Dateien, wie Namen und Pfade.

Ein Datenasset enthält mindestens eine Datenentity. Eine Datenentity ist eine Sammlung von Daten, wie eine Datenbanktabelle oder -View oder eine einzelne logische Datei. Eine Datenentity verfügt normalerweise über viele Attribute, die ihre Daten beschreiben. Ein Attribut beschreibt ein Datenelement mit einem Namen und Datentyp.