6 Katalog automatisch auffüllen
Dieses Kapitel enthält Informationen zum Erstellen und Verwalten automatisierter Extraktoren zum Abrufen von Daten in Ihre Kataloge.
Informationen zum automatischen Auffüllen
Sie können den Prozess des Extrahierens von Metadaten aus Quellen direkt in Ihre Datenkataloge automatisieren.
Das manuelle Erstellen von Schemas, Tabellen und Partitionen aus Ihren Datenquellen ist zeitaufwendig und kompliziert. Oracle AI Data Platform Workbench bietet die Möglichkeit, automatisch Metadaten aus Datenquellen zu extrahieren und Entitys in Katalogen zu erstellen, die Sie im Metadatenextraktor angeben.
Sie füllen diese Metadaten automatisch in Ihren Katalog auf, indem Sie einen Metadatenextraktor erstellen. Beim Erstellen des Extraktors geben Sie den Zielkatalog an, in den Metadaten extrahiert werden sollen, und die Quelle für die Metadaten. Sie können festlegen, dass der Extraktor Tabellen in einem angegebenen Schema erstellt, oder das System schlägt vor, wo die Tabellen erstellt werden, wenn kein Schema angegeben oder erkannt wird.
Beim automatischen Auffüllen können Metadaten aus den folgenden Dateitypen extrahiert werden:
- CSV
- JSON
- Avro
- ORC
- Parquet
- Delta Lake
Hinweis:
Wenn Sie beim Erstellen eines Metadatenextraktors den Quellordner angeben, müssen alle Dateien im Blattordner dasselbe Datenformat aufweisen.Hinweis:
Beim automatischen Auffüllen werden nur Unterstriche ( _ ) als Sonderzeichen in Spaltennamen unterstützt.Sie können entweder die extrahierten Entitys manuell prüfen oder die Entitys automatisch aus den extrahierten Metadaten erstellen lassen. Beim Extrahieren von Metadaten werden Entitys, die Fehler verursachen, im Log erfasst. Sie können das Log anzeigen, um festzustellen, bei welchen Entitys Fehler aufgetreten sind, und Maßnahmen zur Korrektur ergreifen.
Mit der manuellen Prüfung von Entitäten können Sie Entitäten auf individueller Basis akzeptieren oder ablehnen. Auf der Registerkarte "Geprüfte Entitäten" können Sie anzeigen, dass Entitäten bereits genehmigt oder abgelehnt wurden.
Extraktoren zeigen ihren Status an, um Ihnen mitzuteilen, in welcher Phase sie sich gerade befinden und ob ein Benutzereingriff erforderlich ist.
| Extraktionsstatus | Beschreibung |
|---|---|
| Not Started | Der Extraktor wurde nicht gestartet. Extraktor starten, um zu beginnen. |
| Wird ausgeführt | Extraktor wird ausgeführt |
| Bereit zur Prüfung | Der Extraktor wurde ausgeführt, und Sie haben die manuelle Genehmigung gewählt. Extrahierte Entitäten müssen geprüft und entweder akzeptiert oder genehmigt werden. |
| Wird überprüft | Der Extraktor wurde ausgeführt, und Sie haben die manuelle Genehmigung gewählt. Einige Entitäten wurden von einem Benutzer geprüft oder genehmigt, aber Entitäten müssen weiterhin geprüft werden. |
| Abgeschlossen | Der Extraktor wurde ausgeführt, und Entitys wurden entweder automatisch oder manuell von einem Benutzer genehmigt |
Sie können Metadatenextraktoren anzeigen und verwenden, die von anderen Benutzern erstellt wurden, wenn Sie über die erforderlichen Berechtigungen verfügen.
Metadatenextraktor erstellen
Sie können Metadatenextraktoren erstellen, um das Extrahieren von Entitys wie Schemas und Tabellen in Ihre Kataloge zu automatisieren.
- Klicken Sie auf der Homepage auf Katalog automatisch ausfüllen.
- Klicken Sie auf
Metadatenextraktor erstellen. - Geben Sie einen Namen für den Metadatenextraktor ein.
- Wählen Sie den Zielkatalog in der Dropdown-Liste Katalog aus.
- Wählen Sie den entsprechenden Quelltyp aus der Dropdown-Liste Quelltyp aus.
- Klicken Sie neben Compute auf Durchsuchen, und wählen Sie das Cluster aus, das der Extraktor verwenden soll. Klicken Sie auf Auswählen.
- Wählen Sie unter Object Storage-URI aus, ob Sie die Compartments nach dem Bucket oder Ordner durchsuchen möchten, in den Sie Metadaten extrahieren möchten, oder ob Sie die URI für den Bucket oder Ordner angeben möchten.
- Klicken Sie unter Bucket oder Ordner auswählen auf Durchsuchen, um das Compartment, den Bucket und den Ordner auszuwählen, in das Metadaten extrahiert werden sollen.
- Geben Sie unter URI manuell eingeben die URI in das angegebene Feld ein.
- Geben Sie an, ob Entitys manuell oder automatisch vom System genehmigt erstellt werden.
- Optional: Wählen Sie das Schema aus, in dem externe Tabellen erstellt werden. Wenn kein Schema angegeben ist, erstellt das System Tabellen im Schema basierend auf der Ordnerstruktur oder im Standardschema, wenn kein Schema ermittelt wird.
Extrahierte Metadatenentitäten manuell prüfen
Wenn Sie die manuelle Methode zum Erstellen von Entitys in einem Metadatenextraktor wählen, müssen Sie die extrahierten Entitys prüfen und das Hinzufügen zu Ihrem Katalog genehmigen oder ablehnen.
- Klicken Sie auf der Homepage auf Katalog automatisch ausfüllen.
- Klicken Sie auf den Namen des Metadatenextraktors.
- Klicken Sie auf die Registerkarte Entitys mit ausstehender Prüfung.
- Wählen Sie für jede Entity die Option Genehmigen oder Ablehnen aus.
- Optional: Wählen Sie Alle genehmigen oder Alle ablehnen aus, um alle zu prüfenden Entitys auf den ausgewählten Status zu setzen.
- Klicken Sie auf Weiterleiten.
Geprüfte Entitäten anzeigen
Sie können Entitys anzeigen, die manuell oder automatisch im Rahmen der Metadatenextraktion geprüft wurden. Außerdem werden Logdetails, Tabellendetails oder Spaltenschemas für diese Entity angezeigt.
- Klicken Sie auf der Homepage auf Katalog automatisch ausfüllen.
- Klicken Sie auf den Namen des Metadatenextraktors.
- Klicken Sie auf die Registerkarte Geprüfte Entitys.
- Klicken Sie neben einer Entity auf
Aktionen.- Klicken Sie auf Tabellendetails anzeigen, um die Tabellendetails für die ausgewählte Entity anzuzeigen.
- Klicken Sie auf Spaltenschema anzeigen, um das Spaltenschema für die ausgewählte Entity anzuzeigen.
- Klicken Sie auf Logs anzeigen, um die Metadatenextraktorlogs für die ausgewählte Entity anzuzeigen.
Metadatenextraktdetails anzeigen
Sie können die Details eines Metadatenextraktors anzeigen, um den Status, die Methode zur Metadatenerstellung, den Basisspeicherort und die Erstellungsdetails anzuzeigen.
- Klicken Sie auf der Homepage auf Katalog automatisch ausfüllen.
- Klicken Sie auf den Namen des Metadatenextraktors.
- Klicken Sie auf die Registerkarte Details.