6 Inserimento automatico nel catalogo
Questo capitolo contiene informazioni sulla creazione e la gestione di estrattori automatici per il pull dei dati nei cataloghi.
Informazioni sui dati popolati automaticamente
È possibile automatizzare il processo di estrazione dei metadati dalle origini direttamente nei Data Catalog.
La creazione manuale di schemi, tabelle e partizioni dalle origini dati richiede tempo e complessità. Oracle AI Data Platform Workbench offre la possibilità di estrarre automaticamente i metadati dalle origini dati e creare entità nei cataloghi specificati nell'estrattore dei metadati.
È possibile popolare automaticamente questi metadati nel catalogo creando un estrattore di metadati. Durante la creazione dell'estrattore, è possibile specificare il catalogo di destinazione in cui estrarre i metadati e l'origine per i metadati. È possibile scegliere di fare in modo che l'estrattore crei le tabelle in uno schema specificato oppure lasciare che il sistema suggerisca dove vengono create le tabelle se non viene specificato o rilevato alcuno schema.
Il popolamento automatico può estrarre metadati dai seguenti tipi di file:
- CSV
- JSON
- Avro
- ORC
- Parquet
- Delta Lake
Nota
Quando si specifica la cartella di origine durante la creazione di un estrattore di metadati, tutti i file nella cartella foglia devono avere lo stesso formato di dati.Nota
Il popolamento automatico supporta solo caratteri di sottolineatura ( _ ) come caratteri speciali nei nomi delle colonne.È possibile scegliere di rivedere manualmente le entità estratte oppure lasciare che il sistema crei automaticamente le entità dai metadati estratti. Durante l'estrazione dei metadati, le entità che causano errori vengono acquisite nel log. È possibile visualizzare il log per vedere quali entità hanno rilevato errori ed eseguire le azioni necessarie per correggerlo.
Le entità di revisione manuale consentono di accettare o rifiutare le entità su base individuale. È possibile visualizzare entità già approvate o rifiutate nella scheda Entità revisionate.
Gli estrattori visualizzano il loro stato per comunicare la fase in cui si trovano attualmente e se è richiesto l'intervento dell'utente.
| Stato estrattore | Descrizione |
|---|---|
| Non avviato | L'estrattore non è iniziato. Avviare l'estrattore per iniziare. |
| In esecuzione | Estrattore in corso |
| Pronta per la verifica | L'estrattore è stato eseguito ed è stata scelta l'approvazione manuale. Le entità estratte devono essere riviste e accettate o approvate. |
| In fase di revisione | L'estrattore è stato eseguito ed è stata scelta l'approvazione manuale. Alcune entità sono state riviste o approvate da un utente, ma rimangono entità che richiedono la revisione. |
| Completato | L'estrattore è stato eseguito e le entità sono state approvate automaticamente o manualmente da un utente |
È possibile visualizzare e utilizzare gli estrattori di metadati creati da altri utenti se si dispone delle autorizzazioni necessarie.
Crea estrattore metadati
È possibile creare estrattori di metadati per automatizzare l'estrazione di entità quali lo schema e le tabelle nei cataloghi.
- Nella home page, fare clic su Inserimento automatico del catalogo.
- Fare clic su
Crea estrattore metadati. - Immettere un nome per l'estrattore metadati.
- Selezionare il catalogo di destinazione dall'elenco a discesa Catalogo.
- Selezionare il tipo di origine appropriato dall'elenco a discesa Tipo di origine.
- Accanto a Computazione, fare clic su Sfoglia e scegliere il cluster che l'estrattore deve utilizzare. Fare clic su Seleziona.
- Per URI storage degli oggetti, selezionare se cercare i compartimenti per il bucket o la cartella in cui si desidera estrarre i metadati o se si desidera specificare l'URI per il bucket o la cartella.
- Per Seleziona bucket o cartella, fare clic su Sfoglia per selezionare il compartimento, il bucket e la cartella in cui si desidera estrarre i metadati.
- Per Immettere l'URI manualmente, immettere l'URI nel campo fornito.
- Selezionare se le entità vengono create con approvazione manuale o approvate automaticamente dal sistema.
- Facoltativo: selezionare lo schema in cui vengono create le tabelle esterne. Se non viene specificato alcuno schema, il sistema crea tabelle nello schema in base alla struttura delle cartelle o nello schema predefinito se non viene rilevato alcuno schema.
Rivedi manualmente entità metadati estratte
Quando si sceglie il metodo manuale di creazione delle entità in un estrattore di metadati, è necessario rivedere le entità estratte e approvare o rifiutare l'aggiunta al catalogo.
- Nella home page, fare clic su Inserimento automatico del catalogo.
- Fare clic sul nome dell'estrattore dei metadati.
- Fare clic sulla scheda Entità in attesa di revisione.
- Per ogni entità, selezionare Approva o Rifiuta.
- Facoltativo: selezionare Approva tutto o Rifiuta tutto per impostare tutte le entità in revisione sullo stato selezionato.
- Fare clic su Sottometti.
Visualizza entità riviste
È possibile visualizzare le entità che sono state riviste manualmente o automaticamente come parte dell'estrazione dei metadati e visualizzare i dettagli del log, i dettagli della tabella o lo schema delle colonne per tale entità.
- Nella home page, fare clic su Inserimento automatico del catalogo.
- Fare clic sul nome dell'estrattore dei metadati.
- Fare clic sulla scheda Entità esaminate.
- Accanto a un'entità, fare clic su
Azioni.- Fare clic su Visualizza dettagli tabella per visualizzare i dettagli della tabella per l'entità selezionata.
- Fare clic su Visualizza schema colonna per visualizzare lo schema colonna per l'entità selezionata.
- Fare clic su Visualizza log per visualizzare i log dell'estrattore dei metadati per l'entità selezionata.
Visualizza dettagli estrattore metadati
È possibile visualizzare i dettagli di un estrattore di metadati per visualizzarne lo stato, il metodo di creazione dei metadati, la posizione di base e i dettagli di creazione.
- Nella home page, fare clic su Inserimento automatico del catalogo.
- Fare clic sul nome dell'estrattore dei metadati.
- Fare clic sulla scheda Dettagli.