Documentazione dell'infrastruttura Oracle Cloud

Creazione di un task di OCI Data Flow

Un task di OCI Data Flow in Data Integration è associato a un'applicazione esistente creata in OCI Data Flow.

Prima di creare un task di OCI Data Flow, assicurarsi di disporre dei criteri, dell'impostazione e delle informazioni necessari per l'utilizzo dei task di OCI Data Flow in Data Integration, come descritto in Criteri e impostazione obbligatori.

Creare un task di OCI Data Flow in un progetto o in una cartella. Data Integration include un progetto predefinito per iniziare. Per creare un altro progetto o cartella, vedere Progetti e cartelle.

In Data Integration, per impostazione predefinita è possibile eseguire contemporaneamente o in parallelo un task in un determinato momento. Per non consentire esecuzioni di task concorrenti avviate manualmente, selezionare la casella di controllo Disabilita esecuzione simultanea del task quando si crea il task. Quando le esecuzioni simultanee dei task non sono consentite, una richiesta di esecuzione per il task non riesce se è già in corso un'esecuzione del task con stato non finale.

Nota

Considerazioni sull'uso della forma flessibile:

  • Quando si utilizza una forma flessibile (ad esempio VM.Standard.E4.Flex) per il nodo driver, il nodo esecutore o entrambi, personalizzare il numero di OCPU e la quantità di memoria necessaria.

  • Una forma flessibile fornisce un intervallo specifico di valori OCPU che è possibile utilizzare per tale forma.

  • Il numero di OCPU utilizzate per una forma determina l'intervallo di valori di memoria che è possibile allocare.

  • Se si parametrizza la forma del driver o dell'esecutore, è necessario configurare le OCPU e la memoria per la forma. I valori di OCPU e memoria vengono utilizzati solo quando il valore del parametro della forma è una forma flessibile. Le OCPU e i valori di memoria vengono ignorati se nel parametro è configurata una forma non flessibile.

    1. Nella pagina Task del progetto o della cartella in cui si desidera creare un task, selezionare Crea task, quindi Flusso di dati OCI. Per informazioni su come trovare la pagina Task in un progetto o in una cartella, vedere Elenca task.
    2. Nella pagina Crea task OCI Data Flow, immettere un nome e una descrizione facoltativa.

      L'identificativo è un valore generato dal sistema in base al nome. È possibile modificare il valore, ma dopo aver creato e salvato il task, non è possibile aggiornare l'identificativo.

    3. Selezionare la casella di controllo Disabilita esecuzione simultanea del task se si desidera non consentire esecuzioni concorrenti di questo task.
    4. (Facoltativo) Per Progetto o cartella, fare clic su Seleziona e selezionare un progetto o una cartella diversi in cui salvare il task.
    5. Per salvare il task per la prima volta, selezionare uno dei pulsanti riportati di seguito.

      • Crea: crea e salva il task. È possibile continuare a creare e modificare il task.

      • Crea e chiudi: crea e salva il task, chiude la pagina e torna all'elenco dei task nella pagina dei dettagli del progetto o della cartella.

    6. Salvare periodicamente mentre si lavora selezionando uno dei seguenti pulsanti:

      • Salva: esegue il commit delle modifiche dall'ultimo salvataggio. È possibile continuare a modificare dopo il salvataggio.

      • Salva e chiudi: esegue il commit delle modifiche, chiude la pagina e torna all'elenco dei task nella pagina dei dettagli del progetto o della cartella.

      • Salva con nome: esegue il commit delle modifiche (dall'ultimo salvataggio) e le salva in una copia invece di sovrascrivere il task corrente. È possibile fornire un nome per la copia e selezionare un progetto o una cartella diversi per la copia oppure salvare la copia nello stesso progetto o cartella del task esistente.

    7. Nella sezione Applicazione di OCI Data Flow, fare clic su Seleziona e selezionare l'applicazione di OCI Data Flow eseguita da questo task attenendosi ai passi riportati di seguito.
      1. Nella pagina Selezionare un'applicazione OCI Data Flow, selezionare il compartimento contenente l'applicazione che si desidera associare al task.
      2. Nell'elenco Applicazioni, selezionare l'applicazione.
      3. Fare clic su Seleziona.

        Viene visualizzata di nuovo la pagina Crea task OCI Data Flow.

    8. Nella sezione Configura proprietà selezionare Configura per configurare le proprietà per l'applicazione selezionata.

      Viene visualizzata la pagina Configurazione.

      1. (Facoltativo) Nella sezione Parametri scalari creare i parametri scalari da utilizzare per specificare gli argomenti nel campo della proprietà Argomenti.

        • Selezionare Aggiungi parametri scalari per creare un parametro scalare. Nel pannello visualizzato immettere un nome, una descrizione facoltativa e selezionare un tipo di dati dall'elenco dei tipi supportati. A seconda del tipo di dati selezionato, potrebbero essere presenti altri campi da completare. Ad esempio, un tipo VARCHAR include il campo Lunghezza.

          Impostare un valore predefinito per questo parametro scalare e selezionare Aggiungi. Il pannello viene chiuso e viene visualizzata di nuovo la pagina Configurazione completa.

          Dopo la creazione di un parametro scalare, è possibile modificare solo il valore predefinito in fase di progettazione o runtime.

        • Selezionare Visualizza parametri scalari per visualizzare un elenco dei parametri scalari già creati e disponibili per l'uso in questo task. Nel pannello visualizzato prendere nota del nome del parametro scalare che si desidera utilizzare.
      2. Specificare direttamente i seguenti valori di proprietà o parametrizzare le proprietà (con i valori predefiniti). Se non si configurano in modo esplicito le proprietà delle applicazioni in questo passo, vengono utilizzati i valori predefiniti definiti nell'applicazione OCI Data Flow.

        • Forma driver: selezionare il tipo di nodo cluster da utilizzare per l'host del driver Spark.

          Se è selezionata una forma flessibile, selezionare il numero di OCPU e la quantità di memoria che è possibile allocare alla forma selezionata. I valori accettabili per le OCPU dipendono dalla forma selezionata. I valori accettabili per la memoria dipendono dal valore OCPU selezionato.

        • Forma esecutore: selezionare il tipo di nodo cluster da utilizzare per ogni host esecutore Spark.

          Se è selezionata una forma flessibile, selezionare il numero di OCPU e la quantità di memoria che è possibile allocare alla forma selezionata. I valori accettabili per le OCPU dipendono dalla forma selezionata. I valori accettabili per la memoria dipendono dal valore OCPU selezionato.

        • Numero di esecutori: immettere il numero di nodi cluster dell'esecutore Spark da avviare quando viene eseguita l'applicazione OCI Data Flow.

        • Argomenti: immettere una lista separata da virgole degli argomenti da passare alla classe principale dell'applicazione Java, Python o Scala.

          Per utilizzare un parametro scalare nel campo, immettere la sintassi ${PARAMETER_NAME} per un parametro o una lista separata da virgole se si aggiungono più parametri. Ad esempio: ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          Non è possibile parametrizzare la proprietà Argomenti se utilizza parametri scalari per i valori degli argomenti con parametri. Per parametrizzare la proprietà, rimuovere i parametri scalari nel campo.

      3. Per assegnare i parametri ai valori delle proprietà, procedere come segue.

        1. Selezionare Assegna parametro accanto a una proprietà.

          Se si parametrizza la forma del driver o dell'esecutore, è necessario configurare le OCPU e la memoria per la forma. I valori di OCPU e memoria vengono utilizzati solo quando il valore del parametro della forma è una forma flessibile. Le OCPU e i valori di memoria vengono ignorati se nel parametro è configurata una forma non flessibile.

          Nota

          Non è possibile parametrizzare la proprietà Arguments se utilizza parametri scalari. Per parametrizzare la proprietà, rimuovere ${PARAMETER_NAME} nel campo, quindi selezionare Assegna parametro.

        2. Nella pagina Assegna parametri eseguire una delle azioni riportate di seguito.

          • Selezionare un parametro dall'elenco. Nell'elenco per la selezione vengono visualizzati solo i parametri dello stesso tipo di proprietà.
          • Selezionare Aggiungi parametro. Nel pannello Aggiungi parametro immettere un nome (identificativo) e una descrizione facoltativa. A seconda del tipo di proprietà, selezionare il valore predefinito o immettere il valore predefinito per la proprietà, quindi selezionare Aggiungi. Il parametro aggiunto viene selezionato automaticamente nella pagina Assegna parametri.

        3. Selezionare Assegna.

          Se si parametrizzano le OCPU e i valori di memoria per una forma flessibile, Data Integration visualizza un messaggio di errore quando si specifica un valore non compreso nell'intervallo di valori accettabile per tale proprietà. Modificare il parametro e immettere uno dei valori accettabili.

      4. (Facoltativo) Per le proprietà di configurazione Spark, aggiungere una coppia di chiavi per una proprietà. Selezionare Altra proprietà se è necessario aggiungere altre coppie di chiavi.

        Le proprietà di configurazione Spark che è possibile aggiungere potrebbero dipendere dalla versione Spark dell'applicazione OCI Data Flow selezionata. Vedere Proprietà Spark supportate.

      5. Al termine della configurazione delle proprietà dell'applicazione OCI Data Flow e delle proprietà Spark, selezionare Fine.

        Viene visualizzata di nuovo la pagina Crea task OCI Data Flow.

        Nella sezione Configura proprietà, il numero di parametri assegnati viene visualizzato tra parentesi accanto a Visualizza parametri.

    9. (Facoltativo) Selezionare Visualizza parametri per esaminare i parametri assegnati, modificare un valore di parametro predefinito o eliminare un parametro.

      Nella pagina Visualizza parametri, modificare un valore predefinito o eliminare un parametro utilizzando il menu Azioni (Menu Azioni) del parametro. Quando si elimina un parametro, il valore assegnato al parametro diventa il valore predefinito di tale proprietà.

    10. (Facoltativo) Nella sezione Convalida task, selezionare Convalida per controllare le configurazioni delle proprietà.
    11. Al termine della configurazione del task, selezionare Crea e chiudi o Salva e chiudi.
    Pubblicare il task di OCI Data Flow in un'applicazione in Data Integration prima di eseguire il task o pianificarne l'esecuzione. Per informazioni sulla pubblicazione, vedere Pubblicazione in un'applicazione Data Integration.

  • Utilizzare il comando OCI data-integration task create-task-from-dataflow-task e i parametri necessari per creare un task di OCI Data Flow:

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Per un elenco completo dei flag e delle opzioni variabili per i comandi CLI, vedere Command Line Reference.

  • Eseguire l'operazione CreateTask con il sottotipo di risorsa appropriato per creare un task di OCI Data Flow.