Creazione di un task di OCI Data Flow

Un task di OCI Data Flow in Data Integration è associato a un'applicazione esistente creata in OCI Data Flow.

Prima di creare un task di OCI Data Flow, assicurarsi di disporre dei criteri, dell'impostazione e delle informazioni necessari per l'utilizzo dei task di OCI Data Flow in Data Integration, come descritto in Criteri e impostazione obbligatori.

Creare un task di OCI Data Flow in un progetto o in una cartella. Data Integration include un progetto predefinito per iniziare. Per creare un altro progetto o cartella, vedere Progetti e cartelle.

In Data Integration, per impostazione predefinita è possibile eseguire contemporaneamente o in parallelo un task in un determinato momento. Per non consentire esecuzioni di task concorrenti avviate manualmente, selezionare la casella di controllo Disabilita esecuzione simultanea del task quando si crea il task. Quando le esecuzioni simultanee dei task non sono consentite, una richiesta di esecuzione per il task non riesce se è già in corso un'esecuzione del task con stato non finale.

Nota

Considerazioni sull'uso della forma flessibile:

  • Quando si utilizza una forma flessibile, ad esempio VM.Standard.E4. Flex) per il nodo driver, il nodo esecutore o entrambi, personalizzare il numero di OCPU e la quantità di memoria necessaria.

  • Una forma flessibile fornisce un intervallo specifico di valori OCPU che è possibile utilizzare per tale forma.

  • Il numero di OCPU utilizzate per una forma determina l'intervallo di valori di memoria che è possibile allocare.

  • Se si parametrizza la forma del driver o dell'esecutore, è necessario configurare le OCPU e la memoria per la forma. I valori di OCPU e memoria vengono utilizzati solo quando il valore del parametro della forma è una forma flessibile. Le OCPU e i valori di memoria vengono ignorati se nel parametro è configurata una forma non flessibile.

    1. Aprire il progetto o la cartella in cui si desidera creare il task.

      Per la procedura di apertura della pagina dei dettagli di un progetto o di una cartella, vedere Visualizzazione dei dettagli di un progetto o Visualizzazione dei dettagli di una cartella.

    2. Nella pagina dei dettagli del progetto o della cartella, fare clic su Task.
    3. Nella sezione Task, fare clic su Crea task e selezionare Flusso dati OCI.
    4. Nella pagina Crea task OCI Data Flow, immettere un nome e una descrizione facoltativa.

      L'identificativo è un valore generato dal sistema in base al nome. È possibile modificare il valore, ma dopo aver creato e salvato il task, non è possibile aggiornare l'identificativo.

    5. Selezionare la casella di controllo Disabilita esecuzione simultanea del task se si desidera non consentire esecuzioni concorrenti di questo task.
    6. (Facoltativo) Per Progetto o cartella, fare clic su Seleziona e selezionare un progetto o una cartella diversi in cui salvare il task.
    7. Per salvare l'attività per la prima volta, fare clic su uno dei seguenti pulsanti:
      • Crea: crea e salva il task. È possibile continuare a creare e modificare il task.

      • Crea e chiudi: crea e salva il task, chiude la pagina e torna all'elenco dei task nella pagina dei dettagli del progetto o della cartella.

    8. Salvare periodicamente mentre si lavora facendo clic su uno dei seguenti pulsanti:
      • Salva: esegue il commit delle modifiche dall'ultimo salvataggio. È possibile continuare a modificare dopo il salvataggio.

      • Salva e chiudi: esegue il commit delle modifiche, chiude la pagina e torna all'elenco dei task nella pagina dei dettagli del progetto o della cartella.

      • Salva con nome: esegue il commit delle modifiche (dall'ultimo salvataggio) e le salva in una copia invece di sovrascrivere il task corrente. È possibile fornire un nome per la copia e selezionare un progetto o una cartella diversi per la copia oppure salvare la copia nello stesso progetto o cartella del task esistente.

    9. Nella sezione Applicazione di OCI Data Flow, fare clic su Seleziona e selezionare l'applicazione di OCI Data Flow eseguita da questo task attenendosi ai passi riportati di seguito.
      1. Nella pagina Selezionare un'applicazione OCI Data Flow, selezionare il compartimento contenente l'applicazione che si desidera associare al task.
      2. Nell'elenco Applicazioni, selezionare l'applicazione.
      3. Fare clic su Seleziona.

        Viene visualizzata di nuovo la pagina Crea task OCI Data Flow.

    10. Nella sezione Configura proprietà fare clic su Configura per configurare le proprietà per l'applicazione selezionata.

      Viene visualizzata la pagina Configurazione.

      1. (Facoltativo) Nella sezione Parametri scalari creare i parametri scalari da utilizzare per specificare gli argomenti nel campo della proprietà Argomenti.
        • Fare clic su Aggiungi parametri scalari per creare un parametro scalare. Nel pannello visualizzato, immettere un nome, una descrizione facoltativa e selezionare un tipo di dati dall'elenco dei tipi supportati. A seconda del tipo di dati selezionato, potrebbero essere presenti altri campi da completare. Ad esempio, un tipo VARCHAR include il campo Lunghezza.

          Impostare un valore predefinito per questo parametro scalare e fare clic su Aggiungi. Il pannello viene chiuso e viene visualizzata di nuovo la pagina Configurazione completa.

          Dopo la creazione di un parametro scalare, è possibile modificare solo il valore predefinito in fase di progettazione o runtime.

        • Fare clic su Visualizza parametri scalari per visualizzare la lista dei parametri scalari già creati e disponibili per l'uso in questo task. Nel pannello visualizzato, annotare il nome del parametro scalare che si desidera utilizzare.
      2. Specificare direttamente i seguenti valori di proprietà o parametrizzare le proprietà (con i valori predefiniti). Se non si configurano in modo esplicito le proprietà delle applicazioni in questo passo, vengono utilizzati i valori predefiniti definiti nell'applicazione OCI Data Flow.
        • Forma driver: selezionare il tipo di nodo cluster da utilizzare per l'host del driver Spark.

          Se è selezionata una forma flessibile, selezionare il numero di OCPU e la quantità di memoria che è possibile allocare alla forma selezionata. I valori accettabili per le OCPU dipendono dalla forma selezionata. I valori accettabili per la memoria dipendono dal valore OCPU selezionato.

        • Forma esecutore: selezionare il tipo di nodo cluster da utilizzare per ogni host esecutore Spark.

          Se è selezionata una forma flessibile, selezionare il numero di OCPU e la quantità di memoria che è possibile allocare alla forma selezionata. I valori accettabili per le OCPU dipendono dalla forma selezionata. I valori accettabili per la memoria dipendono dal valore OCPU selezionato.

        • Numero di esecutori: immettere il numero di nodi cluster dell'esecutore Spark da avviare quando viene eseguita l'applicazione OCI Data Flow.

        • Argomenti: immettere una lista separata da virgole degli argomenti da passare alla classe principale dell'applicazione Java, Python o Scala.

          Per utilizzare un parametro scalare nel campo, immettere la sintassi ${PARAMETER_NAME} per un parametro o una lista separata da virgole se si aggiungono più parametri. Ad esempio: ${PARAMETER_NAME1}, ${PARAMETER_NAME2}

          Non è possibile parametrizzare la proprietà Argomenti se utilizza parametri scalari per i valori degli argomenti con parametri. Per parametrizzare la proprietà, rimuovere i parametri scalari nel campo.

      3. Per assegnare i parametri ai valori delle proprietà, procedere come segue.
        1. Fare clic su Assegna parametro accanto a una proprietà.

          Se si parametrizza la forma del driver o dell'esecutore, è necessario configurare le OCPU e la memoria per la forma. I valori di OCPU e memoria vengono utilizzati solo quando il valore del parametro della forma è una forma flessibile. Le OCPU e i valori di memoria vengono ignorati se nel parametro è configurata una forma non flessibile.

          Nota

          Non è possibile parametrizzare la proprietà Argomenti se utilizza parametri scalari. Per parametrizzare la proprietà, rimuovere ${PARAMETER_NAME} nel campo, quindi fare clic su Assegna parametro.

        2. Nella pagina Assegna parametri eseguire una delle azioni riportate di seguito.

          • Selezionare un parametro dall'elenco. Nell'elenco per la selezione vengono visualizzati solo i parametri dello stesso tipo di proprietà.
          • Fare clic su Aggiungi parametro. Nel pannello Aggiungi parametro, immettere un nome (identificativo) e una descrizione facoltativa. A seconda del tipo di proprietà, selezionare il valore predefinito o immettere il valore predefinito della proprietà, quindi fare clic su Aggiungi. Il parametro aggiunto viene selezionato automaticamente nella pagina Assegna parametri.
        3. Fare clic su Assegna.

          Se si parametrizzano le OCPU e i valori di memoria per una forma flessibile, Data Integration visualizza un messaggio di errore quando si specifica un valore non compreso nell'intervallo di valori accettabile per tale proprietà. Modificare il parametro e immettere uno dei valori accettabili.

      4. (Facoltativo) Per le proprietà di configurazione Spark, aggiungere una coppia di chiavi per una proprietà. Fare clic su Un'altra proprietà se è necessario aggiungere altre coppie di chiavi.

        Le proprietà di configurazione Spark che è possibile aggiungere potrebbero dipendere dalla versione Spark dell'applicazione OCI Data Flow selezionata. Vedere Proprietà Spark supportate.

      5. Dopo aver completato la configurazione delle proprietà dell'applicazione OCI Data Flow e delle proprietà Spark, fare clic su Fine.

        Viene visualizzata di nuovo la pagina Crea task OCI Data Flow.

        Nella sezione Configura proprietà, il numero di parametri assegnati viene visualizzato tra parentesi accanto a Visualizza parametri.

    11. (Facoltativo) Fare clic su Visualizza parametri per esaminare i parametri assegnati, modificare un valore di parametro predefinito o eliminare un parametro.

      Nella pagina Visualizza parametri, modificare un valore predefinito o eliminare un parametro utilizzando il menu Azioni (Menu Azioni) del parametro. Quando si elimina un parametro, il valore assegnato al parametro diventa il valore predefinito di tale proprietà.

    12. (Facoltativo) Nella sezione Convalida task, fare clic su Convalida per controllare le configurazioni delle proprietà.
    13. Al termine della configurazione del task, fare clic su Crea e chiudi o su Salva e chiudi.
    Pubblicare il task di OCI Data Flow in un'applicazione in Data Integration prima di eseguire il task o pianificarne l'esecuzione. Per informazioni sulla pubblicazione, vedere Pubblicazione in un'applicazione Data Integration.
  • Utilizzare il comando OCI data-integration task create-task-from-dataflow-task e i parametri necessari per creare un task di OCI Data Flow:

    oci data-integration task create-task-from-dataflow-task [OPTIONS]

    Per un elenco completo dei flag e delle opzioni variabili per i comandi CLI, vedere Command Line Reference.

  • Eseguire l'operazione CreateTask con il sottotipo di risorsa appropriato per creare un task di OCI Data Flow.