Creazione di un job

Creare ed eseguire un job in Data Science.

Assicurarsi di aver creato i criteri, l'autenticazione e l'autorizzazione necessari per i job.

Prima di iniziare:

Creare un file artifact del job o creare un contenitore personalizzato.
Per memorizzare e gestire i log dei job, informarsi sul log.
Per utilizzare gli accessi di storage, è necessario disporre di un bucket di storage degli oggetti o di una destinazione di accesso e di un percorso di esportazione FSS (File Storage Service) OCI.

Per usare FSS, occorre prima creare il file system e il punto di attivazione. Utilizzare l'opzione di rete personalizzata e assicurarsi che la destinazione di accesso e il notebook siano configurati con la stessa subnet. Configurare le regole dell'elenco di sicurezza per la sottorete con porte e protocolli specifici.

Assicurarsi che i limiti del servizio siano allocati a file-system-count e mount-target-count.
Per utilizzare gli accessi di storage, è necessario disporre di un bucket di storage degli oggetti o di un punto di accesso FSS (File Storage Service) OCI.

Aggiungere le informazioni di base per il job che si sta creando.
1. Nella pagina dell'elenco dei job, selezionare Crea job. Per informazioni su come trovare l'elenco dei job, vedere Elenco dei job.
2. Selezionare Singolo nodo se si utilizza un singolo computer per il job o Multi nodo per i job impegnativi che devono essere eseguiti su più nodi.
3. (Facoltativo) Selezionare un compartimento diverso per il job.
4. (Facoltativo) Immettere un nome e una descrizione per il job (limite di 255 caratteri). Se non si fornisce un nome, viene generato automaticamente un altro nome.
  
  Ad esempio, job20210808222435
5. Passi di configurazione a nodo singolo o multiplo
  
  Se è stato selezionato Nodo singolo, attenersi alla procedura descritta in Utilizzo della console per i job a nodo singolo.
  
  Se è stato selezionato MultiNodo, attenersi alla procedura descritta in Utilizzo della console per i job multinodo.
Utilizzo della console per i job a nodo singolo
Utilizzo della console per i job a nodo singolo

I passi di configurazione obbligatori e facoltativi per un job a nodo singolo.

Passi di configurazione obbligatori

Passi di configurazione facoltativi

Rivedi e crea

Passi di configurazione obbligatori

Passi di configurazione obbligatori specifici per la creazione di un job a nodo singolo.

Creare una configurazione di job predefinita utilizzata quando il job viene eseguito utilizzando queste opzioni.

Immettere o selezionare i valori desiderati.

Chiave variabile di ambiente personalizzata

Le variabili di ambiente che controllano il job.

Nota

Se è stato caricato un file zip o un file tar compresso, aggiungere JOB_RUN_ENTRYPOINT come variabile di ambiente personalizzata per puntare al file.

Value

Il valore della chiave della variabile d'ambiente personalizzata.

È possibile selezionare Chiave di ambiente personalizzata aggiuntiva per specificare più variabili.

Argomenti riga di comando

Gli argomenti della riga di comando che si desidera utilizzare per l'esecuzione del job.

Tempo di runtime massimo (in minuti)

Il numero massimo di minuti di esecuzione del job. Il servizio annulla l'esecuzione del job se il relativo runtime supera il valore specificato. Il runtime massimo è di 30 giorni (43.200 minuti). Si consiglia di configurare un runtime massimo su tutte le esecuzioni di job per evitare esecuzioni di job in esecuzione.

Selezionare una forma di computazione.
(Facoltativo) Modificare la forma di computazione selezionando Modifica forma. Attenersi quindi alla procedura descritta di seguito nel pannello Select compute.

Selezionare un tipo di istanza.

Selezionare una serie di forme.

Selezionare una delle forme di computazione supportate nella serie.

Selezionare la forma più adatta a come si desidera utilizzare la risorsa.

Per ciascuna OCPU, selezionare fino a 64 GB di memoria e un totale massimo di 512 GB. La quantità minima di memoria consentita è 1 GB o un valore corrispondente al numero di OCPU, a seconda di quale delle due è maggiore.

Se si utilizzano VM espandibili, attivare/disattivare Esegui espandibile.
In Utilizzo di base per OCPU selezionare la percentuale di OCPU che in genere si desidera utilizzare. I valori supportati sono 12,5% e 50%.

Selezionare Seleziona forma.

Per lo storage, immettere la quantità di storage a blocchi da utilizzare tra 50 GB e 10, 240 GB (10 TB). È possibile modificare il valore con incrementi di 1 GB.
Selezionare una delle seguenti opzioni per configurare il tipo di rete:

Networking predefinito: il carico di lavoro viene collegato utilizzando una VNIC secondaria a una rete VCN e una subnet preconfigurata gestita dal servizio. Questa subnet fornita consente l'uscita alla rete Internet pubblica tramite un gateway NAT e l'accesso ad altri servizi Oracle Cloud tramite un gateway di servizi.

Se hai bisogno di accedere solo alla rete Internet pubblica e ai servizi OCI, ti consigliamo di utilizzare questa opzione. Non richiede la creazione di risorse di rete o la scrittura di criteri per le autorizzazioni di rete.

Networking personalizzato: selezionare la VCN e la subnet che si desidera utilizzare per il job.

Per l'accesso in uscita alla rete Internet pubblica, utilizzare una subnet privata con un instradamento a un gateway NAT.

Se non viene visualizzata la VCN o la subnet che si desidera utilizzare, fare clic su Modifica compartimento, quindi selezionare il compartimento contenente la VCN o la subnet.

Importante

È necessario utilizzare la rete personalizzata per utilizzare un accesso di storage dei file

Questo passo è facoltativo solo se è configurato BYOC. Caricare l'artifact del job trascinando il file artifact del job desiderato nella casella.
Selezionare Next.

Passi di configurazione facoltativi

Passi di configurazione specifici per la creazione di un job a nodo singolo.

(Facoltativo) Per utilizzare il log, selezionare Seleziona, quindi assicurarsi che l'opzione Abilita log sia selezionata.

Selezionare un gruppo di log dalla lista. È possibile passare a un compartimento diverso per specificare un gruppo di log in un compartimento diverso dal job.

Selezionare una delle opzioni riportate di seguito per memorizzare tutti i messaggi stdout e stderr.

Abilita creazione automatica log

Data Science crea automaticamente un log all'avvio del job.

Selezionare un log

Selezionare il log da utilizzare.

Selezionare Seleziona per tornare alla pagina di creazione dell'esecuzione del job.

(Facoltativo) Per utilizzare Bring Your Own Container, nella configurazione dell'ambiente selezionare Select.
Nel pannello Imposta l'ambiente BYOC, effettuare le operazioni riportate di seguito.

In Repository selezionare un repository dalla lista. Se il repository si trova in un compartimento diverso, selezionare Modifica compartimento.

In Immagine selezionare un'immagine dalla lista.

(Facoltativo) In Punto di ingresso immettere un punto di ingresso. Per aggiungerne un altro, selezionare +Add, parametro.

(Facoltativo) In CMD immettere un CMD. Per aggiungerne un altro, selezionare +Add, parametro.
Nota

Utilizzare CMD come argomenti per ENTRYPOINT o l'unico comando da eseguire in assenza di ENTRYPOINT.

(Facoltativo) In Immagine digest immettere un digest di immagine.

(Facoltativo) In ID firma, se si utilizza la verifica della firma, immettere l'OCID della firma dell'immagine. Ad esempio, ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....

Selezionare Seleziona.

(Opzionale) Per utilizzare le attivazioni dello storage, selezionare +Add mount dello storage.
Assicurarsi di disporre dell'autorizzazione per utilizzare gli accessi di storage.

Selezionare un tipo di accesso allo storage, OCI Object Storage o OCI File Storage.

Selezionare un compartimento contenente la risorsa di storage di cui si desidera eseguire il MOUNT.

Selezionare una delle seguenti opzioni:

Storage degli oggetti

Se si utilizza una rete personalizzata:

Crea il gateway di servizi nella VCN.

Per le configurazioni della tabella di instradamento nella subnet privata, aggiungere il gateway del servizio.

Modificare le regole di uscita della lista di sicurezza della subnet richiesta per consentire il traffico a tutti i servizi della rete.

Il bucket che si desidera usare.

È possibile aggiungere un prefisso di nome oggetto. Il prefisso deve iniziare con un carattere alfanumerico. I caratteri consentiti sono alfanumerici, barra ( / ), trattino ( - ) e carattere di sottolineatura ( _ ).

Storage file

La destinazione di accesso e il percorso di esportazione che si desidera utilizzare. È necessario aver creato il file system. Specificare una destinazione di MOUNT esistente o crearne una nuova.

Per utilizzare lo storage dei file è necessario utilizzare una rete personalizzata.

Seguire le regole della lista di sicurezza della sottorete.
Nota

Prima di eseguire il MOUNT di un file system, è necessario configurare le regole di sicurezza nella subnet VCN in modo da consentire al traffico di rete da e verso la destinazione di accesso. È possibile impostare le regole di sicurezza nelle liste di sicurezza delle subnet, nei gruppi di sicurezza di rete o utilizzando una combinazione di entrambi. Per ulteriori informazioni, vedere Configurazione delle regole di sicurezza VCN per lo storage di file.

ingresso con conservazione dello stato alle porte TCP 111, 2048, 2049 e 2050, nonché le porte UDP 111 e 2048.

Uscita con conservazione dello stato per le porte di origine TCP 111, 2048, 2049 e 2050, nonché la porta di origine UDP 111.

Immettere il percorso in cui eseguire il MOUNT dello storage.

Lo storage viene attivato nel percorso di accesso specificato. Il percorso deve iniziare con un carattere alfanumerico. La directory di destinazione deve essere univoca negli accessi di storage forniti. I caratteri consentiti sono alfanumerici, trattino ( - ) e carattere di sottolineatura ( _ ).

È possibile specificare il percorso completo, ad esempio /opc/storage-directory. Se viene specificata solo una directory, ad esempio /storage-directory, viene attivata nella directory /mnt predefinita. Non è possibile specificare directory specifiche del sistema operativo, ad esempio /bin o /etc.

Selezionare Sottometti.

Ripetere questi passi per aggiungere fino a due installazioni di storage per le sessioni notebook.

Aggiungere un'indagine di avvio. Selezionare Seleziona.

Immettere un comando.

(Opzionale) Per aggiungere un altro comando, selezionare +Add command e ripetere le operazioni descritte al punto a.

(Facoltativo) Immettere un valore per il ritardo iniziale (in secondi).

(Facoltativo) Immettere un valore del periodo.

(Facoltativo) Immettere un valore per la soglia di errore.

Selezionare Salva.

(Facoltativo) Selezionare Mostra opzioni avanzate per aggiungere tag al job.
(Facoltativo) Nella sezione Tag aggiungere una o più tag al job. Se si dispone delle autorizzazioni per creare un job, si dispone anche delle autorizzazioni per applicare tag in formato libero a tale job. Per applicare un tag definito, è necessario disporre delle autorizzazioni per utilizzare la tag namespace. Per ulteriori informazioni sull'applicazione di tag, vedere Tag risorsa. Se non sei sicuro di applicare i tag, salta questa opzione o chiedi a un amministratore. È possibile applicare i tag in un secondo momento.
Selezionare Next.

Rivedi e crea

Rivedere e creare il job.

Rivedere la mansione.
Per aggiornare una parte qualsiasi della configurazione dei job, selezionare Modifica nella sezione appropriata.

Quando si è soddisfatti della configurazione, selezionare Crea per creare il job.

Dopo che il job è in stato attivo, è possibile utilizzare le esecuzioni dei job per eseguire ripetutamente il job.
Utilizzo della console per i job multi-nodo
Utilizzo della console per i job multi-nodo

I passi di configurazione obbligatori e facoltativi per un job a più nodi.

Passi di configurazione obbligatori

Passi di configurazione facoltativi

Rivedi e crea

Passi di configurazione obbligatori

Passi di configurazione obbligatori specifici per la creazione di un job a più nodi.

Selezionare una delle opzioni riportate di seguito per configurare il tipo di rete.

Networking predefinito: il carico di lavoro viene collegato utilizzando una VNIC secondaria a una VCN e una subnet preconfigurate e gestite dal servizio. Questa subnet fornita consente l'uscita alla rete Internet pubblica tramite un gateway NAT e l'accesso ad altri servizi Oracle Cloud tramite un gateway di servizi.

Se hai bisogno dell'accesso solo alla rete Internet pubblica e ai servizi OCI, ti consigliamo di utilizzare questa opzione. Non richiede la creazione di risorse di rete o la scrittura di criteri per le autorizzazioni di rete.

Networking personalizzato: selezionare la VCN e la subnet che si desidera utilizzare per il job.

Per l'accesso in uscita alla rete Internet pubblica, utilizza una subnet privata con un instradamento a un Gateway NAT.

Se non viene visualizzata la VCN o la subnet che si desidera utilizzare, fare clic su Modifica compartimento, quindi selezionare il compartimento che contiene la VCN o la subnet.

Importante

Per utilizzare un accesso allo storage di file, è necessario utilizzare la rete personalizzata.

Questo passo è facoltativo solo se è configurato BYOC. Caricare l'artifact del job trascinando il file artifact del job desiderato nella casella.
(Facoltativo) Immettere il runtime massimo (in minuti tra 5 e 43200).
Selezionare Aggiungi gruppo di nodi.
Immettere un nome univoco per il gruppo di nodi.
Immettere il numero di repliche.
Immettere il numero minimo di repliche che devono avere esito positivo.
Per lo storage, immettere la quantità di storage a blocchi da utilizzare tra 50 GB e 10, 240 GB (10 TB). È possibile modificare il valore con incrementi di 1 GB.
(Facoltativo) Immettere la configurazione predefinita:

Immettere la chiave della variabile di ambiente personalizzata e un valore.

Selezionare +Additional chiave ambiente personalizzata per aggiungere un'altra chiave variabile di ambiente personalizzata e ripetere il passo a.

Immettere gli argomenti della riga di comando.

Nota

Se è stato caricato un file zip o un file tar compresso, aggiungere JOB_RUN_ENTRYPOINT come variabile di ambiente personalizzata per puntare al file.

Selezionare una forma di computazione.
(Facoltativo) Modificare la forma di computazione selezionando Modifica forma. Quindi, attenersi alla procedura riportata di seguito nel pannello Seleziona computazione.

Selezionare un tipo di istanza.

Selezionare una serie di forme.

Selezionare una delle forme di computazione supportate nella serie.

Selezionare la forma più adatta a come si desidera utilizzare la risorsa.

Per ogni OCPU, selezionare fino a 64 GB di memoria e un totale massimo di 512 GB. La quantità minima di memoria consentita è 1 GB o un valore corrispondente al numero di OCPU, a seconda di quale dei due valori è maggiore.

Se si utilizzano VM espandibili, attivare/disattivare Esegui espandibile.
In Utilizzo di base per OCPU selezionare la percentuale di OCPU che in genere si desidera utilizzare. I valori supportati sono 12,5% e 50%.

Selezionare Seleziona forma.

Per utilizzare Bring Your Own Container, nella configurazione dell'ambiente selezionare Seleziona.
Nel pannello Imposta ambiente BYOC, effettuare le operazioni riportate di seguito.

In Repository selezionare un repository dalla lista. Se il repository si trova in un compartimento diverso, selezionare Modifica compartimento.

In Immagine selezionare un'immagine dalla lista.

(Facoltativo) In Punto di ingresso immettere un punto di ingresso. Per aggiungerne un altro, selezionare parametro +Add.

(Facoltativo) In CMD immettere un CMD. Per aggiungerne un altro, selezionare parametro +Add.
Nota

Utilizzare CMD come argomenti per ENTRYPOINT o l'unico comando da eseguire in assenza di ENTRYPOINT.

(Facoltativo) In Immagine digest immettere un digest immagine.

(Facoltativo) In ID firma, se si utilizza la verifica della firma, immettere l'OCID della firma dell'immagine. Ad esempio, ocid1.containerimagesignature.oc1.iad.aaaaaaaaab....

Selezionare Seleziona.

Aggiungere un'indagine di avvio. Selezionare Seleziona.

Immettere un comando.

(Opzionale) Per aggiungere un altro comando, selezionare +Add command e ripetere le operazioni descritte al punto a.

(Facoltativo) Immettere un valore per il ritardo iniziale (in secondi).

(Facoltativo) Immettere un valore del periodo.

(Facoltativo) Immettere un valore per la soglia di errore.

Selezionare Salva.

Selezionare Aggiungi.
(Facoltativo) Per aggiungere un altro gruppo di nodi, selezionare Aggiungi gruppo di nodi e ripetere i passi precedenti. È possibile aggiungere fino a cinque gruppi di nodi.
(Facoltativo) Se si dispone di più gruppi di nodi, specificare l'ordine di avvio del gruppo di nodi, in parallelo o in sequenza.

Passi di configurazione facoltativi

Passi di configurazione facoltativi durante la creazione di un job a più nodi.

(Facoltativo) Per utilizzare il log, selezionare Seleziona, quindi assicurarsi che sia selezionata l'opzione Abilita log.

Selezionare un gruppo di log dall'elenco. È possibile passare a un compartimento diverso per specificare un gruppo di log in un compartimento diverso dal job.

Selezionare una delle seguenti opzioni per memorizzare tutti i messaggi stdout e stderr:

Abilita creazione automatica log

Data Science crea automaticamente un log all'avvio del job.

Selezionare un log

Selezionare un log da utilizzare.

Selezionare Seleziona per tornare alla pagina di creazione dell'esecuzione del job.

(Opzionale) Per utilizzare gli accessi di storage, selezionare +Add storage mount.
Assicurarsi di disporre dell'autorizzazione per utilizzare gli accessi di storage.

Selezionare un tipo di accesso allo storage, OCI Object Storage o OCI File Storage.

Selezionare un compartimento contenente la risorsa di storage che si desidera installare.

Selezionare una delle seguenti opzioni:

Storage degli oggetti

Se si utilizza una rete personalizzata:

Crea il gateway di servizi nella VCN.

Per le configurazioni della tabella di instradamento nella subnet privata, aggiungere il gateway del servizio.

Modificare le regole di uscita della lista di sicurezza della subnet richiesta per consentire il traffico a tutti i servizi della rete.

Il bucket da utilizzare.

È possibile aggiungere un prefisso nome oggetto. Il prefisso deve iniziare con un carattere alfanumerico. I caratteri consentiti sono alfanumerici, barre ( / ), trattini ( - ) e caratteri di sottolineatura ( _ ).

Storage di file

Destinazione di accesso e percorso di esportazione che si desidera utilizzare. È necessario aver creato il file system. Specificare una destinazione di MOUNT esistente o crearne una nuova.

È necessario utilizzare una rete personalizzata per utilizzare lo storage dei file.

Seguire le regole della lista di sicurezza della sottorete.
Nota

Prima di eseguire il MOUNT di un file system, è necessario configurare le regole di sicurezza nella subnet VCN per consentire al traffico di rete da e verso la destinazione di accesso. È possibile impostare le regole di sicurezza nelle liste di sicurezza delle subnet, nei gruppi di sicurezza di rete o utilizzando una combinazione di entrambi. Per ulteriori informazioni, vedere Configurazione delle regole di sicurezza VCN per lo storage di file.

ingresso con conservazione dello stato alle porte TCP 111, 2048, 2049 e 2050, nonché le porte UDP 111 e 2048.

Uscita con conservazione dello stato per le porte di origine TCP 111, 2048, 2049 e 2050, nonché la porta di origine UDP 111.

Immettere il percorso in cui installare lo storage.

Lo storage viene attivato nel percorso di accesso specificato. Il percorso deve iniziare con un carattere alfanumerico. La directory di destinazione deve essere univoca tra gli accessi di storage forniti. I caratteri consentiti sono alfanumerici, trattini ( - ) e caratteri di sottolineatura ( _ ).

È possibile specificare il percorso completo, ad esempio /opc/storage-directory. Se viene specificata solo una directory, ad esempio /storage-directory, viene attivata nella directory /mnt predefinita. Non è possibile specificare directory specifiche del sistema operativo come /bin o /etc.

Selezionare Sottometti.

Ripetere questi passi per aggiungere fino a due installazioni di storage per le sessioni notebook.

(Facoltativo) Selezionare Mostra opzioni avanzate per aggiungere tag al job.
(Facoltativo) Nella sezione Tag aggiungere una o più tag al job. Se si dispone delle autorizzazioni per creare un job, si dispone anche delle autorizzazioni per applicare tag in formato libero a tale job. Per applicare un tag definito, è necessario disporre delle autorizzazioni per utilizzare la tag namespace. Per ulteriori informazioni sull'applicazione di tag, vedere Tag risorsa. Se non sei sicuro di applicare i tag, salta questa opzione o chiedi a un amministratore. È possibile applicare i tag in un secondo momento.
Selezionare Next.

Rivedi e crea

Rivedere e creare il job.

Rivedere la mansione.
Per aggiornare una parte qualsiasi della configurazione dei job, selezionare Modifica nella sezione appropriata.

Quando si è soddisfatti della configurazione, selezionare Crea per creare il job.

Dopo che il job è stato attivo, è possibile utilizzare le esecuzioni dei job per eseguire ripetutamente il job.

Queste variabili di ambiente controllano il job.

Utilizzare l'interfaccia CLI di Data Science per creare un job come nell'esempio riportato di seguito.

Creare un job con:

oci data-science job create \
--display-name <job_name>\
--compartment-id <compartment_ocid>\
--project-id <project_ocid> \
--configuration-details file://<jobs_configuration_json_file> \
--infrastructure-configuration-details file://<jobs_infrastructure_configuration_json_file> \
--log-configuration-details file://<optional_jobs_infrastructure_configuration_json_file>

Utilizzare questo file JSON di configurazione dei job:

{
  "jobType": "DEFAULT",
  "maximumRuntimeInMinutes": 240,
  "commandLineArguments" : "test-arg",
  "environmentVariables": {
    "SOME_ENV_KEY": "some_env_value" 
  }
}

Utilizzare questo file JSON di configurazione dell'infrastruttura di job:

{
  "jobInfrastructureType": "STANDALONE",
  "shapeName": "VM.Standard2.1",
  "blockStorageSizeInGBs": "50",
  "subnetId": "<subnet_ocid>"
}

(Facoltativo) Utilizzare questo file JSON di configurazione di log dei job:

{
  "enableLogging": true,
  "enableAutoLogCreation": true,
  "logGroupId": "<log_group_ocid>"
}

Caricare un file artifact del job per il job creato con:

oci data-science job create-job-artifact \
--job-id <job_ocid> \
--job-artifact-file <job_artifact_file_path> \
--content-disposition "attachment; filename=<job_artifact_file_name>"

ADS SDK è anche una libreria Python disponibile pubblicamente che è possibile installare con questo comando:
```
pip install oracle-ads
```
Fornisce il wrapper che semplifica la creazione e l'esecuzione dei job dai notebook o dalla macchina client.

Utilizzare l'SDK ADS per creare ed eseguire job.

Documentazione dell'infrastruttura Oracle Cloud

Creazione di un job

Utilizzo della console per i job a nodo singolo

Passi di configurazione obbligatori

Passi di configurazione facoltativi

Rivedi e crea

Utilizzo della console per i job multi-nodo

Passi di configurazione obbligatori

Passi di configurazione facoltativi

Rivedi e crea