Di riferimento

Sezione di riferimento per Oracle Cloud Infrastructure Data Flow, incluso un glossario di termini e collegamenti alla documentazione dell'API REST.

Glossario

Glossario concetto

Apache Spark: Apache Spark è un motore di analitica unificato per l'elaborazione dei Big Data, con moduli integrati per streaming, SQL, machine learning ed elaborazione dei grafici.

Applicazione Spark: le applicazioni Spark sono applicazioni che utilizzano l'API Spark per eseguire task di elaborazione dei dati distribuiti. Le applicazioni Spark possono essere scritte in diversi linguaggi, tra cui Java, Python e altro ancora. Le applicazioni Spark sono file come i file JAR eseguiti all'interno del framework Spark.

Applicazione Data Flow: le applicazioni Data Flow sono modelli che raggruppano un'applicazione Spark e specificano una versione Spark, il dimensionamento predefinito delle risorse e i parametri predefiniti dell'applicazione.

Esecuzione flusso dati: le applicazioni di flusso dati possono essere eseguite più volte. Ognuno di questi risultati produce un oggetto Esecuzione flusso dati. Facoltativamente, l'utente può sostituire le dimensioni e i parametri delle risorse in fase di esecuzione. Un'esecuzione del flusso di dati tiene traccia delle informazioni rilevanti per l'esecuzione dell'applicazione, ad esempio statistiche e log.

Interfaccia utente Spark: l'interfaccia utente Spark è inclusa in Apache Spark ed è uno strumento importante per il debug e la diagnosi delle applicazioni Spark. È possibile accedere all'interfaccia utente Spark per qualsiasi esecuzione del flusso di dati, in base ai criteri di autorizzazione dell'esecuzione.

Log Spark: Spark genera file di log utili per il debug e la diagnostica. Ogni esecuzione del flusso di dati memorizza automaticamente i file di log ai quali è possibile accedere tramite l'interfaccia utente o l'API Spark, in base ai criteri di autorizzazione dell'esecuzione.

API REST

Scopri come utilizzare l'API REST con Data Flow.

Scopri come implementare l'API REST con Data Flow nella documentazione dell'API REST.

Le richieste di risorse in formato libero non sono supportate quando si utilizza l'API Livy.

L'implementazione accetta due nuovi parametri:
  • driverShape
  • executorShape
Se manca uno o entrambi, viene registrata un'avvertenza. Se viene passata una forma non valida, l'errore risultante elenca le forme supportate. Esiste un endpoint delle forme che restituisce le forme valide con le relative dimensioni/tipi.

Lista di inclusione indirizzi IP

Se si leggono o scrivono dati utilizzando Data Flow senza utilizzare soluzioni di rete private come la VCN, è necessario inserire nella lista di inclusione determinati indirizzi IP in cui viene eseguito Data Flow. Questa è la lista di indirizzi IP che è possibile consentire:

Indirizzi IP lista di inclusione
Nome dell'area Identificativo dell'area Indirizzo IP origine flusso dati
Australia (Est) - Sydney ap-sydney-1 152.67.104.210
Australia (Sud-est) - Melbourne ap-melbourne-1 168.138.1.225
Brasile (Est) - San Paolo sa-saopaulo-1 152.67.56.151
Brasile (Sud-est) - Vinhedo sa-vinhedo-1 193.123.107.188
Canada (Sud-est) - Montreal ca-montreal-1 168.138.66.144
Canada (Sud-est) - Toronto ca-toronto-1 132.145.105.28
Cile (Santiago) sa-santiago-1 129.151.97.194
Francia (centrale) - Parigi eu-paris-1 141.145.193.217
Francia meridionale - Marsiglia eu-marseille-1 129.151.241.124
Germania (Centro) - Francoforte eu-frankfurt-1 132.145.248.79
India (Sud) - Hyderabad ap-hyderabad-1 152.67.176.234
India Ovest (Mumbai) ap-mumbai-1 140.238.164.243
Israele 1 (Gerusalemme) il-jerusalem-1 129.159.145.227
Italia (Nord-ovest) - Milano eu-milan-1 129.152.14.225
Giappone Centrale (Osaka) ap-osaka-1 168.138.39.160
Giappone (Est) - Tokyo ap-tokyo-1 140.238.44.156
Messico centrale (Queretaro) mx-queretaro-1 140.84.176.156
Messico (Nord-Est) - Monterrey mx-monterrey-1 139.177.97.38
Paesi Bassi (Nord-ovest) - Amsterdam eu-amsterdam-1 158.101.193.70
Arabia Saudita (Ovest) - Gedda me-jeddah-1 158.101.226.105
Singapore (Singapore) ap-singapore-1 168.138.176.223
Sudafrica centrale - Johannesburg af-johannesburg-1 129.151.160.154
Corea del Sud (Centro) - Seul ap-seoul-1 132.145.87.75
Corea del Sud (Nord) - Chuncheon ap-chuncheon-1 150.136.195.44
Svezia (Stoccolma) eu-stockholm-1 129.151.213.127
Svizzera (Nord) - Zurigo eu-zurich-1 152.67.68.12
Svezia (Stoccolma) eu-stockholm-1 129.151.213.127
Spagna centrale (Madrid) eu-madrid-1 143.47.59.31
Emirati Arabi Uniti (Centro) - Abu Dhabi me-abudhabi-1 129.151.143.178
Emirati Arabi Uniti (Est) - Dubai me-dubai-1 193.123.69.152
Regno Unito (Sud) - Londra uk-london-1 132.145.13.171
Regno Unito (Ovest) - Newport uk-cardiff-1 129.151.75.8
Stati Uniti (Est) - Ashburn us-ashburn-1 150.136.195.44
Stati Uniti (Midwest) - Chicago us-chicago-1 131.186.3.94
Stati Uniti (Ovest) - Phoenix us-phoenix-1 129.146.95.238
Stati Uniti (Ovest) - San Jose noi-sanjose-1 152.67.227.225