Référence
Section de référence pour Oracle Cloud Infrastructure Data Flow, avec un glossaire de termes et des liens vers la documentation d'API REST.
Glossaire
Glossaire des concepts
Apache Spark : Apache Spark est un moteur d'analyse unifié pour le traitement Big Data, avec des modules intégrés pour la transmission en continu, le traitement SQL, l'apprentissage automatique et le traitement graphique.
Application Spark : les applications Spark sont des applications qui utilisent l'API Spark pour effectuer des tâches de traitement de données distribuées. Les applications Spark peuvent être écrites en plusieurs langages, notamment Java, Python, etc. Les applications Spark sont des fichiers tels que des fichiers JAR exécutés dans la structure Spark.
Application Data Flow : les applications Data Flow sont un modèle qui regroupe une application Spark et indique une version Spark, un dimensionnement de ressource par défaut et les paramètres d'application par défaut.
Exécution Data Flow : les applications Data Flow peuvent être exécutées plusieurs fois. Chacune de ces exécutions donnent un objet d'exécution Data Flow. L'utilisateur peut éventuellement remplacer les paramètres et les tailles des ressources lors de l'exécution. Une exécution Data Flow effectue le suivi des informations relatives à l'exécution de l'application, telles que les statistiques et les journaux.
UI Spark : l'interface utilisateur Spark est incluse dans Apache Spark et constitue un outil important pour le débogage et le diagnostic des applications Spark. Vous pouvez accéder à l'interface utilisateur Spark pour toute exécution Data Flow, en fonction des stratégies d'autorisation de l'exécution.
Journaux Spark : Spark génère des fichiers journaux qui sont utiles pour le débogage et le diagnostic. Chaque exécution Data Flow stocke automatiquement les fichiers journaux auxquels vous pouvez accéder via l'API ou l'interface utilisateur Spark, en fonction des stratégies d'autorisation de l'exécution.
API REST
Découvrez comment utiliser l'API REST avec Data Flow.
Découvrez comment implémenter l'API REST avec Data Flow dans la documentation sur l'API REST.
Les demandes de ressource à forme libre ne sont pas prises en charge lors de l'utilisation de l'API Livy.
-
driverShape -
executorShape
Liste d'autorisation des adresses IP
Si vous lisez ou écrivez des données à l'aide de Data Flow sans utiliser de solutions de réseau privé telles que VCN, vous devez autoriser certaines adresses IP où Data Flow s'exécute. Voici la liste des adresses IP que vous pouvez ajouter à votre liste d'autorisation :
| Nom de région | Identificateur de région | Adresse IP source Data Flow |
|---|---|---|
| Est de l'Australie (Sydney) | ap-sydney-1 | 152.67.104.210 |
| Sud-est de l'Australie (Melbourne) | ap-melbourne-1 | 168.138.1.225 |
| Est du Brésil (Sao Paulo) | sa-saopaulo-1 | 152.67.56.151 |
| Sud-est du Brésil (Vinhedo) | sa-vinhedo-1 | 193.123.107.188 |
| Sud-est du Canada (Montréal) | ca-montreal-1 | 168.138.66.144 |
| Sud-est du Canada (Toronto) | ca-toronto-1 | 132.145.105.28 |
| Chili (Santiago) | sa-santiago-1 | 129.151.97.194 |
| Centre de la France (Paris) | eu-paris-1 | 141.145.193.217 |
| Sud de la France (Marseille) | eu-marseille-1 | 129.151.241.124 |
| Allemagne centrale (Francfort) | eu-frankfurt-1 | 132.145.248.79 |
| Sud de l'Inde (Hyderabad) | ap-hyderabad-1 | 152.67.176.234 |
| Ouest de l'Inde (Mumbai) | ap-mumbai-1 | 140.238.164.243 |
| Israël 1 (Jérusalem) | il-jerusalem-1 | 129.159.145.227 |
| Nord-ouest de l'Italie (Milan) | eu-milan-1 | 129.152.14.225 |
| Centre du Japon (Osaka) | ap-osaka-1 | 168.138.39.160 |
| Est du Japon (Tokyo) | ap-tokyo-1 | 140.238.44.156 |
| Centre du Mexique (Querétaro) | mx-queretaro-1 | 140.84.176.156 |
| Mexique Nord-Est (Monterrey) | mx-monterrey-1 | 139.177.97.38 |
| Nord-ouest des Pays-Bas (Amsterdam) | eu-amsterdam-1 | 158.101.193.70 |
| Ouest de l'Arabie saoudite (Djeddah) | me-jeddah-1 | 158.101.226.105 |
| Singapour (Singapour) | ap-singapore-1 | 168.138.176.223 |
| Centre de l'Afrique du Sud (Johannesburg) | af-johannesburg-1 | 129.151.160.154 |
| Centre de la Corée du Sud (Séoul) | ap-seoul-1 | 132.145.87.75 |
| Nord de la Corée du Sud (Chuncheon) | ap-chuncheon-1 | 150.136.195.44 |
| Suède (Stockholm) | eu-stockholm-1 | 129.151.213.127 |
| Nord de la Suisse (Zurich) | eu-zurich-1 | 152.67.68.12 |
| Suède (Stockholm) | eu-stockholm-1 | 129.151.213.127 |
| Centre de l'Espagne (Madrid) | eu-madrid-1 | 143.47.59.31 |
| Centre des Emirats arabes unis (Abou Dabi) | me-abudhabi-1 | 129.151.143.178 |
| Est des Emirats arabes unis (Dubaï) | me-dubai-1 | 193.123.69.152 |
| Sud du Royaume-Uni (Londres) | uk-london-1 | 132.145.13.171 |
| Ouest du Royaume-Uni (Newport) | uk-cardiff-1 | 129.151.75.8 |
| Est des Etats-Unis (Ashburn) | us-ashburn-1 | 150.136.195.44 |
| Midwest des Etats-Unis (Chicago) | us-chicago-1 | 131.186.3.94 |
| Ouest des Etats-Unis (Phoenix) | us-phoenix-1 | 129.146.95.238 |
| Ouest des Etats-Unis (San José) | us-sanjose-1 | 152.67.227.225 |