Migración de Data Flow a Spark 3.5.0
Siga estos pasos para migrar Data Flow para que utilice Spark 3.5.0.
Para utilizar Data Flow con Delta Lakes 3.1.0 y realizar la integración con Conda Pack, debe utilizar al menos la versión 3.5.0 de Spark con Data Flow.
Siga las instrucciones de la Guía de migración de Spark 3.5.0 para actualizar a Spark 3.5.0.
Además de la información sobre la versiones soportadas en Antes que empiece a usar Data Flow, las versiones siguientes de biblioteca son las versión mínimas soportadas por Data Flow con Spark 3.5.0 y con Spark 3.2.1.
Nota
Cree aplicaciones con las versiones mostradas para Spark 3.2.1 antes de migrar a Spark 3.5.0.
Cree aplicaciones con las versiones mostradas para Spark 3.2.1 antes de migrar a Spark 3.5.0.
| Biblioteca | Spark 3.5.0 | Spark 3.2.1 |
|---|---|---|
| Python | 3,11 | 3.8.13 |
| Java | 17 | 11 |
| Hadoop (versión mínima) | 3,3 | 3.3.1 |
| Scala | 2,12 | 2.12.15 |
| oci-hdfs (versión mínima) | 3.3.4.1.4.2 | 3.3.1.0.3.2 |
| oci-java-sdk (versión mínima) | 3,34 | 2,45 |
Nota
Por defecto, el SDK de Java de OCI utiliza ApacheConnector. Cambie a Jersey HttpurlConnector con la siguiente configuración:
Por defecto, el SDK de Java de OCI utiliza ApacheConnector. Cambie a Jersey HttpurlConnector con la siguiente configuración:
spark.executorEnv.OCI_JAVASDK_JERSEY_CLIENT_DEFAULT_CONNECTOR_ENABLED=true
spark.driverEnv.OCI_JAVASDK_JERSEY_CLIENT_DEFAULT_CONNECTOR_ENABLED=true