Documentación de Oracle Cloud Infrastructure

Uso de Apache Livy

Apache Livy permite el envío eficaz de trabajos de Spark. En los clusters de Big Data Service con la versión 3.0.7 o posterior, Apache Livy se instala por defecto y se puede gestionar mediante Apache Ambari en el servicio Spark3.

En los clusters de Big Data Service con la versión 3.0.7 o posterior, el servidor Apache Livy se ejecuta en el puerto 8998 en el primer nodo de utilidad un0 del cluster. Los logs de Apache Livy están disponibles en la carpeta /var/log/livy en el mismo nodo. Las configuraciones del servidor Apache Livy se pueden gestionar desde Apache Ambari.

En clusters anteriores de Big Data Service, para utilizar Apache Livy, debe crear Apache Livy con Spark3.

  1. Descargue el código fuente de Apache Livy a la máquina local. 
    https://github.com/apache/incubator-livy
  2. Cree Apache Livy. 
    mvn clean package -B -V -e -Pspark-3.0 -Pthriftserver -DskipTests -DskipITs -Dmaven.javadoc.skip=true

    Nota: Si la creación falla en el módulo python-api, copie python-api pom de https://gist.github.com/gamberooni/30d86b92d09b014aa623f1b66e9183a0#file-python-api-pom-xml.

  3. Una vez que la creación se ha realizado correctamente, copie el archivo zip de Apache Livy de assembly/target/ en el primer nodo de utilidad del cluster.
  4. Edite el archivo livy.conf. 
    vi livy-home/conf/livy.conf
    livy.repl.enable-hive-context = true