Documentation Oracle Cloud Infrastructure

Utilisation d'Apache Livy

Apache Livy permet de soumettre efficacement les travaux Spark. Dans les clusters Big Data Service avec la version 3.0.7 ou ultérieure, Apache Livy est installé par défaut et peut être géré à l'aide d'Apache Ambari sous le service Spark3.

Dans les clusters Big Data Service avec la version 3.0.7 ou ultérieure, le serveur Apache Livy est exécuté sur le port 8998 dans le premier noeud utilitaire un0 du cluster. Les journaux Apache Livy sont disponibles à partir du dossier /var/log/livy sur le même noeud. Les configurations du serveur Apache Livy peuvent être gérées à partir d'Apache Ambari.

Dans les clusters Big Data Service précédents, pour utiliser Apache Livy, vous devez créer Apache Livy avec Spark3.

  1. Téléchargez le code source Apache Livy sur l'ordinateur local. 
    https://github.com/apache/incubator-livy
  2. Créez Apache Livy. 
    mvn clean package -B -V -e -Pspark-3.0 -Pthriftserver -DskipTests -DskipITs -Dmaven.javadoc.skip=true

    Remarque : en cas d'échec de la construction dans le module python-api, copiez le modèle d'objet de projet python-api à partir de https://gist.github.com/gamberooni/30d86b92d09b014aa623f1b66e9183a0#file-python-api-pom-xml.

  3. Une fois la construction effectuée, copiez le fichier ZIP Apache Livy présent dans assembly/target/ vers le premier noeud utilitaire du cluster.
  4. Modifiez le fichier livy.conf. 
    vi livy-home/conf/livy.conf
    livy.repl.enable-hive-context = true