Documentation sur Oracle Cloud Infrastructure

Utilisation d'Apache Livy

Apache Livy permet la soumission efficace de tâches Spark. Dans les grappes du service de mégadonnées version 3.0.7 ou ultérieure, Apache Livy est installé par défaut et peut être géré à l'aide d'Apache Ambari sous le service Spark3.

Dans les grappes du service de mégadonnées version 3.0.7 ou ultérieure, le serveur Apache Livy s'exécute sur le port 8998 dans le premier noeud d'utilitaire un0 de la grappe. Les journaux Apache Livy sont disponibles dans le dossier /var/log/livy sur le même noeud. Les configurations de serveur Apache Livy peuvent être gérées à partir d'Apache Ambari.

Dans les grappes des versions antérieures du service de mégadonnées, pour utiliser Apache Livy, vous devez compiler Apache Livy avec Spark3.

  1. Téléchargez le code source d'Apache Livy sur la machine locale. 
    https://github.com/apache/incubator-livy
  2. Créez Apache Livy. 
    mvn clean package -B -V -e -Pspark-3.0 -Pthriftserver -DskipTests -DskipITs -Dmaven.javadoc.skip=true

    Note : Si la compilation échoue dans le module python-api, copiez python-api-pom depuis https://gist.github.com/gamberooni/30d86b92d09b014aa623f1b66e9183a0#file-python-api-pom-xml.

  3. Après la compilation, copiez le fichier zip Apache Livy depuis assembly/target/ vers le premier noeud d'utilitaire de votre grappe.
  4. Modifiez le fichier livy.conf. 
    vi livy-home/conf/livy.conf
    livy.repl.enable-hive-context = true