Exécution de tâches Spark à l'aide d'Apache Oozie
Exécuter des tâches Spark à l'aide d'Apache Oozie.
Apache Oozie est un service qui prend un fichier de propriétés pour déclencher une séquence d'actions dans le cadre d'un pipeline. Il prend en charge diverses actions telles que les programmes Apache Hive, Spark et shell.
Vous pouvez exécuter des tâches Spark sur des grappes hautement disponibles et non hautement disponibles. Les fichiers de propriétés de tous les travaux sont identiques et varient uniquement en fonction de la nature du cluster. Oozie accède à HDFS pour exécuter son flux de travail à l'aide d'un XML de flux de travail, lorsqu'il tente de le joindre. À cette fin, Oozie prend en charge la haute disponibilité pour HDFS à l'aide du service de noms. C'est donc la seule distinction entre les grappes hautement disponibles et non hautement disponibles qui exécutent des tâches Spark.
Pour plus d'informations, voir :