Esecuzione dei job Spark mediante Apache Oozie
Eseguire i job Spark utilizzando Apache Oozie.
Apache Oozie è un servizio che utilizza un file delle proprietà per attivare una sequenza di azioni nell'ambito di una pipeline. Supporta varie azioni come Apache Hive, Spark e programmi shell.
È possibile eseguire job Spark su cluster HA e non HA. I file delle proprietà per tutti i job sono gli stessi e variano solo in base alla natura del cluster. Oozie accede a HDFS per l'esecuzione del flusso di lavoro mediante un XML del flusso di lavoro, quando tenta di raggiungerlo. A questo scopo, Oozie supporta HA per HDFS utilizzando il servizio di denominazione. Pertanto, questa è l'unica distinzione tra cluster HA e non HA che eseguono job Spark.
Per ulteriori informazioni, fare riferimento agli argomenti sotto riportati.