Diffusion en continu Spark
En savoir plus sur la diffusion en continu Spark dans le service de flux de données.
Les applications de diffusion en continu nécessitent une exécution continue pendant une longue période, dépassant souvent les 24 heures et pouvant aller jusqu'à des semaines, voire des mois. En cas de défaillance inattendue, les applications de diffusion en continu doivent redémarrer à partir du point de défaillance sans produire de résultats de calcul incorrects. Le service de flux de données repose sur les points de vérification de diffusion en continu structurée Spark pour enregistrer le décalage traité, qui peut être stocké dans votre seau de stockage d'objets.
Pour permettre une maintenance régulière d'Oracle Cloud Infrastructure, le service de flux de données met en oeuvre un arrêt sécurisé des grappes Spark pour la diffusion en continu structurée Spark. Une fois la maintenance terminée, une nouvelle grappe Spark avec le logiciel mis à jour est créée et une nouvelle exécution apparaît dans la liste. Le statut de l'exécution précédente indique qu'elle est arrêtée pour maintenance.
Le service de flux de données permet d'accéder à l'interface utilisateur Spark et au serveur d'historique Spark, une suite d'interface utilisateur Web permettant de surveiller les événements, le statut et la consommation des ressources de votre grappe Spark. Il vous permet d'explorer des plans d'exécution logiques et physiques. Pour la diffusion en continu, il fournit des données clés sur la progression du traitement, par exemple, les taux d'entrée/sortie, les décalages, les durées et la distribution statistique. L'interface utilisateur Spark fournit des informations sur les tâches en cours d'exécution et le serveur d'historique, sur les tâches terminées.
Les exécutions par lots permettent plusieurs exécutions concurrentes du même code avec des arguments pratiquement identiques. Toutefois, l'exécution de plusieurs instances d'applications de diffusion en continu entraîne la corruption des données de point de vérification. Le service de flux de données est donc limité à une seule exécution par application de diffusion en continu. Pour éviter toute corruption involontaire de l'application de diffusion en continu, vous devez arrêter son exécution avant de la modifier. Une fois la modification terminée, vous pouvez redémarrer l'application de diffusion en continu. Pour vous aider à identifier les applications par lots et de diffusion en continu, déterminez la valeur du type d'application (Batch ou Streaming).
Comme pour les exécutions par lots, le service de flux de données permet aux applications de diffusion en continu de se connecter à des réseaux privés.
Si l'exécution s'arrête avec une erreur, le service de flux de données effectue jusqu'à 10 tentatives de redémarrage, en attendant trois minutes entre les tentatives. Si le dixième essai échoue, aucune autre tentative n'est effectuée et l'exécution est arrêtée.