Configurer Spark Structured Streaming à l'aide de workflows

Vous pouvez configurer une tâche de transmission en continu dans un workflow pour un traitement continu des données de flux.

Vous devez d'abord créer un travail, puis ajouter une tâche Bloc-notes ou Python à ce travail pour commencer à utiliser des workflows avec la transmission en continu dans Oracle AI Data Platform Workbench.

1. Accédez à votre espace de travail et cliquez sur Workflow.
2. Cliquez sur Créer un travail.
3. Indiquez le nom et la description de votre travail.
4. Cliquez sur Parcourir et sélectionnez l'emplacement où enregistrer le travail dans AI Data Platform Workbench. Cliquez sur Sélectionner.
5. Entrez 1 pour Nombre maximal d'exécutions simultanées.
6. Cliquez sur Créer.
7. Cliquez sur le travail que vous venez de créer.
8. Cliquez sur Ajouter une tâche.
9. Indiquez un nom pour la tâche.
10. Sélectionnez Bloc-notes ou Python pour le type de tâche.
11. Cliquez sur Parcourir et accédez au bloc-notes ou au script Python à ajouter en tant que tâche de transmission en continu. Cliquez sur Sélectionner.
12. Sélectionnez un cluster de calcul pour la tâche Bloc-notes ou Python, si elle n'est pas déjà attachée.
13. Cochez la case Streaming. La sélection de Streaming désactive le délai d'expiration de l'exécution et les dépendances de tâche en tant qu'options.
    
    

    

    
    
14. Sélectionnez le nombre de tentatives qu'une tâche doit effectuer en cas d'échec. Si vous sélectionnez plus de 0, vous devez également indiquer la durée d'attente de l'exécution du travail entre les nouvelles tentatives et si les nouvelles tentatives doivent être tentées en cas d'expiration.
    
    

    

    
    
15. Cliquez sur Maintenant.

Une fois qu'une tâche Streaming est démarrée, elle continue de s'exécuter jusqu'à ce que vous l'arrêtiez manuellement. Au cours d'une maintenance mensuelle régulière, la tâche Streaming est arrêtée et redémarrée par le service sans aucune action de votre part.