Présentation de Streaming avec Apache Kafka

La diffusion en continu avec Apache Kafka s'appuie sur les fonctionnalités suivantes :

Entièrement géré

La diffusion en continu avec Apache Kafka est entièrement gérée et automatise des activités telles que l'application de patches, les mises à niveau, les sauvegardes, la haute disponibilité, la réplication inter-région, la mise à l'échelle et la gestion des performances.

Durabilité et Disponibilité

Chaque cluster est configuré avec une haute disponibilité et une redondance de stockage entre les domaines de disponibilité ou les domaines de pannes. Vous pouvez soit créer un cluster avec un broker unique pour les locations de développement ou de test, soit créer un cluster avec au moins 3 brokers pour les locations de production afin de fournir une haute disponibilité.

La transmission en continu avec Apache Kafka détecte et récupère automatiquement les pannes de cluster courantes. Ainsi, les applications du producteur et du consommateur subissent un minimum de perturbations lors des opérations d'écriture et de lecture. Lorsque Streaming with Apache Kafka détecte une défaillance du broker, il atténue cette défaillance ou remplace le broker en mauvais état ou inaccessible par un nouveau broker. Dans la mesure du possible, il réutilise le stockage existant du broker défaillant pour minimiser la quantité de données qu'Apache Kafka doit répliquer. L'impact sur la disponibilité est limité au temps nécessaire pour que Streaming with Apache Kafka détecte et récupère la panne. Après la récupération, les applications de fournisseur et de consommateur peuvent continuer à communiquer avec les mêmes adresses de courtier qu'auparavant, ce qui garantit un fonctionnement transparent.

Compatibilité d'Apache Kafka

La diffusion en continu avec Apache Kafka est 100 % compatible avec les API Apache Kafka, ce qui vous permet d'utiliser des applications écrites pour Apache Kafka sans réécrire le code.

Services OCI intégrés

• Utiliser OCI Vault pour stocker et gérer en toute sécurité les informations d'identification de superutilisateur
• Utiliser OCI Monitoring pour les mesures de cluster
• Utiliser OCI Logging pour les journaux au niveau du cluster

Utilisez Streaming avec Apache Kafka dans les scénarios suivants :

Capture de données de modification

La capture des données de modification (CDC) est un style de conception d'application dans lequel les modifications apportées à l'état de l'application sont consignées sous la forme d'une séquence d'enregistrements ordonnée dans le temps. OCI Streaming avec la prise en charge d'Apache Kafka pour le stockage de données de journal à l'échelle du cloud en fait un excellent back-end pour une application intégrée dans ce style. Vous pouvez déployer n'importe quel connecteur Kafka open source, ou Oracle Golden Gate, dans une machine virtuelle, qui interroge les bases de données source sur les données nouvelles ou modifiées en fonction d'une colonne d'horodatage de mise à jour et diffuse facilement les données dans OCI Streaming avec Apache Kafka. Par exemple, les entreprises de commerce électronique utilisent CDC avec Kafka pour suivre les mises à jour des commandes dans leur base de données afin de lancer le traitement des commandes et d'autres microservices d'exécution des commandes.

Assimilation des mesures et des journaux

Utilisez OCI Streaming avec Apache Kafka comme mesure ou processeur de journal de diverses sources. Les outils d'ingestion de journaux tels que Fluentd, Logstash ou l'API Kafka Producer peuvent collecter des journaux à partir de différentes applications et les placer dans les rubriques Kafka pour l'enrichissement et l'agrégation des données. Grâce aux API Apache Kafka, vous pouvez enrichir les données en résumant les détails des journaux et en les envoyant à des outils d'analyse en aval pour un traitement ultérieur et des fonctionnalités avancées de recherche de journaux.

Analyse en direct

Utilisez OCI Streaming avec Apache Kafka pour traiter et analyser des flux continus de données provenant d'appareils IOT ou d'autres applications en amont afin d'obtenir des informations en temps réel, de détecter les anomalies et d'effectuer des analyses prédictives. Par exemple, les institutions financières utilisent le service pour traiter les flux de données du marché, détecter les anomalies de négociation et prendre des décisions de négociation en temps réel. Les détaillants analysent le comportement et les préférences des clients en temps réel pour proposer des recommandations et des promotions personnalisées.

Assimilation des données d'activité Web et mobiles

Utilisez OCI Streaming avec Apache Kafka pour reconstruire un pipeline de suivi d'activité utilisateur en tant qu'ensemble de flux de publication-abonnement en temps réel. Ces flux sont disponibles par abonnement pour différents cas d'utilisation, notamment le traitement en temps réel, la surveillance en temps réel et le chargement dans des systèmes d'entreposage de données Hadoop ou hors ligne pour le traitement et le reporting hors ligne. Vous pouvez utiliser cette solution pour les utilisations suivantes :

• Clickstream : Les cas d'utilisation de Clickstream impliquent la collecte de données d'activité du site Web auprès de plusieurs producteurs, et l'analyse des données en temps réel pour fournir des recommandations, telles que les produits à acheter, les articles de presse à lire et les vidéos à regarder.
• Analyse des jeux : les sociétés de jeux surveillent constamment le décalage du réseau, le comportement des utilisateurs et les activités dans le jeu afin d'offrir aux clients des microtransactions dans le jeu, de rééquilibrer la charge réseau, de modifier les paramètres du moteur de rendu, etc. Toutes ces actions se produisent en temps réel, de l'ordre de quelques millisecondes à quelques secondes.

Messagerie

Utilisez OCI Streaming avec Apache Kafka pour découpler les composants des systèmes de grande taille. Par exemple, les émetteurs et destinataires peuvent utiliser OCI Streaming avec Apache Kafka comme un bus de message asynchrone et agir de manière indépendante et à leur propre rythme.

Consultez les détails d'OCI Streaming avec Apache Kafka et OCI Streaming pour trouver la meilleure solution pour vos besoins en matière de streaming.

Streaming avec Apache Kafka prend en charge les clusters et les demandes de travail en tant que ressources Oracle Cloud Infrastructure. La plupart des types de ressource possèdent un identificateur unique affecté par Oracle appelé ID Oracle Cloud (OCID). Pour plus d'informations sur le format OCID et les autres moyens d'identifier les ressources, reportez-vous à Identificateurs de ressource.

Oracle héberge ses services OCI dans les région et domaine de disponibilité. Une région est une zone géographique précise, tandis qu'un domaine De disponibilité désigne un ou plusieurs datacenters situés dans une région. Le streaming avec Apache Kafka est hébergé dans toutes les régions du domaine OC1.

Chaque service d'Oracle Cloud Infrastructure s'intègre à IAM pour l'authentification et l'autorisation, sur toutes les interfaces (consolekit SDK ou interface de ligne de commande, et API REST).

Un administrateur de votre organisation doit configurer des groupes , des compartiments  et des stratégies  qui déterminent les services et les ressources auxquels les utilisateurs peuvent accéder, ainsi que le type d'accès. Par exemple, les stratégies indiquent qui peut créer les utilisateurs, créer et gérer le réseau cloud, créer les instances, créer les buckets, télécharger les objets, etc. Pour plus d'informations, reportez-vous à Introduction aux stratégies.

Pour accéder à Oracle Cloud Infrastructure (OCI), vous pouvez utiliser la console (interface basée sur un navigateur), l'API REST ou l'interface de ligne de commandeOCI. Les instructions d'utilisation de la console, de l'API et de la CLI sont incluses dans les rubriques du présent document. Pour obtenir la liste des kits SDK disponibles, reportez-vous à Kits de développement logiciel et interface de ligne de commande.

Console : pour accéder à Streaming avec Apache Kafka à l'aide de la console, vous devez utiliser un navigateur pris en charge. Pour accéder à la page d'ouverture de session à la console, ouvrez le menu d'accès en haut de cette page et sélectionnez Console Infrastructure. Vous êtes invité à saisir votre locataire cloud, votre nom utilisateur et votre mot de passe.

API : pour accéder à Streaming avec Apache Kafka via des API, la documentation relative à l'API REST fournit le plus de fonctionnalités, mais nécessite une expertise en programmation. Les adresses et référence d'API fournissent des détails sur les points d'extrémité et des liens vers les documents d'API disponibles, y compris l'API Streaming with Apache Kafka. Le streaming avec l'API Apache Kafka vous permet de créer et de gérer les clusters Kafka et les fichiers de configuration. Utilisez les API Apache Kafka pour les opérations client.

CLI : l'interface de ligne de commande OCI vous permet de créer et de gérer les clusters Kafka et les fichiers de configuration. Utilisez les interfaces de ligne de commande Apache Kafka pour les opérations client. Utilisez l'environnement Cloud Shell pour exécuter les interfaces de ligne de commande.