Guide de dimensionnement et de planification de la capacité OCI GoldenGate
Utilisez ce guide pour planifier les déploiements gérés de réplication de données sur Oracle Cloud Infrastructure (OCI), Microsoft Azure et Google Cloud.
Cet article fournit des directives de dimensionnement des processus et des ressources de référence pour les déploiements de réplication de données OCI GoldenGate. Vos équipes d'implémentation et vous-même pouvez l'utiliser comme point de départ structuré pour sélectionner la capacité de déploiement et commencer les tests de configuration et d'intégration.
OCI GoldenGate est un service cloud Oracle géré disponible sur OCI, Microsoft Azure et Google Cloud. Vous sélectionnez la capacité de déploiement et configurez les processus de réplication. Oracle exploite l'infrastructure de service sous-jacente. Les ressources de base de données source, les performances de base de données cible, la connectivité réseau et la configuration de réplication font toujours partie du plan de capacité de bout en bout.
Cet article couvre :
- Déploiements de réplication de données gérés par OCI GoldenGate sur OCI, Azure et Google Cloud.
- Sources et cibles relationnelles Oracle Database et non Oracle prises en charge, à l'aide des technologies de déploiement et des builds disponibles dans le cloud et la région sélectionnés.
- Extraction, chemin de distribution, chemin de destinataire et capacité de réplication dans chaque déploiement géré.
- Conservation des traces, restauration en attente, demande réseau et validation du dimensionnement représentatif de la production.
Cet article ne couvre pas :
- Installations GoldenGate autogérées sur des serveurs physiques, des machines virtuelles ou Kubernetes.
- Transformation des données, vérification des données et analyse des flux de données, qui nécessitent des modèles de capacité distincts.
- Dimensionnement du matériel de base de données et conception détaillée d'architectures complexes fédérées ou actives.
Pour les topologies hybrides, dimensionner chaque composant selon son modèle de fonctionnement. Une extraction côté source gérée par le client nécessite toujours une capacité d'hôte et de base de données, même lorsqu'elle envoie des modifications à OCI GoldenGate.
Remarque : ce document fournit des conseils sur le dimensionnement des références, mais ne garantit pas les performances, l'évolutivité ou la capacité. La consommation réelle des ressources varie en fonction du volume de transactions, de la taille des transactions, des transformations, de la topologie, des exigences de latence et des performances cible. Réalisez une étude de faisabilité à l'aide de charges de travail représentatives de la production avant de les déployer en production.
Prévoir une marge raisonnable lors des tests initiaux. Les déploiements sous-dimensionnés peuvent subir une pression sur les ressources, une croissance des traces, un décalage de réplication ou une instabilité des processus. Surveillez la phase de limitation avant d'augmenter les ressources ou le parallélisme.
Base de ces recommandations
Les recommandations de dimensionnement contenues dans ce document ne sont pas basées sur un seul référentiel ou une charge de travail synthétique. GoldenGate traite un large éventail de profils de transaction, de modèles de données et de topologies de réplication, afin qu'aucune figure de débit unique ne puisse représenter tous les environnements client.
Au lieu de cela, les lignes directrices de ce document reflètent une combinaison des éléments suivants :
- Activités de test de performance et de validation de l'évolutivité d'Oracle Product Development
- Enquêtes sur le support Oracle et l'ingénierie de la performance
- Modèles de déploiement observés à partir des implémentations client
- Expérience en conseil et ingénierie sur le terrain d'Oracle
- Bonnes pratiques opérationnelles des environnements de production GoldenGate
Ces recommandations constituent un point de départ pratique pour le provisionnement et la planification du déploiement de l'infrastructure. Les besoins réels en ressources dépendent des caractéristiques de la charge globale, notamment le volume des transactions, la taille des transactions, les taux de génération des informations de journalisation, les besoins en latence, la complexité des transformations, les conditions réseau et les performances du système cible.
Les clients doivent traiter ces recommandations comme des recommandations de référence et les valider par des tests de validation de concept et une surveillance opérationnelle avant le déploiement de la production.
Niveaux de classification de charge globale
Avant de sélectionner un profil de dimensionnement, classez la charge globale à l'aide du tableau ci-dessous. Ces libellés décrivent la complexité de la planification. Ils ne mettent pas en correspondance les taux de journalisation ou les nombres de tables avec une exigence d'OCPU garantie. Lorsque la demande varie, testez la période la plus occupée et la charge de travail de récupération.
| Attribut | Petite | Moyen | Grand | Très grande |
|---|---|---|---|---|
| Profil de charge globale cible | Développement / Assurance qualité ou faible volume | OLTP du service | OLTP d'entreprise / DW | Topologie complexe ou à volume élevé |
| Nombre moyen de fichiers de journalisation par heure (Go) | < 1 Go | 1-100 GO | 100-300 GO | > 300 GO |
| Portée de réplication | Portée de source et de cible limitée | Plusieurs partitions de charge globale | Sources ou cibles multiples | Concomitance élevée ou extension étendue |
| Mise en évidence du dimensionnement | Validation fonctionnelle | Demande soutenue | Capacité maximale et capacité de récupération | Partitionnement et limites de défaillance |
Remarque : La taille de la base de données, TPS (Transactions par seconde) et le nombre de tables ne sont pas à eux seuls des prédicteurs fiables de la consommation des ressources. Collectez les octets de journalisation/journal source, les caractéristiques des transactions, les octets de trace capturés et le trafic de connexion séparément. Pour les sources Oracle, validez les mesures de journalisation avec l'administrateur de base de données et évitez de compter plusieurs fois les copies de journaux archivés ou les threads RAC en double.
Workflow de dimensionnement initial
-
Mesurez la charge de travail source.
- Collectez le taux de génération des informations de journalisation.
- Comprendre les caractéristiques des transactions.
- Identifiez le nombre de sources et de cibles.
-
Sélectionnez un profil de charge de travail.
- Utilisez la table Niveaux de classification de charge globale pour identifier les cas de test requis.
-
Créer des ressources pour la réplication de données.
- Sélectionnez les OCPU de base et le redimensionnement automatique. Vérifiez la limite de cloud, de région, de création et de stockage.
-
Configurez GoldenGate.
- Configurez les processus Extraire, Chemin de distribution et Répliquer pris en charge.
-
Etablissez une ligne de base de surveillance.
- Capturer les OCPU consommées, la mémoire, le décalage des processus et la croissance des traces dès le premier jour.
-
Validez le dimensionnement.
- Exécutez des charges de travail normales et durables de pointe, de charge initiale et de récupération des pannes.
-
Ajustez les ressources selon vos besoins.
- Modifiez la ressource de limitation ou le paramètre de processus pris en charge, puis répétez le test.
Redimensionnement du calcul et du stockage
OCI GoldenGate alloue des ressources aux déploiements gérés. Le tableau suivant récapitule des exemples de configuration de base et le modèle d'allocation documenté. Les valeurs de développement et de production constituent des orientations de planification initiale. Les valeurs les plus importantes sont des exemples de configuration plutôt que des recommandations de niveau charge globale.
Philosophie de dimensionnement :
- Commencez par la référence de service et les exigences de traitement simultané, puis validez la demande réelle.
- Donnez de la marge pour les pics, les transactions volumineuses, la maintenance et le rattrapage pendant que les modifications de la source se poursuivent.
- Dimensionnez chaque déploiement de manière indépendante et conservez des plans de capacité de base de données source et de base de données cible distincts.
| Ressource | Développement/Test | Début de production | Exemple plus grand | Base maximum |
|---|---|---|---|---|
| OCPU de base | 1 | 4 | 8 | 24 |
| Allocation de mémoire de base | 16 Go | 64 Go | 128 GO | 384 GO |
| Allocation réseau de base | 1 Gbit/s | 4 Gbits/s | 8 Gbits/s | 24 Gbits/s |
| Stockage (trails, autres fichiers) | 500 GO | 2 To | 4 To | 12 To |
Conseils sur les OCPU
- Oracle recommande de commencer par 1 OCPU pour le développement/test et 4 OCPU pour la production. Activez le redimensionnement automatique si nécessaire pour gérer les pics de charge globale. Vous pouvez également redimensionner les déploiements manuellement.
- Le redimensionnement automatique peut utiliser jusqu'à trois OCPU de base, plafonnées à 24 OCPU. Testez la demande soutenue et la récupération au niveau de la configuration sélectionnée.
- Commencez par 1 OCPU pour chaque chemin d'extraction, de réplication ou de distribution simultané, comme guide de planification de processus. Ajustez le nombre d'OCPU lors du test.
- La demande d'UC d'extraction varie en fonction des modifications capturées, des caractéristiques des transactions, du filtrage, des transformations et de l'exploration des sources.
- Oracle recommande également d'allouer 1 OCPU pour l'interface utilisateur.
Conseils relatifs à la mémoire
- L'allocation de service est de 16 Go de mémoire par OCPU. Valider la pression mémoire associée à la consommation de calcul et à la demande d'espace temporaire.
- La mémoire requise dépend des données transactionnelles non validées, des transactions à longue durée d'exécution, des objets LOB, des traitements simultanés et de l'activité de déversement. Donnez une marge de manœuvre jusqu'à ce que les tests représentatifs établissent la demande.
- Par défaut, chaque gestionnaire Big Data utilise généralement 8 Go de mémoire. Assurez-vous que les paramètres de portion de mémoire
jvm.bootoptions(-Xmxet-Xms) sont dimensionnés de manière appropriée pour éviter les erreursOutOfMemorylors des pics de charge. CACHEMGRest auto-configuré et auto-ajustable en interne. Conservez les valeurs par défaut et consultez le support technique Oracle avant de modifier les contrôles de taille de cache.- Integrated Extract utilise le serveur de journalisation de la base de données source et le pool de flux de données. L'augmentation des OCPU de service n'augmente pas la capacité de la mémoire SGA source.
- Database Parallel Replicat utilise des mappings, un maître et des applicateurs. Evaluez la mémoire du processus et de la base de données cible plutôt que d'appliquer une estimation générique de la portion de mémoire JVM par thread.
Conseils relatifs au stockage et aux E/S
- L'implémentation du stockage et du système de fichiers est gérée par le service. Les clients planifient la capacité de conservation et de récupération plutôt que de sélectionner des types de disque, des points de montage ou des IOPS.
- Comptez chaque copie de trace physique dans chaque déploiement et réservez de l'espace pour les rapports, les fichiers de rebut, les déversements temporaires, les fichiers opérationnels et les exigences en matière de sauvegarde, le cas échéant.
- Notez que les traces de chargement initiales ont tendance à consommer plus d'espace de stockage que les traces standard.
Stratégie de conservation des traces
Basez la conservation de la trace sur les objectifs de reprise d'activité, les procédures opérationnelles et la durée maximale prévue des pannes des systèmes en aval. La fenêtre requise doit également couvrir le redémarrage, le rattrapage, la réponse de l'opérateur et toute exigence de réexécution supplémentaire.
Exemple de démarrage des cibles de conservation :
| Type de déploiement | Conservation de trace recommandée |
|---|---|
| Développement / Assurance qualité | 4-8 heures |
| Production (cible unique) | 24 heures |
| Production (charges de travail critiques) | 48-72 heures |
| Déploiements inter-région/WAN | 72heures et plus |
- Maintenez la protection des points de reprise activée pour les traces actives et validez tous les consommateurs Extract, Distribution, Receiver et Replicat.
- Une tâche de purge supprime les fichiers admissibles.
- Vérifiez la conservation des journaux source et des traces afin que la capture puisse redémarrer à la position requise.
Il s'agit d'exemples de cibles de démarrage. La fenêtre sélectionnée doit couvrir la procédure de récupération réelle et respecter la limite de stockage de déploiement confirmée.
Calcul du stockage de trace
Lors du dimensionnement du stockage de trace, tenez compte des éléments suivants :
- Taux de génération de la trace de pointe x Période de conservation x Facteur de sécurité
- Oracle recommande d'appliquer un facteur de sécurité minimal d'au moins 1.5x pour gérer les pics de charge de travail, les fenêtres de maintenance et les pannes de cible inattendues.
- Ne purgez pas les fichiers trace uniquement en fonction de leur âge. Purger les fichiers uniquement une fois que tous les processus Replicat en aval ont traité avec succès les données de trace requises et que leurs positions de point de reprise ont dépassé les fichiers que vous prévoyez de supprimer.
- Pour les environnements stratégiques, la rétention doit être suffisante pour permettre la récupération à partir des activités de maintenance planifiées, des pannes de base de données cible, des perturbations du réseau et des enquêtes de dépannage sans nécessiter le repositionnement ou la réinstanciation des systèmes cible par Extract.
Utilisez cette formule :
Required Trail Storage = Peak Trail GB/hour x Retention Hours x Safety Factor
Exemple : 100 Go/heure x 24 heures x 1,5 = 3 600 Go (3,6 To)
Le facteur de sécurité est une référence de planification et non une règle d'allocation de service géré. Utilisez les octets de génération de trace mesurés pour chaque copie de trace locale, ajoutez la réserve hors trace et incluez la coupure complète, le redémarrage, le rattrapage et l'intervalle de réponse sans compter les mêmes données deux fois.
Remarque : l'exemple illustre le calcul et il ne s'agit pas d'une recommandation de capacité de déploiement unique. Validez la conservation et le partitionnement de la charge globale par rapport à la capacité confirmée de chaque déploiement.
GoldenGate recommandations sur le nombre de processus
Le tableau suivant indique le nombre de processus recommandés par déploiement de réplication de données OCI GoldenGate pour chaque niveau de charge globale. Ces décomptes supposent un modèle de déploiement à source unique et multicible. Pour les configurations multi-source, multipliez le nombre d'extractions par le nombre de bases de données source et ajustez le nombre d'OCPU en conséquence.
| Processus GG | Petite | Moyen | Grand | Très grande |
|---|---|---|---|---|
| Extraction (intégrée) | 1 | 1-2 | 1-2 | 2-4 |
| Chemins de distribution | 1-2 | 2-4 | 4-8 | 8-16 |
| Réplication (classique) | 1-2 | 2-5 | 5-15 | 15-30 |
| Réplication (parallèle) | 1 | 1-2 | 2-4 | 4-8 |
| Replicat (coordonné) | 1-2 | 2-5 | Entre 5 et 10 | 10-0 |
| Nombre maximum de traitements simultanés | 2-4 | 8-14 | 16-34 | 36-70 |
Pour plusieurs sources, tenez compte de chaque portée de capture prise en charge et ajustez le calcul en conséquence. Appliquez la console et l'allocation de processus simultanés dans le guide OCPU, puis validez la mémoire, la capacité cible et la demande de pointe. Partitionnez la charge globale entre les déploiements lorsqu'un déploiement ne répond pas aux exigences testées.
Instructions relatives au processus d'extraction
- Commencez par une extraction intégrée par portée de capture de source prise en charge. Pour les sources de base de données Conteneur/de base de données pluggable, utilisez la configuration de capture prise en charge par la base de données et le build de déploiement sélectionnés.
- Introduisez des extractions supplémentaires uniquement pour une partition de charge globale valide ou un goulet d'étranglement de capture mesuré. Tester la surcharge d'exploration, les ressources de base de données source, la cohérence des transactions et la récupération.
- Un seul processus Extract peut écrire dans plusieurs fichiers trace (trail). Ainsi, un processus Extract unique peut alimenter plusieurs cibles ou fractionner une charge globale volumineuse en plusieurs traces que plusieurs processus Replicat peuvent traiter.
- Confirmez les restrictions de plate-forme avant d'utiliser plusieurs traces. Par exemple, l'extraction MySQL avec le positionnement de l'ensemble GTID ne prend en charge qu'une seule trace.
Directives relatives au service de distribution
- Un seul service de distribution peut supporter plusieurs chemins simultanés. Configurez un chemin pour chaque route de transfert de trace requise et tenez compte du trafic sortant et de chaque consommateur en aval.
- Pour la distribution via connexion WAN, vérifiez les paramètres de tampon de chemin et de vidage TCP pris en charge pour compenser la latence du réseau. Ne modifiez les paramètres qu'après que le test de routage a démontré la contrainte.
Directives relatives au processus de réplication
- Sélectionnez le processus Replicat approprié pour la charge globale. Par exemple, reportez-vous à Types de réplication pour les bases de données Oracle.
- Oracle recommande le processus Replicat parallèle non intégré pour les bases de données Oracle et le processus Replicat parallèle pour toutes les autres plates-formes GoldenGate qui le prennent en charge.
- Classic Replicat s'applique en série et s'adapte au développement, aux scénarios de récupération après sinistre impliquant un faible volume de travail et aux cibles non Oracle qui ne prennent pas en charge l'application parallèle.
- Un coordinateur gère les threads d'application multiples d'une réplication coordonnée, ce qui rend cette réplication adaptée aux charges globales OLTP structurées qui nécessitent un suivi des dépendances.
- Affectez un groupe de réplication par schéma cible ou partition de charge globale logique afin d'optimiser le parallélisme et d'isoler les domaines d'échec.
Considérations relatives à l'OCPU
- Le processus Replicat parallèle nécessite généralement des ressources OCPU supplémentaires à mesure que le parallélisme augmente.
- Integrated Replicat effectue une application parallèle dans Oracle Database cible, de sorte à inclure les ressources de base de données cible dans la planification de la capacité.
Conseils relatifs à la topologie de récupération après sinistre
OCI GoldenGate exploite l'infrastructure de service. Sélectionnez une topologie de récupération gérée en fonction des objectifs de récupération et de la disponibilité des fonctionnalités dans le cloud et la région sélectionnés. La récupération de base de données, de réseau, de réplication et d'applications reste une partie de la conception complète.
Déploiement unique
- Convient comme un déploiement de départ pour le développement, l'assurance qualité, les pilotes et les charges de travail avec des procédures de récupération qui répondent aux objectifs convenus.
- Configurer les contrôles de démarrage et de redémarrage automatiques de processus pris en charge et tester leur comportement.
- Utilisez les sauvegardes de déploiement de service et la conservation des traces protégées par un point de reprise. Incluez la récupération des bases de données source et cible dans le guide d'exécution.
Déploiements principaux et homologues
- Vous pouvez créer des homologues locaux ou inter-région pour augmenter la disponibilité et réduire les temps d'arrêt pendant la maintenance planifiée et les interruptions non planifiées.
- Un déploiement principal peut comporter un déploiement homologue. La base de données de secours reste toujours de la même taille que la base de données principale.
- Exécutez des prévérifications entre pairs et des exercices de récupération. Le RPO (objectif de point de récupération) est égal à zéro. L'objectif de temps de récupération (RTO) dépend de la quantité de données stockées dans le déploiement. Plus l'utilisation du stockage est élevée, plus le RTO est long.
- Pour la récupération inter-région, validez les adresses de chemin de distribution, les certificats de truststore, la réplication des clés secrètes, le routage des connexions et le démarrage des processus. Pour plus d'informations, reportez-vous à Gestion des déploiements homologues.
Sauvegardes et maintenance de déploiement
- Le service conserve les sauvegardes automatiques quotidiennes pendant 12 jours et les sauvegardes manuelles jusqu'à ce que vous les supprimiez. Le contenu de sauvegarde peut inclure uniquement des métadonnées ou des métadonnées et des traces. Pour plus d'informations, reportez-vous à Gestion des sauvegardes de déploiement.
- Une sauvegarde de déploiement ne remplace pas les sauvegardes de base de données source et cible ni la conservation de trace en direct requise. Testez la séquence de restauration à un point de récupération cohérent.
- Planifiez l'arrêt/le redémarrage et le carnet de commandes associés aux mises à niveau de déploiement. Consultez les problèmes recensés et les informations de maintenance propres au déploiement.
Valeur de référence de surveillance et de mesure
Établir une ligne de base de surveillance à partir du premier jour. Suivez en permanence la consommation de services, les performances des processus, les ressources de base de données et l'itinéraire complet de la source vers la cible pour les déploiements de production.
Mesures OCI Monitoring
- Extractions : délai de capture et état du processus.
- Chemins de distribution et de réception : décalage et statut.
- Replicats : délai d'application et état du processus.
- Déploiements : utilisation des OCPU, consommation d'OCPU, utilisation de la mémoire et du stockage.
- Application : retard de battement de coeur.
Vous pouvez consulter la liste complète des mesures disponibles dans Mesures de réplication de données.
Configurez des alarmes dans OCI Monitoring pour les échecs de processus, les violations de fraîcheur, la progression bloquée et la prévision de l'épuisement du stockage. Les seuils doivent prévoir du temps pour la réponse de l'opérateur. Le service OCI Notifications fournit ces alarmes.
Critères de validation du dimensionnement initial
Après le déploiement et les tests de charge globale représentatifs, validez le dimensionnement par rapport aux objectifs de l'application. Définissez des seuils de décalage, de ressource et de rattrapage numériques pour chaque charge globale au lieu de les traiter comme des limites de service universel.
Un déploiement correctement dimensionné doit présenter :
- La fraîcheur de bout en bout et le décalage par processus dans le cadre de l'objectif convenu pendant la demande de pointe normale et soutenue.
- Aucune croissance persistante de l'arriéré de trace et suffisamment d'espace conservé tout au long de la panne et de la récupération planifiées.
- Comportement de la mémoire et de l'espace temporaire qui reste stable grâce à des transactions volumineuses et à des activités simultanées.
- Aucune erreur de données inexpliquée, aucun redémarrage de processus récurrent ou aucun abandon lié aux ressources.
- Récupération de l'arriéré dans le délai convenu alors que les nouveaux changements de source se poursuivent.
- Tests de redémarrage, de sauvegarde/restauration et de récupération homologue réussis, le cas échéant.
Incluez le chevauchement de charge initiale, les sauvegardes, la maintenance et la croissance prévisionnelle dans le test. Taux d'obtention record, retard dans le pire des cas, stockage conservé, temps de récupération, résultats de cohérence et conditions nécessitant un nouvel exercice de dimensionnement.
Liste de contrôle de pré-provisionnement
Complétez la liste de contrôle suivante avant de provisionner le déploiement OCI GoldenGate initial. La collecte anticipée de ces informations réduit les délais de déploiement et le redimensionnement postérieur au déploiement.
- Collectez le taux de génération des fichiers de journalisation maximal et moyen à partir de la base de données source (par heure et par jour).
- Identifiez les tables répliquées, les tailles de ligne, les objets LOB, les transactions les plus volumineuses, les filtres et les transformations.
- Déterminez le nombre de sources et de cibles, le placement du déploiement et les routes LAN/WAN/inter-cloud.
- Confirmer les combinaisons d'adresses prises en charge et la technologie de déploiement.
- Confirmez le contrat de niveau de service de latence (exigence de fraîcheur des données) avec le propriétaire de l'application.
- Sélectionnez les OCPU de base et le redimensionnement automatique. Enregistrez les autorisations de console et de processus simultanés.
- Dimensionnez chaque copie de trace conservée, chaque backlog de récupération, chaque réserve hors trace et chaque stratégie de purge protégée par un point de reprise.
- Validez le débit mesuré et la latence d'acheminement lors de la demande normale, de pointe et de récupération.
- Mesurez l'impact de la journalisation supplémentaire et validez la capacité d'extraction source et d'application cible.
- Définissez les privilèges source/cible, les informations d'identification, les stratégies d'accès, le DNS, le routage et les ports de processus d'écoute requis.
- Choisissez une topologie de récupération et confirmez la disponibilité des homologues, des sauvegardes et des builds dans le cloud sélectionné.
- Planifiez le chargement initial et une limite de synchronisation cohérente. Conservez les journaux/trails pendant le rattrapage.
- Établir des critères de surveillance, d'alarme, de propriété de l'opérateur et d'acceptation des tests représentatifs.
Avis de non-responsabilité
Oracle a basé ces recommandations sur des modèles de déploiement courants et des tests internes. Les besoins réels en ressources peuvent varier en fonction des caractéristiques de la charge globale, notamment la complexité des transactions, la combinaison DML/DDL, la latence du réseau, les performances de la base de données cible et la configuration de la journalisation supplémentaire.
Ces recommandations reflètent les caractéristiques communes de déploiement dans les environnements client Oracle GoldenGate et l'expérience d'ingénierie interne Oracle. Ils ont l'intention de fournir un point de départ pratique pour la planification de la capacité plutôt que de remplacer la validation de la performance propre à la charge de travail.
Oracle Corporation et ses affiliés ne donnent aucune garantie, expresse ou implicite, quant à l'exactitude, l'exhaustivité ou l'adéquation de ces recommandations pour un environnement donné. Les clients sont responsables de la validation de toutes les recommandations et du dimensionnement par rapport à leurs propres charges de travail de production avant la mise en service.