Réplication de données d'Amazon RDS pour Oracle vers OCI Object Storage

Découvrez comment répliquer des données d'Amazon RDS pour Oracle vers OCI Object Storage à l'aide d'Oracle Cloud Infrastructure GoldenGate.

Avant de commencer

Pour mener à bien ce démarrage rapide, vous devez disposer des éléments suivants :

  • Inscrivez-vous ou connectez-vous à votre compte Oracle Cloud.
  • Instance Amazon RDS source pour Oracle, expliquée dans la configuration de l'environnement.

Configuration de l'environnement : Amazon RDS pour Oracle

Provisionnez une instance Amazon RDS pour Oracle, puis suivez les étapes ci-après pour configurer une base de données source à utiliser avec Oracle GoldenGate.

  1. Activez la journalisation supplémentaire sur la base de données source.
  2. Définissez le paramètre d'initialisation ENABLE_GOLDENGATE_REPLICATION sur true.
  3. Activez l'archivage sur la base de données source et conservez les fichiers de journalisation archivés.
  4. Créez un compte utilisateur Oracle GoldenGate sur la base de données source.
  5. Accordez des privilèges de compte utilisateur sur la base de données source.
    GRANT CREATE SESSION, ALTER SESSION TO GGADMIN;
GRANT RESOURCE TO GGADMIN;
GRANT SELECT ANY DICTIONARY TO GGADMIN;
GRANT FLASHBACK ANY TABLE TO GGADMIN;
GRANT SELECT ANY TABLE TO GGADMIN;
GRANT EXECUTE ON DBMS_FLASHBACK TO GGADMIN;
GRANT SELECT ON SYS.V_$DATABASE TO GGADMIN;
GRANT ALTER ANY TABLE TO GGADMIN;
EXEC rdsadmin.rdsadmin_dbms_goldengate_auth.grant_admin_privilege (
grantee                 => 'GGADMIN',
privilege_type          => 'capture',
grant_select_privileges => true,
do_grants               => TRUE);
  6. Téléchargez et décompressez le schéma échantillon de base de données.
  7. Chargez le schéma échantillon source et les données :
    1. Connectez-vous à l'instance Amazon RDS for Oracle à partir de SQL Developer en tant qu'utilisateur SRC_OCIGGLL.
    2. Copiez le script de OCIGGLL_OCIGGS_SETUP_USERS_ATP.sql et collez-le dans la feuille de calcul SQL.
    3. Cliquez sur Exécuter un script. L'onglet Sortie de script affiche des messages de confirmation.
    4. Effacez la feuille de calcul SQL, puis copiez et collez le script SQL à partir de OCIGGLL_OCIGGS_SRC_USER_SEED_DATA.sql.

      Conseil :

      Vous devrez peut-être exécuter chaque instruction séparément pour que l'outil SQL parvienne à exécuter les scripts.
    5. Pour vérifier que les tables ont bien été créées, fermez la fenêtre SQL et rouvrez-la. Dans l'onglet Navigateur, recherchez le schéma SRC_OCIGGLL, puis sélectionnez des tables dans les listes déroulantes correspondantes.

Tâche 1 : créer les ressources OCI GoldenGate

  1. Créez un déploiement Oracle pour l'instance Amazon RDS source pour Oracle.
  2. Créez un bucket OCI Object Storage cible de déploiement Big Data.
  3. Créez une connexion pour l'instance Amazon RDS source pour Oracle.
  4. Créez une connexion pour l'instance OCI Object Storage cible.
  5. Si votre déploiement Big Data n'a pas d'adresse publique, créez une connexion à GoldenGate et affectez cette connexion au déploiement Oracle source.
  6. Affectez la connexion Amazon RDS for Oracle au déploiement Oracle source.
  7. Affectez la connexion à OCI Object Storage au déploiement Big Data cible.
  8. Affectez la connexion GoldenGate au déploiement Oracle source.

Tâche 2 : ajouter et exécuter l'extraction

  1. Sur la page Déploiements, sélectionnez la source Amazon RDS pour le déploiement Oracle.
  2. Sur la page des détails du déploiement, cliquez sur Lancer la console.
  3. Connectez-vous avec le nom utilisateur et le mot de passe de l'administrateur du déploiement source.
  4. Ajoutez des informations relatives aux transactions.
  5. Ajoutez une extraction.

Tâche 3 : ajoutez et exécutez Distribution Path.

  1. Si vous utilisez la banque d'informations d'identification GoldenGate, créez un utilisateur pour le chemin de distribution dans le déploiement Big Data cible. Sinon, passez à l'étape 3.
  2. Dans la console de déploiement ATP GoldenGate source, ajoutez une connexion de chemin pour l'utilisateur créé à l'étape 1.
    1. Dans la console de déploiement ATP GoldenGate source, cliquez sur Connexions de chemin dans la navigation de gauche.
    2. Cliquez sur Ajouter une connexion de chemin (icône Plus), puis effectuez les opérations suivantes :
      1. Dans Alias d'informations d'identification, entrez GGSNetwork.
      2. Dans ID utilisateur, saisissez le nom de l'utilisateur créé à l'étape 1.
      3. Indiquez le mot de passe de l'utilisateur à deux reprises pour vérification.
    3. Cliquez sur Soumettre.

      La connexion par chemin apparaît dans la liste Connexions par chemin.

  3. Dans la console de déploiement ATP source, ajoutez un chemin de distribution avec les valeurs suivantes :
    1. Sur la page Options source :
      • Dans Extraction source, sélectionnez l'extraction créée dans la tâche 2.
      • Dans Nom de trace, saisissez un nom à deux caractères, tel que E1.
    2. Sur la page Options cible, procédez comme suit :
      • Dans Hôte cible, entrez le domaine hôte du déploiement cible.
      • Dans Numéro de port, saisissez 443.
      • Dans Nom de trace, saisissez un nom à deux caractères, tel que E1.
      • Dans Alias, entrez l'alias d'informations d'identification créé à l'étape 2.
  4. Dans la console de déploiement Big Data cible, vérifiez le fichier Receiver Path créé suite à la création de Distribution Path.
    1. Dans la console de déploiement Big Data cible, cliquez sur Receiver Service.
    2. Consultez les détails du chemin. Ce chemin a été créé à la suite de la création de Distribution Path à l'étape précédente.

Tâche 4 : ajouter et exécuter Replicat

  1. Dans le menu de navigation de la console de déploiement Big Data cible, cliquez sur Replicats.
  2. Sur la page Replicats, cliquez sur Ajouter Replicat (icône Plus), puis remplissez le formulaire comme suit :
    1. Sur la page d'informations Replicat :
      1. Pour Replicat Type, sélectionnez Classique Replicat.
      2. Dans Nom de processus, entrez un nom, tel que REP
    2. Sur la page Options Replicat :
      1. Dans Replicat Nom de trace, saisissez un nom à deux caractères, tel que E1.
      2. Dans Cible, sélectionnez OCI Object Storage
    3. Sur la page Fichier de paramètres, remplacez MAP *.*, TARGET *.*; par ce qui suit :
      MAP SRC_OCIGGLL.*, TARGET *.*;
    4. Sur la page Fichier de propriétés, configurez les propriétés du gestionnaire d'événements OCI selon vos besoins.
      Propriétés requises :
      • gg.eventhandler.oci.compartmentID : OCID du compartiment dans lequel réside le bucket OCI Object Storage.
      • gg.handler.oci.fileNameMappingTemplate : génère des noms de fichier de manière dynamique à l'aide de mots-clés de modèle.
      Les propriétés que vous pouvez envisager de modifier sont par exemple les suivantes :
      • gg.handler.oci.format : sélectionnez le format de la sortie. json_row est le paramètre par défaut. Les options disponibles sont les suivantes :

        Conseil :

        Afin d'utiliser la propriété de formatage pour OCI Object Storage, remplacez name par oci. Par exemple, gg.handler.name.format devient gg.handler.oci.format.
      • gg.handler.oci.inactivityRollInterval : GoldenGate crée un fichier et le garde ouvert pour écriture. Cette propriété ferme le fichier après la période d'inactivité (aucune transaction entrante) indiquée, puis le charge dans OCI Object Storage. Par défaut, elle est définie sur 5 secondes. Vous pouvez spécifier une durée en millisecondes (ms), secondes (s), minutes (m) ou heures (h). Par exemple, gg.handler.oci.inactivityRollInterval=10m.
      • gg.handler.oci.maxFileSize : le gestionnaire de processus d'écriture de fichier ouvre le fichier et le garde ouvert jusqu'à ce qu'il atteigne la taille de fichier maximale, en supposant qu'aucune modification de métadonnées n'ait lieu. Par défaut, la taille de fichier maximale est de 1 Go, mais vous pouvez la modifier à l'aide de cette propriété. Lorsque la taille est atteinte, le fichier est fermé et un nouveau fichier est généré. Par exemple, gg.handler.oci.maxFileSize=500m.
      • gg.handler.oci.rollOnShutdown : la valeur par défaut est True. Si elle est définie sur True, GoldenGate ferme le fichier ouvert lorsque vous arrêtez le processus Replicat. Par défaut, le gestionnaire de processus d'écriture de fichier garde le fichier ouvert même si Replicat s'arrête et continue d'écrire dans ce fichier au redémarrage de Replicat. Par exemple, gg.handler.oci.rollOnShutdown=false.
      • gg.handler.oci.fileRollInterval : indique la durée pendant laquelle garder le fichier ouvert avant sa fermeture et le passage à un nouveau fichier. Par défaut, cette propriété est définie sur 7 minutes. Vous pouvez spécifier une durée en millisecondes (ms), secondes (s), minutes (m) ou heures (h). Par exemple, gg.handler.oci.fileRollInterval=10m.
      • gg.eventhandler.oci.bucketMappingTemplate : entrez le nom du bucket Object Storage.
    5. Cliquez sur Créer et exécuter.

Tâche 5 : vérifier la réplication

Effectuez des mises à jour de l'instance Amazon RDS source pour Oracle afin de vérifier la réplication vers OCI Object Storage.
  1. Connectez-vous à l'instance Amazon RDS for Oracle à partir de SQL Developer en tant qu'utilisateur SRC_OCIGGLL.
  2. Entrez ce qui suit dans la feuille de calcul et cliquez sur Exécuter un script.
    Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1000,'Houston',20,743113);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1001,'Dallas',20,822416);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1002,'San Francisco',21,157574);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1003,'Los Angeles',21,743878);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1004,'San Diego',21,840689);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1005,'Chicago',23,616472);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1006,'Memphis',23,580075);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1007,'New York City',22,124434);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1008,'Boston',22,275581);
Insert into SRC_OCIGGLL.SRC_CITY (CITY_ID,CITY,REGION_ID,POPULATION) values (1009,'Washington D.C.',22,688002);
  3. Dans la console de déploiement OCI GoldenGate source, sélectionnez le nom de l'extraction, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.
  4. Dans la console de déploiement OCI GoldenGate Big Data cible, sélectionnez le nom de la réplication, puis cliquez sur Statistiques. Vérifiez que SRC_OCIGGLL.SRC_CITY comporte 10 insertions.

Tâche 6 : surveiller les processus et en assurer la maintenance

  1. Surveillez les performances.
  2. Gérez les fichiers de trace.