A propos de la migration de données d'Amazon DynamoDB vers Oracle NoSQL Database Cloud Service

Votre organisation a décidé de migrer les données d'Amazon DynamoDB vers Oracle NoSQL Database Cloud Service pour conserver les données dans une base de données non relationnelle et maintenir la haute disponibilité et l'évolutivité. Ce guide vous guide tout au long des étapes de migration des données d'Amazon DynamoDB vers Oracle NoSQL Database Cloud Service à l'aide d'Oracle NoSQL Database Migrator.

Architecture

Dans cette architecture, Oracle NoSQL Database Migrator est installé sur une instance de calcul OCI. Nous recommandons d'utiliser une instance OCI Always Free Compute pour réduire les coûts. Les fichiers JSON formatés Amazon DynamoDB sont migrés à partir d'Amazon Simple Storage Service (Amazon S3) à l'aide d'une instance OCI Compute exécutant Oracle NoSQL Database Migrator.

Remarques :

Lors de la migration des données, Oracle réserve et gère les ressources pour qu'elles répondent à vos exigences et provisionnent la capacité. La capacité est spécifiée à l'aide d'unités de lecture et d'écriture pour le débit et de Go pour les unités de stockage.

Le diagramme suivant illustre cette architecture.

Description de l'illustration aws-dynamodb-nosql-architecture.png

aws-dynamodb-nosql-architecture.zip

Cette architecture prend en charge les composants suivants :

• Région

  Une région Oracle Cloud Infrastructure est une zone géographique précise qui contient un ou plusieurs centres de données, appelés domaines de disponibilité. Les régions sont indépendantes les unes des autres et de grandes distances peuvent les séparer (à travers les pays ou même les continents).

• Domaine de disponibilité

  Les domaines de disponibilité sont des centres de données autonomes indépendants au sein d'une région. Les ressources physiques de chaque domaine de disponibilité sont isolées de celles des autres, ce qui garantit la tolérance aux pannes. Les domaines de disponibilité ne partagent ni infrastructure (par exemple, alimentation, système de refroidissement), ni réseau de domaine de disponibilité interne. Ainsi, il est improbable qu'une panne survenant sur un domaine de disponibilité affecte les autres.

• Domaine de pannes

  Un domaine de pannes est un regroupement de matériel et d'infrastructures au sein d'un domaine de disponibilité. Chaque domaine de disponibilité comporte trois domaines de pannes avec alimentation et matériel indépendants. Lorsque vous répartissez des ressources entre plusieurs domaines de pannes, vos applications peuvent tolérer les pannes de serveur physiques, de maintenance du système et d'alimentation au sein d'un domaine de pannes.

• Réseau cloud virtuel (VCN) et sous-réseau

  Un VCN est un réseau personnalisable défini par logiciel que vous configurez dans une région Oracle Cloud Infrastructure. Comme les réseaux de centre de données traditionnels, les réseaux cloud virtuels vous donnent un contrôle total sur l'environnement réseau. Un réseau cloud virtuel peut comporter plusieurs blocs CIDR qui ne se chevauchent pas et que vous pouvez modifier après l'avoir créé. Vous pouvez segmenter un réseau cloud virtuel en plusieurs sous-réseaux ciblant une région ou un domaine de disponibilité. Chaque sous-réseau est composé d'une plage contiguë d'adresses qui ne chevauchent pas celles des autres sous-réseaux du réseau cloud virtuel. Vous pouvez modifier la taille d'un sous-réseau après sa création. Un sous-réseau peut être public ou privé.

• passerelle Internet

  La passerelle Internet autorise le trafic entre les sous-réseaux publics d'un VCN et le réseau Internet public.

• passerelle de service

  La passerelle de service permet d'accéder à d'autres services à partir d'un VCN, tels qu'Oracle Cloud Infrastructure Object Storage. Le trafic du VCN vers le service Oracle transite par la structure réseau Oracle et ne traverse jamais Internet.

• Identity and Access Management (IAM)

  Oracle Cloud Infrastructure Identity and Access Management (IAM) est le plan de contrôle d'accès pour Oracle Cloud Infrastructure (OCI) et Oracle Cloud Applications. L'API IAM et l'interface utilisateur vous permettent de gérer les domaines d'identité et les ressources au sein du domaine d'identité. Chaque domaine d'identité OCI IAM représente une solution autonome de gestion des identités et des accès ou une population d'utilisateurs différente.

• Oracle NoSQL Database Cloud Service

  Oracle NoSQL Database Cloud Service permet aux développeurs de créer facilement des applications à l'aide de modèles de base de données de type document, colonne et clé-valeur, pour des temps de réponse prévisibles à un seul chiffre, de l'ordre de la milliseconde, avec la réplication des données pour une haute disponibilité. Le service offre des transactions ACID, une évolutivité sans serveur, une sécurité complète et une faible tarification à l'utilisation pour les modes de capacité à la demande et provisionnée, y compris une compatibilité à 100 % avec Oracle NoSQL Database on-premise.

Avant de commencer

Avant de commencer, vérifiez les versions des principaux composants logiciels utilisés dans cette configuration, téléchargez le package logiciel requis et consultez la documentation du produit pour référence ultérieure.

Vérifier les exigences

• Assurez-vous que l'instance de calcul OCI exécutant Oracle NoSQL Database Migrator dispose d'au moins 1 OCPU avec 16 Go de RAM exécutant Oracle Linux 8.
• L'instance de calcul OCI doit exécuter Oracle NoSQL Database Migrator version 1.5.0 et Java 11.
• Le stockage intermédiaire doit inclure le bucket Amazon S3 Object Storage.

Téléchargez les fichiers binaires d'Oracle NoSQL Database Migrator 1.5.0 (V1033765-01.zip) sous Migrator et Analytics Integrator d'Oracle NoSQL Database :

• Oracle NoSQL Database Migrator et Analytics Integrator

Réviser la documentation

Ces ressources supplémentaires sont utiles pour le contexte, les détails et les références de votre migration de données.

Consulter les ressources Oracle NoSQL Database Cloud Service

• "Mapping of DynamoDB table to Oracle NoSQL table" dans le Guide de l'administrateur Oracle NoSQL Database
• "Mapping of DynamoDB types to Oracle NoSQL types" dans le Guide de l'administrateur Oracle NoSQL Database
• "DynamoDB-Formatted JSON File stocké dans AWS S3" dans le Guide de l'administrateur Oracle NoSQL Database
• "Workflow pour Oracle NoSQL Database Migrator" dans la documentation Oracle Cloud Infrastructure

Consulter les ressources Amazon

• Création d'un utilisateur IAM dans votre compte AWS
• Gestion des clés d'accès pour les utilisateurs IAM
• Création d'un bucket
• Format de sortie d'export de table DynamoDB
• Exportation de données DynamoDB vers Amazon S3 : comment cela fonctionne
• Bases de modélisation de données dans DynamoDB

Services et rôles requis

Cette solution nécessite les produits et rôles suivants :

• Oracle Cloud Infrastructure Identity and Access Management
• Oracle NoSQL Database Cloud Service
• Oracle Cloud Infrastructure Compute
• Amazon Simple Storage Service (Amazon S3)
• Amazon DynamoDB
• Gestion des identités et des accès Amazon

Il s'agit des rôles nécessaires pour chaque service.

Nom de service : rôle	Obligatoire pour...
Oracle Cloud Infrastructure Identity and Access Management : user	Créez une clé d'API pour accéder à OCI afin de créer des tables et d'importer des données vers Oracle NoSQL Database Cloud Service.
Oracle NoSQL Database Cloud Service : admin	Créer des tables et importer des données.
Oracle Cloud Infrastructure Compute : admin	Créez une instance de calcul OCI pour exécuter Oracle NoSQL Data Migrator.
Machine virtuelle Oracle Cloud Infrastructure Compute : opc	Installez et exécutez Oracle NoSQL Data Migrator.
Bucket Amazon Simple Storage Service : user	Téléchargez des fichiers et lisez-les à partir d'Amazon Simple Storage Service.
Amazon DynamoDB : Admin	Explorez les tables DynamoDB et exportez-les vers le bucket Amazon Simple Storage Service.
Amazon Identity and Access Management : user	Créez une clé d'accès pour lire les fichiers à partir du bucket Amazon Simple Storage Service.

Reportez-vous à Produits, solutions et services Oracle pour obtenir ce dont vous avez besoin.

Remarques concernant la migration

Avant de commencer la migration, prenez en compte ces points.

• Lors de l'import de données à partir d'Amazon DynamoDB vers Oracle NoSQL Database Cloud Service à l'aide de fichiers JSON au format DynamoDB, vous devez indiquer dynamodb_json comme format de données dans le fichier JSON de configuration Oracle NoSQL Database Migrator. Si la table Oracle NoSQL Database Cloud Service cible utilise le schéma par défaut, le paramètre DDBPartitionKey doit être inclus dans la définition de récepteur. Le paramètre DDSortKey est facultatif.
• La clé de partitionnement et la clé de tri dans Amazon DynamoDB ont des limites de caractères plus importantes que leurs clés équivalentes dans Oracle NoSQL Database Cloud Service. Dans Amazon DynamoDB, la clé de partitionnement et la clé de tri ont des limites de 2048 et 1024 octets respectivement, tandis que dans Oracle NoSQL Database Cloud Service, ces clés sont limitées à 64 octets. Par conséquent, si l'un des enregistrements en cours d'import possède une clé supérieure à la limite dans Oracle NoSQL Database Cloud Service, l'import de cet enregistrement échouera avec une erreur semblable à la suivante : la clé principale ou de tri de 88 dépasse la limite de 64. Pour plus d'informations sur les limites et les types de données, reportez-vous à Documentation Oracle NoSQL - Mise en correspondance des types DynamoDB avec les types Oracle NoSQL dans la section Consulter la documentation.
• Notez le nom et le type des colonnes de clé de partitionnement et de clé de tri dans la table Amazon DynamoDB avant de commencer la migration.