Daten von Amazon DynamoDB zu Oracle NoSQL Database Cloud Service migrieren

Ihr Unternehmen hat sich entschieden, Daten von Amazon DynamoDB zu Oracle NoSQL Database Cloud Service zu migrieren, um Daten in einer nicht relationalen Datenbank zu speichern und High Availability und Skalierbarkeit aufrechtzuerhalten. In diesem Playbook werden die Schritte zum Migrieren von Daten von Amazon DynamoDB zu Oracle NoSQL Database Cloud Service mit dem Oracle NoSQL Database-Migrator beschrieben.

Architektur

In dieser Architektur wird der Oracle NoSQL Database-Migrator auf einer OCI Compute-Instanz installiert. Wir empfehlen die Verwendung einer OCI-Compute-Instanz vom Typ "Immer kostenlos", um Kosten zu senken. Formatierte JSON-Dateien im Amazon DynamoDB-Format werden von Amazon Simple Storage Service (Amazon S3) mit einer OCI Compute-Instanz migriert, die den Oracle NoSQL Database-Migrator ausführt.

Hinweis:

Bei der Datenmigration reserviert und verwaltet Oracle die Ressourcen, um Ihre Anforderungen zu erfüllen und die Kapazität bereitzustellen. Die Kapazität wird mit Lese- und Schreibeinheiten für den Durchsatz und GB für Speichereinheiten angegeben.

Im folgenden Diagramm wird diese Architektur dargestellt.

Beschreibung der Abbildung aws-dynamodb-nosql-architecture.png

aws-dynamodb-nosql-architecture.zip

Diese Architektur unterstützt die folgenden Komponenten:

• Region

  Eine Oracle Cloud Infrastructure-Region ist ein lokalisierter geografischer Bereich, der mindestens ein Data Center enthält, das als Availability-Domain bezeichnet wird. Regionen sind unabhängig von anderen Regionen, und große Entfernungen können sie trennen (über Länder oder sogar Kontinente).

• Availability-Domain

  Availability-Domains sind eigenständige, unabhängige Data Center innerhalb einer Region. Die physischen Ressourcen in jeder Availability-Domain sind von den Ressourcen in den anderen Availability-Domains isoliert, was eine Fehlertoleranz sicherstellt. Availability-Domains haben keine gemeinsame Infrastruktur wie Stromversorgung oder Kühlung oder das interne Availability-Domainnetzwerk. Es ist daher wahrscheinlich, dass der Fehler in einer Availability-Domain sich nicht auf die anderen Availability-Domains in der Region auswirkt.

• Faultdomain

  Eine Faultdomain ist eine Gruppierung aus Hardware und Infrastruktur innerhalb einer Availability-Domain. Jede Availability-Domain umfasst drei Fehlerdomänen mit unabhängiger Stromversorgung und Hardware. Wenn Sie Ressourcen auf mehrere Faultdomains verteilen, können Ihre Anwendungen physische Serverausfälle, Systemwartungen und Stromausfälle innerhalb einer Faultdomain tolerieren.

• Virtuelles Cloud-Netzwerk (VCN) und Subnetz

  Ein VCN ist ein anpassbares, benutzerdefiniertes Netzwerk, das Sie in einer Oracle Cloud Infrastructure-Region einrichten können. Wie herkömmliche Data Center-Netzwerke erhalten Sie mit VCNs vollständige Kontrolle über Ihre Netzwerkumgebung. Ein VCN kann mehrere sich nicht überschneidende CIDR-Blöcke aufweisen, die Sie nach dem Erstellen des VCN ändern können. Sie können ein VCN in Subnetze segmentieren, die sich auf eine Region oder eine Availability-Domain beschränken. Jedes Subnetz besteht aus einem Bereich zusammenhängender Adressen, die sich nicht mit anderen Subnetzen im VCN überschneiden. Sie können die Größe eines Subnetzes nach der Erstellung ändern. Ein Subnetz kann öffentlich oder privat sein.

• Internetgateway

  Das Internetgateway ermöglicht Traffic zwischen den öffentlichen Subnetzen in einem VCN und dem öffentlichen Internet.

• Servicegateway

  Das Servicegateway ermöglicht den Zugriff von einem VCN auf andere Services, wie Oracle Cloud Infrastructure Object Storage. Der Traffic vom VCN zum Oracle-Service durchläuft die Oracle-Netzwerkstruktur und nie das Internet.

• Identity and Access Management (IAM)

  Oracle Cloud Infrastructure Identity and Access Management (IAM) ist die Zugriffskontrollebene für Oracle Cloud Infrastructure (OCI) und Oracle Cloud Applications. Mit der IAM-API und der Benutzeroberfläche können Sie Identitätsdomains und die Ressourcen in der Identitätsdomain verwalten. Jede OCI IAM-Identitätsdomain stellt eine eigenständige Identity and Access Management-Lösung oder eine andere Benutzerpopulation dar.

• Oracle NoSQL Database Cloud Service

  Mit Oracle NoSQL Database Cloud Service können Entwickler ganz einfach Anwendungen mit Dokumenten-, Spalten- und Schlüsselwert-Datenbankmodellen erstellen und vorhersehbare Antwortzeiten im einstelligen Millisekundenbereich mit Datenreplikation für High Availability bereitstellen. Der Service bietet ACID-Transaktionen, serverlose Skalierung, umfassende Sicherheit und niedrige Pay-per-Use-Preise für On-Demand- und bereitgestellte Kapazitätsmodi, einschließlich 100-prozentiger Kompatibilität mit On-Premise-Oracle NoSQL Database.

Bevor Sie beginnen

Bevor Sie beginnen, prüfen Sie die Versionen der wichtigsten Softwarekomponenten, die in diesem Setup verwendet werden, laden Sie das erforderliche Softwarepaket herunter, und lesen Sie die Produktdokumentation für eine spätere Referenz.

Überprüfungsanforderungen

• Stellen Sie sicher, dass die OCI-Compute-Instanz, auf der Oracle NoSQL Database Migrator ausgeführt wird, mindestens 1 OCPU mit 16 GB RAM mit Oracle Linux 8 aufweist.
• Auf der OCI Compute-Instanz müssen Oracle NoSQL Database Migrator Version 1.5.0 und Java 11 ausgeführt werden.
• Der Zwischenspeicher muss einen Amazon S3-Objektspeicher-Bucket enthalten.

Laden Sie die Binärdateien von Oracle NoSQL Database Migrator 1.5.0 (V1033765-01.zip) unter "Oracle NoSQL Database Migrator and Analytics Integrator" herunter:

• Oracle NoSQL Database-Migrator und Analytics-Integrator

Dokumentation überprüfen

Diese zusätzlichen Ressourcen sind hilfreich für Kontext, Details und Referenz für Ihre Datenmigration.

Oracle NoSQL Database Cloud Service-Ressourcen prüfen

• "Zuordnung der Tabelle DynamoDB zu der Tabelle NoSQL von Oracle" im Oracle NoSQL Database Administrator's Guide
• "Zuordnung von DynamoDB-Typen zu Oracle-NoSQL-Typen" im Oracle NoSQL Database Administrator's Guide
• "DynamoDB - Formatierte JSON-Datei gespeichert in AWS S3" im Oracle NoSQL Database-Administratorhandbuch
• "Workflow für Oracle NoSQL Database-Migrator" in der Oracle Cloud Infrastructure-Dokumentation

Amazon-Ressourcen ansehen

• IAM-Benutzer in Ihrem AWS-Account erstellen
• Zugriffsschlüssel für IAM-Benutzer verwalten
• Bucket erstellen
• Ausgabeformat des Tabellenexports DynamoDB
• DynamoDB Datenexport nach Amazon S3: Funktionsweise
• Grundlagen der Datenmodellierung in DynamoDB

Erforderliche Services und Rollen

Für diese Lösung sind die folgenden Produkte und Rollen erforderlich:

• Oracle Cloud Infrastructure Identity and Access Management
• Oracle NoSQL Database Cloud Service
• Oracle Cloud Infrastructure Compute
• Amazon Simple Storage Service (Amazon S3)
• Amazon-DynamoDB
• Amazon Identity and Access Management

Diese Rollen sind für jeden Service erforderlich.

Servicename: Rolle	Erforderlich für...
Oracle Cloud Infrastructure Identity and Access Management: user	Erstellen Sie einen API-Schlüssel für den Zugriff auf OCI, um Tabellen zu erstellen und Daten in Oracle NoSQL Database Cloud Service zu importieren.
Oracle NoSQL Database Cloud Service: admin	Tabellen erstellen und Daten importieren
Oracle Cloud Infrastructure Compute: admin	Erstellen Sie eine OCI-Compute-Instanz zum Ausführen von Oracle NoSQL Data Migrator.
Oracle Cloud Infrastructure Compute-VM: opc	Installieren Sie den Oracle NoSQL Data Migrator, und führen Sie ihn aus.
Amazon Simple Storage Service-Bucket: user	Laden Sie Dateien hoch und lesen Sie Dateien aus Amazon Simple Storage Service.
Amazon DynamoDB: Admin	Erkunden Sie DynamoDB-Tabellen, und exportieren Sie Tabellen in einen Amazon Simple Storage Service-Bucket.
Amazon Identity and Access Management: user	Erstellen Sie einen Zugriffsschlüssel, um Dateien aus dem Amazon Simple Storage Service-Bucket zu lesen.

Unter Oracle-Produkte, -Lösungen und -Services erfahren Sie, was Sie benötigen.

Hinweise zur Migration

Bevor Sie mit der Migration beginnen, beachten Sie diese Hinweise.

• Wenn Sie Daten aus Amazon DynamoDB mit DynamoDB-formatierten JSON-Dateien in Oracle NoSQL Database Cloud Service importieren, müssen Sie dynamodb_json als Datenformat in der JSON-Datei der Oracle NoSQL Database-Migrator-Konfiguration angeben. Wenn die Oracle NoSQL Database Cloud Service-Zieltabelle das Standardschema verwendet, muss der Parameter DDBPartitionKey in der Sink-Definition enthalten sein. Der Parameter DDSortKey ist optional.
• Der Partitionsschlüssel und der Sortierschlüssel in Amazon DynamoDB haben größere Zeichenlimits als die entsprechenden Schlüssel in Oracle NoSQL Database Cloud Service. In Amazon DynamoDB sind der Partitionsschlüssel und der Sortierschlüssel auf 2048 bzw. 1024 Byte begrenzt, während diese Schlüssel in Oracle NoSQL Database Cloud Service auf 64 Byte begrenzt sind. Wenn also einer der zu importierenden Datensätze einen Schlüssel hat, der länger als das Limit in Oracle NoSQL Database Cloud Service ist, verläuft der Import dieses Datensatzes mit einem Fehler wie dem folgenden nicht erfolgreich: "Primär- oder Sortierschlüssel von 88 hat das Limit von 64 überschritten". Weitere Informationen zu Limits und Datentypen finden Sie unter "Oracle NoSQL-Dokumentation - Zuordnung von DynamoDB-Typen zu Oracle NoSQL-Typen" im Abschnitt "Dokumentation prüfen".
• Notieren Sie den Namen und Typ für den Partitionsschlüssel und die Sortierschlüsselspalten in der Tabelle Amazon DynamoDB, bevor Sie mit der Migration beginnen.