Migrationstools verwenden, um Daten in OCI Cloud Storage Services zu verschieben

Einführung

Dieses Tutorial 1 einer vier Tutorialreihe zeigt Ihnen verschiedene Möglichkeiten zur Migration von Daten in Oracle Cloud Infrastructure (OCI)-Cloud-Speicherservices. Die Serie ist so eingerichtet, dass Sie dieses erste Tutorial lesen können, um ein umfassendes Verständnis der verschiedenen Tools zu erhalten und dann mit den zugehörigen Tutorials oder Dokumenten fortzufahren, die für Ihre Migrationsanforderungen relevant sind.

OCI bietet Kunden High-Performance-Computing und kostengünstige Cloud-Speicheroptionen. Über lokalen On-Demand-, Objekt-, Datei-, Block- und Archivspeicher adressiert Oracle wichtige Anforderungen an die Speicher-Workload und Anwendungsfälle.

OCI-Cloud-Speicherservices bieten schnelle, sichere und dauerhafte Cloud-Speicheroptionen für alle Unternehmensanforderungen. Beginnen Sie mit den leistungsstarken Optionen wie OCI File Storage with Lustre und OCI Block Volumes Service; vollständig verwaltete Exabyte-Skalierungs-Dateisysteme vom OCI File Storage-Service mit leistungsstarken Mountzielen; bis hin zu extrem langlebigem und skalierbarem OCI Object Storage. Unsere Lösungen können Ihre Anforderungen erfüllen, von leistungsintensiven Anwendungen wie KI/ML-Workloads bis hin zu Data Lakes im Exabyte-Bereich.

Viele Kunden finden die Notwendigkeit, Daten von On Premise, einem anderen Provider oder zwischen OCI-Cloud-Speicherservices in den OCI-Cloud-Speicherservice zu übertragen. Je nach Herkunft, Ziel und Richtung der Datenübertragung kann die beste Methode für die Migration variieren. Nachdem Sie die Grundlagen der Datenquelle und des Ziels in OCI identifiziert haben, müssen Sie sich für einen Migrationspfad entscheiden und welche Tools Sie verwenden müssen. Lassen Sie sich von unserer praktischen Erfahrung zum richtigen Migrationstool und zur Verwendung führen. Dieses Tutorial 1 in einer Reihe stellt Ihnen verschiedene Tools vor und erläutert, wo sie am besten in den Migrationsprozess passen.

Bestimmen Sie die Datenmenge, die migriert werden muss, und die Ausfallzeit, die für den Cutover auf die neue OCI-Speicherplattform verfügbar ist. Batchmigrationen sind eine gute Wahl, um die Migration in verwaltbare Inkremente aufzuschlüsseln. Durch Batchmigrationen können Sie Ausfallzeiten für bestimmte Anwendungen über verschiedene Fenster hinweg planen. Einige Kunden haben die Flexibilität, eine einmalige Migration über ein geplantes Wartungsfenster über 2-4 Tage durchzuführen. OCI FastConnect kann verwendet werden, um eine dedizierte, private Verbindung zwischen OCI und Ihrer Umgebung zu erstellen. Portgeschwindigkeiten von 1G bis 400G beschleunigen den Datenübertragungsprozess. OCI FastConnect kann in Partnerlösungen wie Megaport und ConsoleConnect integriert werden, um eine private Verbindung zu Ihrem Data Center oder einer Cloud-zu-Cloud-Verbindung herzustellen, um Daten direkt von einem anderen Cloud-Anbieter in den OCI-Cloud-Speicherservice zu verschieben. Weitere Informationen finden Sie unter Integration mit Megaport Cloud-Router FastConnect.

Zielgruppe

DevOps Ingenieure, Entwickler, OCI-Cloud-Speicheradministratoren und -benutzer, IT-Manager, OCI-Poweruser und Anwendungsadministratoren.

Ziele

Erfahren Sie, wie Sie mit verschiedenen Tools Daten in OCI Cloud-Speicherservices kopieren und synchronisieren:

Voraussetzungen

Migrationstools

Unsere Kundenerfahrung und Tests können Ihnen helfen, zu bestimmen, welches Migrationstool am besten zu Ihrem Szenario passt. Wir empfehlen Ihnen, einen Proof of Concept und Tests an Beispieldatensätzen durchzuführen, um die beste Migrationsmethode für Ihr Dataset zu überprüfen. Wir untersuchen die gängigen Migrationstools, die verfügbar sind, um Daten von On-Premises- und anderen Cloud-Providern zu OCI oder innerhalb von OCI-Cloud-Speicherservices zu migrieren. Testergebnisse werden aus Beispiel-Datasets gemeinsam verwendet, sodass Sie extrapolieren können, wie die Tools mit Ihrem Dataset arbeiten können.

Das richtige Tool für den Job

Es gibt viele Tools zur Auswahl, wenn Sie eine Migration durchführen, und es kann überwältigend sein, sie alle auf einmal zu recherchieren. Je nach Herkunft, Ziel, Migrationsrichtung, Benutzererfahrung und Benutzerumgebung ist das beste Migrationstool unterschiedlich.

Die folgende Tabelle enthält Empfehlungen für gängige Migrationsszenarios, einschließlich der Migration von On-Premise-Daten, der Migration von Daten von einem anderen Cloud-Anbieter in OCI, dem Kopieren von OCI-Cloud-Speicherdaten von einer Region in eine andere, dem Kopieren von OCI-Cloud-Speicherdaten innerhalb einer Region und dem Kopieren von OCI File Storage-Daten in OCI Object Storage.

Daten migrieren von Daten migrieren zu Empfohlene Werkzeuge Hinweise: Dokumentation/Tutorial-Links
On-Premise-Dateisystem OCI Object Storage 1. s5cmd (kleine/gemischte Dateien)
2. OCI Object Storage Sync (wenige große Dateien)
3. Rclone (gemischt)
4. Resilio ist überall aktiv		 Nutzen Sie das Tool am besten für Ihre Datenstrukturen und Sie fühlen sich wohl dabei. FastConnect muss überprüft werden, um die Übertragungszeit zu verbessern. S5cmd and Object Storage Sync Tutorial,
Tutorial klonen,
Resilio Active Anywhere
Ein anderes Cloud Vendor Object oder Blob Storage OCI Object Storage 1. I/O flexibel gestalten
2. Rclone		 Verwenden Sie Flexify IO für kompatible S3-Anbieter und wenn eine unterstützte GUI-Schnittstelle gewünscht wird.
Verwenden Sie Rclone, wenn Sie mit dem Experimentieren und Umschalten verschiedener Einstellungen vertraut sind und wenn Sie mehr als 70 verschiedene Cloud-Anbieter unterstützen (S3-kompatibler und nicht-S3-kompatibler Objektspeicher).		 I/O-Migration zwischen Clouds flexibel gestalten, Tutorial klonen
OCI Object Storage OCI Object Storage in einer anderen Region 1. Objektreplikation
2. OCI Object Storage - Bulkkopier-Python-API
3. I/O flexibel gestalten
4. Rclone		 Die Verwendung der nativen Objektreplikation eignet sich für ein genaues Replikat eines neuen Buckets, der derzeit leer ist. Verwenden Sie OCI Object Storage Bulk Copy Python API, Flexify IO oder Rclone, um Kopien eines Quell-Buckets zu initialisieren, der bereits Objekte enthält, oder wenn Sie Objekte auf dem Ziel beibehalten möchten. Dokumentation zur Object Storage-Replikation,
Oracle Cloud Infrastructure Object Storage Python-Utilitys für Bulkvorgänge verwenden,
Flexify IO,
Tutorial zu Klonen
OCI Object Storage OCI Object Storage in einem anderen Mandanten (dieselbe oder andere Region) 1. OCI Object Storage - Bulkkopier-Python-API
2. Flexify IO
3. Rclone		 Voraussetzung für OCI Object Storage Bulk Copy-Python-API: Mandantenübergreifende IAM-Policys verwenden, um mandantenübergreifende Kopien zu aktivieren. Weitere Informationen finden Sie unter Auf Objektspeicherressourcen mandantenübergreifend zugreifen. Oracle Cloud Infrastructure Object Storage Python-Utilitys für Bulkvorgänge verwenden,
Flexify IO,
Tutorial zu Klonen
OCI File Storage OCI Object Storage 1. s5cmd (kleine/gemischte Dateien)
2. Object Storage Sync (einige große Dateien)
3. Rclone (gemischt)
4. Resilio ist überall aktiv		 Nutzen Sie das Tool am besten für Ihre Datenstrukturen und Sie fühlen sich wohl dabei. S5cmd and Object Storage Sync Tutorial,
Tutorial klonen,
Resilio Active Anywhere
On-Premise-Dateisystem OCI File Storage 1. fpsync (Linux) und CIFS + fpsync (Windows)
2. Resilio ist überall aktiv		 Stellen Sie sicher, dass die Netzwerkkonnektivität zwischen Quell- und Zielinstanzen hergestellt ist. Fpsync-Dokumentation,
Fpsync-Tutorial,
Resilio Active Anywhere
Ein anderer lokaler Datenträger oder Dateispeicher eines Cloud-Anbieters OCI File Storage 1. fpsync (Linux) und CIFS + fpsync (Windows)
2. Resilio ist überall aktiv		 Stellen Sie sicher, dass die Netzwerkkonnektivität zwischen Quell- und Zielinstanzen hergestellt ist. FastConnect muss überprüft werden, um die Übertragungszeit zu verbessern. Fpsync-Dokumentation,
Fpsync-Tutorial,
Resilio Active Anywhere
OCI File Storage OCI File Storage in einer anderen Region 1. Dateisystemreplikation
2. fpsync mit Instanz-zu-Instanz-Streaming
3. Resilio ist überall aktiv		 Wenn Sie die Replikation verwenden, lesen Sie die Einschränkungen und Überlegungen der Replikation, oder wenn Sie Instanz-zu-Instanz-Streaming verwenden, stellen Sie sicher, dass die Netzwerkkonnektivität zwischen Quell- und Zielinstanzen hergestellt wird. Fpsync-Dokumentation,
Fpsync-Tutorial,
Dokumentation zur Dateisystemreplikation,
Resilio Active Anywhere
OCI File Storage OCI File Storage innerhalb derselben Availability-Domain 1. Dateisystemreplikation
2. Parallele File Storage-Tools verwenden: parcp
3. Resilio ist überall aktiv		 Wenn Sie die Replikation verwenden, lesen Sie die Einschränkungen und Überlegungen der Replikation. Wenn Sie Parcp verwenden, stellen Sie sicher, dass Quell- und Zieldateisysteme in der Instanz gemountet sind. Dateisystemreplikation,
Parallele File Storage-Tools verwenden: parcp,
Resilio Active Anywhere
On-Premises, ein weiterer Cloud-Anbieter OCI Object Storage oder OCI File Storage Resilio Active Anywhere-Plattform Verwenden Sie die Resilio Active Anywhere-Plattform, wenn Sie mehrseitige Synchronisierung von Daten, White-Glove-Service mit Support und GUI-Schnittstelle benötigen. Resilio wurde vom OCI Cloud Storage Service-Produktteam geprüft und ist im Oracle Cloud Marketplace verfügbar. Weitere Informationen zur Verwendung ihrer Plattform erhalten Sie beim Resilio-Team.

Hinweis: Die Migrationstoolserie deckt weder OCI Object Storage noch OCI File System Replication, OCI Object Storage Bulk Copy Python API noch Flexify und Resilio ab. Weitere Informationen finden Sie unter "Zugehörige Links".

Nächste Schritte

Fahren Sie mit den zugehörigen Tutorials fort, die für Ihre Migrationsanforderungen relevant sind. So verschieben Sie Daten in OCI Cloud-Speicherservices:

(Optional) Testumgebungen

Die Empfehlungen basieren auf Tests und Kundeninteraktionen.

Testumgebung 1:

1 VM-Instanz VM.Standard.E4.Flex, 1 OCPU, 1Gbps Netzwerkbandbreite, 16 GB Arbeitsspeicher. Um die Migration von On Premise zu OCI zu simulieren, wurden kopierte Daten von PHX NFS zu IAD kopiert.

Datasets

Gesamtgröße des Datensatzes: 3 TB, mit 3 Dateien, jede Datei 1 TB.

Methode Von Time Befehl Flags
os Sync NFS/Datei von PHX zu Objekt-IAD 123m17.102s - --parallel-operations-count 100
s5cmd NFS/Datei von PHX zu Objekt-IAD 239m20.625s Kopieren run commands.txt, Standardausführung --numworkers 256
rclone NFS/Datei von PHX zu Objekt-IAD 178m27.101s Kopieren --transfers=100 --oos-no-check-bucket --fast-list --checkers 64 --retries 2 --no-check-dest

Hinweis: In unseren Tests wurde gezeigt, dass os sync am schnellsten für dieses Dataset ausgeführt wird.

Gesamtgröße des Datasets: 9.787GB, mit 20.000 Dateien, jede Datei 20 MB

Methode Von Time Befehl Flags
s5cmd NFS/Datei von PHX zu Objekt-IAD 1m12.746s Kopieren Standardausführung --numworkers 256
os Sync NFS/Datei von PHX zu Objekt-IAD 2m48.742s - --parallel-operations-count 1000
rclone NFS/Datei von PHX zu Objekt-IAD 1m52.886s Kopieren --transfers=500 --oos-no-check-bucket --no-check-dest

Hinweis: In unseren Tests wurde gezeigt, dass s5cmd die beste Leistung für dieses Dataset erzielt.

Testumgebung 2:

VM-Instanzen: Für jeden Test wurden 2 VM-Instanzen verwendet. Wir verwendeten eine VM.Standard.E4.Flex mit 24 OCPU, 24Gbps Netzwerkbandbreite und 384 GB Arbeitsspeicher. Oracle Linux 8 wurde für Linux-Tests verwendet. Flexify IO verwendet keine VM-Instanzen.

Beim Testen verwendete Datasets: 14 Hauptverzeichnisse mit der folgenden Dateianzahl und -größe, insgesamt 2.25TiB.

Dataset-Verzeichnis Schriftgrad Anzahl Dateien Größe jeder Datei
Verzeichnis 1 107.658 GiB 110.242 1 MiB
Verzeichnis 2 1.687 GiB 110.569 15 MiB
Verzeichnis 3 222 GiB 111 2 GiB
Verzeichnis 4 1.265 TiB 1.295 1 GiB
Verzeichnis 5 26.359 GiB 1.687 16 MiB
Verzeichnis 6 105.281 MiB 26.952 4 KiB
Verzeichnis 7 29.697 MiB 30.410 1 KiB
Verzeichnis 8 83.124 GiB 340.488 256 KiB
Verzeichnis 9 21.662 GiB 354.909 64 KiB
Verzeichnis 10 142.629 GiB 36.514 4 MiB
Verzeichnis 11 452.328 MiB 57.898 8 MiB
Verzeichnis 12 144 GiB 72 2GiB
Verzeichnis 13 208.500 GiB 834 256 MiB
Verzeichnis 14 54.688 GiB 875 64 MiB

Hinweis:

Methode Von Time Befehl Kennzeichen/Notizen
s5cmd NFS/Datei von PHX zu Objekt-IAD 54m41.814s Kopieren --numworkers 74
os Sync NFS/Datei von PHX zu Objekt-IAD 65m43.200s - --parallel-operations-count 50
rclone NFS/Datei von PHX zu Objekt-IAD 111m59.704s Kopieren --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 50
rclone Objekt-PHX zu Objekt-IAD 28m55.663s Kopieren --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 400, derselbe Befehl wird über 2 VMs ausgeführt, um 800 Übertragungen gleichzeitig auszuführen
python-Massenkopierskript Objekt-PHX zu Objekt-IAD 25m43.715s Standard 1 VM, 50 Worker, 100.000 Dateien in der Warteschlange
I/O flexibilisieren Objekt-PHX zu Objekt-IAD 20m27s Kopieren Standard ist 10 Engines/Slots
I/O flexibilisieren Objekt-PHX zu Objekt-IAD 16m12s Kopieren 20 Motoren/Steckplätze, dies kann über "Erweiterte Einstellungen" angehoben werden

Die Befehle s5cmd und os sync reichen vom Dateisystem/NFS bis zum Objektspeicher. Flexify IO- und Bulk Copy-Skript konzentriert sich nur auf Object Storage-(Bucket-zu-Bucket-)Übertragungen und wurde nicht für die NFS-Migration getestet.

Nur Flexify IO,rclone und das python-Bulkkopieskript können regionsübergreifende Bucket-to-Bucket-Übertragungen ausführen, sodass die anderen Tools nicht dafür getestet wurden. Flexify IO eignet sich am besten für regionsübergreifende Objektspeichermigrationen. Das python-Bulkkopierskript funktioniert besser als rclone. Es ist wichtig zu beachten, dass Flexify IO für den mit S3 kompatiblen Objektspeicher funktioniert, das python-Bulkkopierskript nur mit OCI Object Storage funktioniert und rclone viele Backends und Cloud-Provider unterstützt.

Kleine Testläufe wurden mit rclone durchgeführt, um Daten aus Microsoft Azure Blob Storage, Amazon Simple Storage Service (Amazon S3) und Google Cloud Platform Cloud Storage an OCI Object Storage zu übertragen, um zu überprüfen, ob das Tool für diese Übertragungstypen funktioniert. Weitere Informationen finden Sie unter Daten mit Rclone in den Objektspeicher in der Cloud verschieben.

FlexifyIO wurde verwendet, um dieses Dataset von AWS us-east-2 in die OCI Ashburn-Region zu migrieren. Für die 2.25TiB wurde nur 23m51s verwendet, wobei der Standardwert von 10 Engines/Slots verwendet wurde. Für eine schnellere Performance konnten zusätzliche Engines/Slots hinzugefügt werden.

Testumgebung 3:

VM-Instanzen: Für jeden Test wurden 1-2 VM-Instanzen verwendet. Wir verwendeten eine VM.Standard.E4.Flex mit 24 OCPU, 24Gbps Netzwerkbandbreite und 384 GB Arbeitsspeicher. Oracle Linux 8 wurde für Linux-Tests verwendet. Alle Tests waren Bucket-to-Bucket. Flexify IO verwendet keine VM-Instanzen.

Gesamte Größe Anzahl Dateien Dateigrößenbereich
7.74 TiB 1.000.000 30 MiB
Methode Von Time Befehl Flags Hinweise:  
rclone Object-to-Object-IAD -> IAD 18h39m11.4s Kopieren --oos-no-check-bucket --fast-list --no-traverse --transfers 500 --oos-chunk-size 10Mi 1 VM, sehr langsam aufgrund der hohen Anzahl von Dateien und der Auflistung von Quellaufrufen  
rclone Object-to-Object-IAD -> IAD 55m8.431s Kopieren --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 VMs, 500 Übertragungen pro VM, Objekt-/Dateiliste mit jeweils 1.000 Dateien, verhindert die Auflistung auf Quelle und Ziel und verbessert die Performance  
python-Massenkopierskript Object-to-Object-IAD -> IAD 28m21.013s - Standard 1 VM, 50 Worker, 100.000 Dateien in der Warteschlange  
python-Massenkopierskript Object-to-Object-IAD -> IAD - - Standard 2 VMs, 50 Worker pro VM, 100.000 Dateien in der Warteschlange 429 Fehler empfangen, Skript hängt und konnte nicht abgeschlossen werden  
I/O flexibilisieren Object-to-Object-IAD -> IAD 39m19s Kopieren Standard Standard ist 10 Engines/Slots  
I/O flexibilisieren Object-to-Object-IAD -> IAD 21m37s Kopieren 20 Motoren/ Schlitze Auf 20 Motoren/Steckplätze eingestellt, kann dies über "Erweiterte Einstellungen" angehoben werden  
s5cmd Object-to-Object-IAD -> IAD 14m10.864s Kopieren Standardwerte (256 Mitarbeiter) 1 VM -
s5cmd Object-to-Object-IAD -> IAD 7m50.013s Kopieren Standardwerte 2 VMs, 256 Mitarbeiter pro VM Ran in der Hälfte der Zeit als 1 VM
s5cmd Object-to-Object-IAD -> IAD 3m23.382s Kopieren --numworkers 1000 1 VM, 1000 Mitarbeiter Bei mehreren Tests wurde festgestellt, dass dies die optimale Ausführung für dieses Dataset mit der s5cmd war
rclone Object-to-Object-IAD -> PHX 184m36.536s Kopieren --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 VMs, 500 Übertragungen pro VM, Objekt-/Dateiliste mit jeweils 1.000 Dateien  
python-Massenkopierskript Object-to-Object-IAD -> PHX 35m31.633s - Standard 1VM, 50 Mitarbeiter, 100.000 Dateien gleichzeitig in der Warteschlange  
I/O flexibilisieren Object-to-Object-IAD -> PHX 21m17s Kopieren 20 Motoren/ Schlitze Auf 20 Motoren/Steckplätze eingestellt, kann dies über "Erweiterte Einstellungen" angehoben werden  

Der Befehl s5cmd wurde konsistent am besten für die große Anzahl von Dateien und kleine Dateien ausgeführt. Die s5cmd ist begrenzt, weil sie nur Bucket-zu-Bucket-Kopien innerhalb desselben Mandanten und derselben Region ausführen kann.

Flexify IO wäre das empfohlene Tool für dieses Migrations-Dataset, da es eine gute Performance bietet und verschiedene S3-kompatible Objektspeichertypen unterstützt. Die Migrationszeit ist nach dem Anheben der Engine-/Slotanzahl für Flexify IO gesunken.

Beachten Sie hohe Verbesserungen an rclone, sobald Dateien an den Befehl und von der Skalierung auf eine andere VM eingespeist werden. Rclone läuft möglicherweise langsamer als andere Tools, ist jedoch die vielseitigste in den verschiedenen Plattformen, die es unterstützt, und Arten von Migrationen, die es durchführen kann.

Die OCI Object Storage Bulk Copy-Python-API kann nur die OCI Native CopyObject-API verwenden und kann nur bis zu einer Nebenläufigkeit von 50 Mitarbeitern erreichen, bevor sie gedrosselt wird. Im Allgemeinen funktioniert sie für dieses Dataset ziemlich gut.

Tests für IAD zu PHX wurden nur an dem durchgeführt, was am besten in IAD zu IAD funktionierte, und problematische Tests wurden nicht erneut ausgeführt. Die s5cmd wurde nicht für IAD in PHX ausgeführt, weil sie nur Bucket-zu-Buckets-Kopien innerhalb derselben Region ausführen kann.

Bestätigungen

Weitere Lernressourcen

Sehen Sie sich weitere Übungen zu docs.oracle.com/learn an, oder greifen Sie auf weitere kostenlose Lerninhalte im Oracle Learning YouTube-Kanal zu. Besuchen Sie außerdem education.oracle.com/learning-explorer, um ein Oracle Learning Explorer zu werden.

Die Produktdokumentation finden Sie im Oracle Help Center.