Verschieben Sie Ihre Daten in Oracle Cloud Infrastructure

Nachdem die Konfiguration abgeschlossen ist, können Sie die Übertragung starten. Abhängig von der Datenmenge und der Verbindungsgeschwindigkeit kann diese Übertragung sehr lange dauern (Tage oder Wochen).

Um den Fortschritt zu überwachen, empfehlen wir, die Übertragung im Verbose-Modus von tmux aus zu starten, damit Sie den Prozess im Hintergrund ausführen und den Fortschritt bei Bedarf beobachten können.

Daten verschieben

Starten Sie die Übertragung im Verbose-Modus vom GNU-Bildschirm aus, damit Sie den Prozess im Hintergrund ausführen und den Fortschritt bei Bedarf beobachten können.

  1. Starten Sie eine TCP-Session, und geben Sie der Session einen Namen:
    $ tmux new -s<session name>
     
    Beispiel:
    $ tmux new -srclone
  2. Starten Sie im tmux-Terminalfenster Rclone im Verbose-Modus. Ersetzen Sie <destination_bucket> nach Bedarf. (Ein Bucket wird automatisch erstellt, wenn er noch nicht vorhanden ist.)
    $ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 copy $SOURCE oci:<destination_bucket>
  3. Während die Übertragung läuft, trennen Sie sich von tmux, indem Sie Strg+b d drücken
  4. Um zur tmux-Session zurückzukehren, um den Rclone zu überwachen, geben Sie Folgendes ein:
    $ tmux attach -d -t <session name>
     
    Beispiel:
    $ tmux attach -d -t rclone
  5. Wenn Sie den Tmux wieder trennen möchten, drücken Sie Strg+b d.

Hinweis:

Die optimale Anzahl an Cache-Workern und Übertragungen hängt von Ihrem spezifischen Anwendungsfall, der verfügbaren Bandbreite, den auf der Workstation oder dem Server verfügbaren Ressourcen und den von Ihrem Cloud-Provider angewendeten Throttling-Limits ab. Im Allgemeinen, je höher die Anzahl der Transfers und Cache-Mitarbeiter, desto schneller wird die Übertragung abgeschlossen. Aber ab einer bestimmten Anzahl können Sie Fehler bekommen. Wir empfehlen, dass Sie mit 64 gleichzeitigen Transfers und Cache-Mitarbeitern beginnen und die Anzahl nach Bedarf anpassen.

Stellen Sie nach Abschluss der Übertragung sicher, dass keine Fehler aufgetreten sind. Wenn Fehler auftreten, verringern Sie die Anzahl der Cache-Mitarbeiter und Transfers, und versuchen Sie es erneut.

Transfer prüfen

Unabhängig davon, wie Daten in Object Storage übertragen werden (ob von einem lokalen Dateisystem oder einem anderen Cloud-Provider oder auf andere Weise), können Sie mit rclone prüfen, ob die in Object Storage kopierten Daten mit der Quelle identisch sind. Sie können die Daten schnell oder gründlicher überprüfen.

Verwenden Sie die folgende Methode, um eine relativ schnelle Verifizierung durchzuführen:
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check $SOURCE oci:<destination_bucket> 

Diese Methode erkennt Unterschiede in den Quell- und Ziel-Buckets, indem Dateigrößen und MD5-Hashes überprüft werden. MD5-Hashes können jedoch nicht für Objekte verwendet werden, die mit Multipart-Uploads hochgeladen werden. Infolgedessen werden große Objekte nur durch den Vergleich ihrer Dateigrößen verifiziert, was nur eine flüchtige Verifizierung ermöglicht.

Um eine gründlichere Überprüfung durchzuführen, können Sie rclone anweisen, Dateien herunterzuladen und zu vergleichen:
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check --download $SOURCE oci:<destination_bucket>
Obwohl diese Methode einen gründlicheren Vergleich durchführt, müssen Kopien aus beiden Objektspeichern heruntergeladen werden.

Hinweis:

Wenn Sie eine Verifizierung mit Downloads durchführen, fallen je nachdem, wo Ihr Job ausgeführt wird, möglicherweise zusätzliche Datenübertragungsgebühren von Ihrem vorhandenen Cloud-Provider, Oracle oder beidem an.