Oracle Cloud Infrastructure - Dokumentation

Daten an und aus File Storage übertragen

Viele häufige Anwendungsfälle für Oracle Cloud Infrastructure (OCI) File Storage umfassen die Übertragung einer großen Datenmenge. Je nach Herkunft, Ziel und Richtung der Datenübertragung kann die beste Methode für diese Übertragung variieren.

Die folgende Tabelle enthält Empfehlungen für gängige File Storage-Datenübertragungsszenarios, darunter die Migration von On-Premise-Daten, das Kopieren von File Storage-Daten von einer Region in eine andere, das Kopieren von File Storage-Daten innerhalb einer Region und das Kopieren von File Storage-Daten in Object Storage.

Allgemeine Informationen zu privaten Verbindungen zwischen OCI- und On-Premise-Daten finden Sie unter FastConnect und Site-to-Site-VPN.

Szenarios für File Storage-Datenübertragung
Daten übertragen von... Ziel Empfohlene Methode Voraussetzungen und Überlegungen
On-Premises-Speicher Dateispeicher auf OCI

Linux-Benutzer können Instanz-zu-Instanz-Streaming und das Tool fpsync verwenden.

Windows-Benutzer können die Windows-On-Premise-Dateifreigabe als CIFS-(Common Internet File System-)Freigabe auf einer OCI-Oracle Linux-Instanz mounten und Daten mit einem Kopiertool wie fss-parallel-tools oder fpsync übertragen.

Weitere Informationen finden Sie unter On-Premise-Daten in File Storage übertragen.

Stellen Sie sicher, dass die Netzwerkkonnektivität zwischen Quell- und Zielinstanzen hergestellt ist.
OCI File Storage File Storage in einer anderen Region

Verwenden Sie je nach Anwendungsfall eine der folgenden Methoden:

  1. Verwenden Sie File System Replication. Weitere Informationen finden Sie unter Replikation für Datenübertragung verwenden.

  2. Verwenden Sie Instanz-zu-Instanz-Streaming und das Tool fpsync. Weitere Informationen finden Sie unter Dateispeicherdaten mit Instanz-zu-Instanz-Streaming übertragen.

Wenn Sie die Replikation verwenden, lesen Sie die Einschränkungen und Überlegungen der Replikation.

Wenn Sie Instanz-zu-Instanz-Streaming verwenden, stellen Sie sicher, dass die Netzwerkkonnektivität zwischen Quell- und Zielinstanzen hergestellt wird.
OCI File Storage File Storage innerhalb derselben Availability-Domain

Verwenden Sie je nach Anwendungsfall eine der folgenden Methoden:

  1. Verwenden Sie File System Replication. Weitere Informationen finden Sie unter Replikation für Datenübertragung verwenden.

  2. Verwenden Sie den Befehl parcp in unserer Paralleltools-Suite, um Daten zu übertragen.

    Weitere Informationen finden Sie in den parcp-Verwendungsbeispielen unter File Storage Parallel Tools verwenden, insbesondere wie Sie parcp als effektive Alternative für rsync verwenden.

Wenn Sie die Replikation verwenden, lesen Sie die Einschränkungen und Überlegungen der Replikation.

Wenn Sie parcp verwenden, stellen Sie sicher, dass sowohl Quell- als auch Zieldateisysteme in der Instanz gemountet sind.
OCI File Storage OCI Object Storage

Verwenden Sie rclone. Weitere Informationen finden Sie unter Snapshots mit rclone in Object Storage sichern.

Die Instanz muss eine Verbindung zum Object Storage-Bucket herstellen können.

On-Premise-Daten in File Storage übertragen

Die folgenden Szenarios haben sich bei der Übertragung großer Datenmengen aus dem On-Premise-Speicher in OCI File Storage für Linux- und Windows-Benutzer als effektiv erwiesen. Möglicherweise sind sie nicht für alle Umgebungen anwendbar oder erfüllen alle Anforderungen.

Für Linux-Benutzer

Verwenden Sie das Tool fpsync, um eine erste Kopie von On-Premise-Daten in OCI File Storage auszuführen. Anschließend können inkrementelle Datenänderungen mit rsync synchronisiert werden, weil fpsync keine Dateien und Ordner im Ziel löschen kann, die nicht in der Quelle vorhanden sind.

Das Tool fpsync ist ein paralleler Wrapper von rsync. Linux-Benutzer können fpsync aus einem yum-Repository herunterladen. Die Befehle unterscheiden sich je nach Linux-Version.

  1. Aus dem Repository herunterladen.

    Linux 8-Benutzer können das Tool mit dem folgenden Befehl herunterladen:

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-8.noarch.rpm

    Linux 9-Benutzer können das Tool mit dem folgenden Befehl herunterladen:

    sudo yum install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-9.noarch.rpm
  2. Installieren Sie das Tool:
    sudo yum install fpart -y

Bevor Sie mit der Datenübertragung beginnen, müssen Sie folgende Voraussetzungen erfüllen:

  • Stellen Sie sicher, dass die Netzwerkkonnektivität zwischen der On-Premise-Datenquelle und OCI hergestellt wird. Verwenden Sie die FastConnect- oder Site-to-Site-VPN-Verbindung, um schnelles Instanz-zu-Instanz-Streaming über SSH zu ermöglichen.
  • Erstellen Sie eine Oracle Linux-Instanz in OCI.
  • Hängen Sie die On-Premise-Speicherfreigabe an, oder mounten Sie sie auf einem Linux-Server. Eine dedizierte Instanz wird empfohlen.

In diesem Szenario wird empfohlen, dass die erste Kopie fpsync verwendet. Später verwenden inkrementelle Synchronisierungen rsync, da fpsync die Option --delete nicht enthält.

  1. Dateisystem in der Oracle Linux-Instanz mounten.
  2. Führen Sie den folgenden Befehl auf dem On-Premise-Linux-Server aus, auf dem die Quellfreigabe angehängt oder gemountet ist, um die anfängliche Kopie auszuführen: 
    fpsync -vv -n `nproc` -f 2000 -o "-arxH --progress --log-file fpsync.log -e ssh" /<source>/ <user>@<oci_linux_instance>:/file_storage_destination/
  3. (Optional) Wenn Sie eine inkrementelle Synchronisierung bis zu einem bestimmten Datum ausführen müssen, können Sie den folgenden rsync-Befehl als Cron-Job planen: 
    rsync -arxH --delete --progress --log-file rsync.log -e ssh" /source/ <user>@<oci_linux_instance>:/file_storage_destination/
Weitere fpsync-Optionen finden Sie in der Manpage fpsync.

Für Windows-Benutzer

Verwenden Sie für große Datenkopien in File Storage keine Windows-Kopierprogramme. Verwenden Sie stattdessen eine OCI-Linux-Instanz, um große Kopien mit den Parallel File Tools auszuführen, die bei einer OCI-Linux-Instanz verfügbar sind. Mounten Sie die Windows-Freigabe als CIFS-(Common Internet File System-)Freigabe, und verwenden Sie ein Kopiertool wie parcp oder fpsync, um Daten zu übertragen.

Da das SMB-Protokoll und das von File Storage verwendete NFS-Protokoll nicht kompatibel sind, wird eine Instanz, die sowohl das NFS-Dateisystem als auch die SMB-Share mounten kann, verwendet, um eine Bridge zwischen beiden zu erstellen.

  1. Suchen oder erstellen Sie eine Linux-Instanz in Oracle Cloud Infrastructure, die sowohl Netzwerkzugriff auf das File Storage-Dateisystem als auch auf die Windows-SMB-Freigabe hat.
  2. Öffnen Sie ein Terminalfenster auf der Instanz.

  3. Geben Sie Folgendes ein, um das Common Internet File System-(CIFS-)Utility zu installieren und seine Installation zu überprüfen:

    $sudo yum install -y cifs-utils
$rpm -qa|grep cifs

  4. Mounten Sie die Windows-SMB-Freigabe als CIFS-Freigabe.

    1. Erstellen Sie ein Mount-Point-Verzeichnis. Beispiel:

      sudo mkdir /mnt/win_share

    2. Mounten Sie die CIFS-Freigabe:

      sudo mount -t cifs -o username=<win_share_user> //<win_IP_address/hostname>/<share_name> /mnt/<win_share_dir>

      Beispiel: 

      $sudo mount -t cifs -o username=opc //win2012/c /mnt/win_share
  5. Kopieren Sie mit dem parcp-Utility aus der File Storage Parallel Tools-Suite oder mit fpsync die Dateien aus der CIFS-Freigabe in das gemountete Dateisystem. Informationen zur Installation von parcp finden Sie unter File Storage Parallel Tools verwenden. Informationen zu fpsync finden Sie auf der Manpage zu fpsync.

    Beispiel:

    parcp -P 32 /mnt/win_share /mnt/MyFilesystem
    fpsync -v -n 8 -f 101 -o "-lptgoD -v --numeric-ids -e ssh" /mnt/win_share /mnt/MyFilesystem

File Storage-Daten mit Instanz-zu-Instanz-Streaming übertragen

Das Tool fpsync ist ein paralleler Wrapper von rsync. Mit fpsync und Instanz-zu-Instanz-Streaming können Sie Daten zwischen gemounteten File Storage-Dateisystemen übertragen.

Um fpsync zu installieren, aktivieren Sie das Oracle Linux-Entwickler-Repository, das das Utility fpsync enthält, mit einem Befehl wie dem folgenden auf der OCI-Instanz. Der Befehl unterscheidet sich basierend auf der verwendeten Oracle Linux-Version:

yum --enablerepo ol7_developer_EPEL install -y fpart
yum --enablerepo ol8_developer_EPEL install -y fpart

Verwenden Sie nach der Installation des Tools einen Instanz-zu-Instanz-Streamingbefehl wie diesen, um Daten zu streamen:

fpsync -o "-e ssh --progress" /<fss_src_region>/test <ssh_user>@<remote_ip>:/<fss_dest_region>/

Weitere Informationen und Optionen finden Sie auf der Manpage fpsync.

Beispiel für den Performanceunterschied zwischen den beiden Ansätzen:

# date; time fpsync -o "-e ssh --progress --log-file ~/speedtest.log" /fss_src_bom/test root@DR_hyd:/fss_dest_hyd/ ; date
Sun Mar 13 15:22:58 GMT 2022

real 0m1.467s
user 0m0.111s
sys 0m0.075s
Sun Mar 13 15:23:00 GMT 2022

# ls -ltrd test
drwxr-xr-x. 2 root root 1 Mar 13 15:22 test
# du -sh test
1001M test
# cp -r test test1

# date; time fpsync -o "--progress --log-file ~/speedtest1.log" /fss_src_bom/test1 /fss_dest_hyd/ ; date
Sun Mar 13 15:25:16 GMT 2022

real 1m28.847s
user 0m3.688s
sys 0m1.439s
Sun Mar 13 15:26:44 GMT 202