Hinweis:

• Dieses Tutorial erfordert Zugriff auf Oracle Cloud. Informationen zum Registrieren eines kostenlosen Accounts finden Sie unter Erste Schritte mit Oracle Cloud Infrastructure Free Tier.
• Es verwendet Beispielwerte für Oracle Cloud Infrastructure-Zugangsdaten, -Mandanten und -Compartments. Wenn Sie Ihre Übung abgeschlossen haben, ersetzen Sie diese Werte durch spezifische Werte für Ihre Cloud-Umgebung.

Daten mit Rclone in Oracle Cloud Infrastructure Object Storage migrieren

Einführung

Oracle Cloud Infrastructure (OCI) Object Storage Service ist eine internetbasierte, leistungsstarke Speicherplattform, die zuverlässige und kostengünstige Dauerhaftigkeit von Daten bietet. Der Object Storage-Service kann eine unbegrenzte Menge unstrukturierter Daten eines beliebigen Inhaltstyps speichern. Dazu gehören Analysedaten und umfangreiche Inhalte, wie Bilder und Videos.

Rclone ist ein vielseitiges Befehlszeilenprogramm, das Dateien und Verzeichnisse mit und von verschiedenen Cloud-Speicherprovidern oder zwischen On Premise und Cloud synchronisiert. Rclone ist ein effektives Tool für die Migration von Daten in OCI Object Storage. Es ist bekannt für seine Einfachheit, Effizienz und breite Unterstützung für zahlreiche Cloud-Services, einschließlich OCI Object Storage. Rclone unterstützt die folgenden Features und Anwendungsfälle.

• Sichern (und verschlüsseln) Sie Dateien im Cloud-Speicher und stellen (und entschlüsseln) sie aus dem Cloud-Speicher wieder her.
• Multithreaded-Downloads auf lokale Datenträger können verwendet werden.
• Spiegeln Sie Clouddaten in andere Cloudservices oder lokal.
• Migrieren Sie Daten zu OCI oder zwischen Cloud-Speicheranbietern und OCI oder von On Premise zu OCI.
• Mounten Sie mehrere, verschlüsselte, zwischengespeicherte oder verschiedene Cloud-Speicher als Datenträger.
• Übertragungsvorgänge können jederzeit neu gestartet werden.
• Kopiervorgang neuer oder geänderter Dateien in OCI Object Storage.
• Synchronisierungsoption (eine Möglichkeit), um ein Verzeichnis identisch zu machen.
• Impliziert serverseitige Übertragungen, um die Nutzung der lokalen Bandbreite zu minimieren.
• Prüfen Sie auf fehlende Dateien zwischen Quell- und OCI Object Storage.
• Unterstützen Sie das Verschieben von Dateien in OCI Object Storage, indem Sie die Quell-/lokalen Dateien nach der Validierung/Verifizierung löschen.
• Behält Zeitstempel bei und prüft Prüfsummen.
• Es ist kein lokaler Datenträger oder eine lokale Kopie der Daten erforderlich.
• Mounten Sie ein beliebiges lokales, Cloud- oder virtuelles Dateisystem als Datenträger auf Windows-, MacOS-, Linux- und FreeBSD-Plattformen.
• Unterstützt SFTP-, HTTP-, WebDAV-, FTO- und DLNA-Protokolle.
• Übertragungen über begrenzte Bandbreite, intermittierende Verbindungen.

Rclone-Architektur - Überblick

Rclone-Architektur funktioniert in zwei verschiedenen Anwendungsfällen.

• Rclone als zentralisierte Lösung oder Gatewaylösung: Sie können Rclone in einem zentralen Speicherort oder Gateway von Oracle Linux 9 bereitstellen, Network File System-(NFS-) oder Server Message Block (SMB)Shares aus verschiedenen Betriebssystemen, Quellen oder Network Attached Storage-(NAS-)Appliances mounten und dann mit Rclone die Daten aus der lokalen Quelle in OCI Object Storage kopieren.

  

• Auf den NFS- oder SMB-Servern bereitgestellter Klon: Sie können Rclone direkt auf den NFS- oder SMB-Servern bereitstellen, um Daten aus der lokalen Quelle direkt in OCI Object Storage zu kopieren. Für dieses Modell ist es nicht erforderlich, dass Rclone auf einem Server an einem zentralen Ort ausgeführt wird.

  

Zielgruppe

Systemadministratoren, Anwendungsadministratoren, System- und Anwendungseigentümer, Datenbankeigentümer und Entwickler, die Daten in OCI Object Storage migrieren möchten.

Zielsetzung

• Daten effektiv mit Rclone in OCI Object Storage übertragen.

Voraussetzungen

• Oracle Linux 8- oder 9-Server oder ein Windows-Plattformserver.

  Hinweis: Rclone unterstützt mehrere Betriebssysteme. Weitere Informationen zu den aktuell unterstützten Betriebssystemen finden Sie in der Rclone-Installationsdokumentation.

• Zugriff auf einen Oracle Cloud Infrastructure-Account und eine OCI-Konsole.

• Eine OCI-Konfigurationsdatei. Weitere Informationen finden Sie unter SDK- und Konfigurationsdatei.

• Berechtigungen zum Verwalten von OCI Object Storage-Ressourcen. Weitere Informationen finden Sie unter Allgemeine Policys und in der Policy-Referenz.

• Ein OCI Object Storage-Bucket: Ein Bucket in OCI Object Storage, in dem Daten übertragen werden. Weitere Informationen finden Sie unter OCI-Objektspeicher-Bucket erstellen.

• Lokale Daten: Von einem lokalen Server, NFS oder SMB Shares.

• Rclone-Software.

• libsmbclient.x86_64: Unter Linux ist die neueste Version der SMB-Clientbibliothek erforderlich. Prüfen Sie die Version, und installieren Sie sie mit den folgenden Befehlen.

  

Aufgabe 1: Rclone unter Windows installieren

Hinweis: Wenn Sie Linux verwenden, fahren Sie mit Aufgabe 2 fort.

1. Laden Sie die neueste Version von Rclone für Windows herunter und installieren Sie sie. Weitere Informationen finden Sie unter Klonen.

2. Extrahieren Sie die Datei, und fügen Sie die extrahierte Datei der Windows-System-PATH-Umgebungsvariablen hinzu, um einen einfachen Befehlszeilenzugriff zu ermöglichen.

Aufgabe 2: Rclone unter Linux installieren

1. Die erste Methode besteht darin, ein curl-Installationsskript auszuführen. Führen Sie den folgenden curl-Befehl aus, um Rclone herunterzuladen und zu installieren.

   curl https://rclone.org/install.sh | sudo bash
   

   Oder

   Rclone-Installation über vorkompilierte Binärdateien. Laden Sie die vorkompilierte Binärdatei herunter.

   curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip 
   or
   wget https://downloads.rclone.org/rclone-current-linux-amd64.zip
   

   Hinweis: Wenn Sie den Rclone mit dem Befehl curl installiert haben, gehen Sie zu Aufgabe 3.

2. Dekomprimieren Sie die Binärdatei, und wechseln Sie in das Binärverzeichnis.

   unzip rclone-current-linux-amd64.zip
   cd rclone-*-linux-amd64
   

3. Kopieren Sie die Binärdatei in /usr/bin/, und legen Sie die Berechtigungen fest.

   cp rclone /usr/bin
   chown root:root /usr/bin/rclone
   chmod 755 /usr/bin/rclone
   

4. Installieren Sie die Rclone-Manpage.

   mkdir -p /usr/local/share/man/man1
   cp rclone.1 /usr/local/share/man/man1/
   mandb
   

   

Aufgabe 3: Rclone für OCI Object Storage konfigurieren

1. Öffnen Sie die Oracle Linux-CLI, und führen Sie den Befehl rclone config aus. Mit diesem Befehl wird ein interaktiver Setupprozess gestartet.

   

2. Erstellen Sie einen neuen Remote-Namen für OCI Object Storage, geben Sie n in das Menü ein, und geben Sie dann einen neuen Namen für die OCI-Remotekonfiguration ein (Beispiel: OCI-object-01).

   

3. Wählen Sie den Speichertyp aus, und wählen Sie die Nummer für Oracle Cloud Infrastructure Object Storage 34 aus.

   

4. Wählen Sie den Authentifizierungsprovider aus, der von Rclone verwendet werden soll. Beispiel: Wir verwenden die Option 2.

   

5. Geben Sie den Objektspeicher-Namespace, die Objektspeicher-Compartment-ID, die Objektspeicherregion und den Endpunkt für die Objektspeicher-API ein.

   

   Hinweis: Der Endpunkt für die Objektspeicher-API ist optional. Lassen Sie das Feld leer, um den Standardendpunkt für die Region zu verwenden.

6. Geben Sie den vollständigen Pfad für die OCI-Konfigurationsdatei und die config_profile-Informationen ein.

   

7. Die erweiterten Konfigurationsoptionen sind nicht erforderlich. Wählen Sie n, um die Standardparameter zu akzeptieren.

   

8. Wenn alles richtig aussieht, wird eine Zusammenfassung der Rclone-Konfiguration angezeigt. Wählen Sie y aus, um die Konfiguration zu speichern.

   

9. Führen Sie einen Verbindungstest mit dem OCI Object Storage-Bucket aus, bevor Sie mit dem Befehl rclone ls mit Migrations- und Bulk-Datenübertragungsaktivitäten fortfahren.

   rclone ls OCIStorage:your-bucket-name
   

Beispielmigration aus einem lokalen Linux-Verzeichnis

In diesem Beispiel verwenden wir das Verzeichnis /source als lokale Speicherquelle auf dem Oracle Linux-Server und einen OCI Object Storage-Bucket namens test-bucket als Ziel. Benutzer auf einer Windows-Plattform können folgen, indem sie einen Ordner mit dem Namen source erstellen und Dateien im Ordner erstellen, die in den OCI Object Storage-Bucket kopiert werden sollen.

1. Wir beginnen mit dem leeren OCI Object Storage-Bucket namens test-bucket.

   

   Hinweis: Buckets können mit der OCI-Konsole oder der OCI-CLI erstellt werden.

2. Das Verzeichnis /source enthält fünf Textdateien.

   

   Hinweis: Sie können Textdateien mit dem Befehl touch oder dem Editor Ihrer Einstellungen erstellen, wie vim. Wenn Sie die Windows-Plattform verwenden, können Sie Dateien mit Notepad in einem Ordner mit dem Namen source erstellen und die Befehle rclone weiter verwenden.

3. Verwenden Sie den Befehl rclone copy, um Daten aus dem Ordner /source auf dem Oracle Linux-Server in den OCI Object Storage-Bucket test-bucket zu übertragen.

   rclone copy /path/to/local/data OCIStorage:your-bucket-name
   

   Beispiel:

   rclone copy /source/ oci:test-bucket
   

4. Gehen Sie in der OCI-Konsole zur OCI Object Storage-Detailseite für den Bucket test-bucket. Der Bucket enthält jetzt die Textdateien, die aus dem Verzeichnis /source auf dem Oracle Linux-Server migriert wurden.

   

5. Löschen Sie alle Dateien im OCI Object Storage test-bucket mit dem Befehl rclone delete.

   rclone delete oci:test-bucket
   

6. Der folgende Beispielbefehl enthält erweiterte Optionen wie Multithread-Streams, Fortschritt der Datenübertragung, Puffergröße usw. Unter Erweiterte Rclone-Optionen erfahren Sie, welche Optionen am besten zu Ihrem Anwendungsfall passen.

   rclone -vvv --progress --stats-one-line --max-stats-groups 10 --log-format date,time,UTC,longfile --fast-list --buffer-size 256Mi --oos-no-check-bucket --oos-upload-cutoff 10Mi --multi-thread-cutoff 16Mi --multi-thread-streams 3000 --transfers 3000 --checkers 64 --retries 2 --oos-chunk-size 10Mi --oos-upload-concurrency 10000 --oos-attempt-resume-upload --oos-leave-parts-on-error sync /root/source/ oci:test-bucket
   

   Hinweis: Aktualisieren Sie Rclone regelmäßig, um die neuesten Features und Verbesserungen zu nutzen.

Verwandte Links

• OCI Object Storage

• Dokumentation zu OCI Object Storage

• Rclone für OCI Object Storage konfigurieren

• Daten mit Rclone in und aus OCI Object Storage kopieren

Danksagungen

• Autor - Anderson Souza (Leiter Produktmanagement)

Weitere Lernressourcen

Lernen Sie andere Übungen auf docs.oracle.com/learn kennen, oder greifen Sie auf weitere kostenlose Lerninhalte im Oracle Learning YouTube Channel zu. Besuchen Sie außerdem education.oracle.com/learning-explorer, um Oracle Learning Explorer zu werden.

Produktdokumentation finden Sie im Oracle Help Center.

---

Titel und Copyright-Informationen

Migrate Data to Oracle Cloud Infrastructure Object Storage Using Rclone

F91151-01

January 2024

Copyright © 2024, Oracle and/or its affiliates.