Déplacement de données vers et depuis Object Storage

Découvrez comment déplacer vos données entre Object Storage et d'autres systèmes d'hébergement de données.

Utilisez l'outil Rclone pour synchroniser les fichiers et les répertoires entre un bucket Object Storage et d'autres fournisseurs de stockage cloud, ou entre un bucket Object Storage et des systèmes on-premise. Rclone est réputé pour sa simplicité, son efficacité et sa prise en charge étendue de nombreux services cloud, notamment Object Storage. Pour plus d'informations, reportez-vous à Rclone.

Prérequis

L'installation et l'utilisation de Rclone ont les prérequis suivants :

  • Vous devez être autorisé à créer et modifier des fichiers, à créer des répertoires et des dossiers, à exécuter des commandes et à installer des logiciels sur votre ordinateur portable ou votre poste de travail.
  • Vous devez avoir accès à Object Storage et au stockage cloud cible.

Installation de Rclone

Si vous disposez déjà d'un environnement réseau configuré dans votre location avec VCN et les réseaux, et que vous pouvez lancer des instances de calcul, vous pouvez exécuter cet atelier sur une instance OCI Compute. Nous vous recommandons d'utiliser Oracle Linux.

Systèmes Linux et BSD

Ouvrez un terminal et exécutez la commande suivante :

sudo -v ; curl https://rclone.org/install.sh | sudo bash

Fenêtres

Téléchargez le fichier d'installation approprié pour le type de processeur :

Extrayez le fichier et ajoutez l'emplacement final du fichier exécutable Rclone (.exe) à la variable d'environnement PATH du système Windows pour faciliter l'accès à la ligne de commande.

Mac OS

Ouvrez une fenêtre de terminal et installez Rclone sur Mac OS X à l'aide de Homebrew :

brew update && brew install rclone

Installation de l'interface de ligne de commande OCI

L'utilisation de l'interface de ligne de commande OCI est requise pour utiliser Rclone afin de déplacer vos données vers et depuis Object Storage. Pour configurer l'interface de ligne de commande OCI sur votre ordinateur, reportez-vous à Installation de l'interface de ligne de commande.

Configuration de Rclone

  1. Enregistrez le chemin d'accès complet au fichier de configuration de l'interface de ligne de commande OCI, nommé config.
    L'emplacement de ce fichier de configuration est généralement le répertoire .oci sous votre répertoire de base. Par exemple :
    <home>/opc/.oci/config

    Sous Windows, le fichier de configuration de la CLI se trouve à l'emplacement suivant :

    %HOMEDRIVE%%HOMEPATH%\.oci
  2. Ouvrez le fichier de configuration de l'interface de ligne de commande et enregistrez le nom de région et l'OCID de location.
    L'exemple suivant montre l'apparence du fichier de configuration de l'interface de ligne de commande avec l'OCID utilisateur, l'empreinte de clé d'API, l'OCID de location, la région d'origine et le chemin d'accès Key_file de l'API privée :
    [DEFAULT]
    user=ocid1.user.oc1..exampleuniqueID
    fingerprint=60:09:0a:00:ab:60:a0:00:0c:00:0c:16:d0:00:09:0a
    tenancy=ocid1.tenancy.oc1..exampleuniqueID
    region=us-ashburn-1
    key_aile=/Users/<username>/.oci/oci_api_key.pem
  3. Exécutez la commande d'interface de ligne de commande suivante pour obtenir l'espace de noms de location :
    oci os ns get

    Vous aurez besoin de cet espace de noms plus loin dans les étapes.

  4. Créez le répertoire qui contiendra le fichier de configuration Rclone (rclone.conf) que vous allez créer ultérieurement.
    Par exemple :
    <home>/.config/rclone/
    Sous Windows, créez le répertoire suivant :
    C:\Users\<username>\config\rclone
  5. Accédez au répertoire Rclone que vous avez créé.
  6. A l'aide de votre éditeur de texte favori, créez un fichier nommé rclone.conf contenant le contenu suivant :
    [oci]
    type = oracleobjectstorage
    provider = user_principal_auth
    namespace = <namespace>
    compartment = <tenancy_or_compartment_OCID>
    region = <oci_region>
    config_file = <path_to_cli_configuration_file>

    La première ligne entre crochets ([oci]) est le nom de remote. Dans cet exemple, oci est utilisé pour identifier le distant en tant qu'Oracle Cloud Infrastructure. Vous référencez ce nom distant lors de la création de commandes Rclone.

    L'exemple suivant montre à quoi pourrait ressembler le fichier rclone.conf avec des données réelles :

    [oci]
    type = oracleobjectstorage
    provider = user_principal_auth
    namespace = ns1
    compartment = ocid1.tenancy.oc1..exampleuniqueID
    region = us-ashburn-1
    config_file = /Users/username/.oci/config
    
  7. Exécutez la commande Rclone suivante pour obtenir des informations sur les fournisseurs cible potentiels pour les données que vous déplacez hors d'OCI Object Storage :
    rclone config

    L'exécution de rclone config gère la configuration des télécommandes, ce qui vous permet de vous connecter et d'interagir avec divers services de stockage cloud et d'autres emplacements. Il vous aide à configurer, mettre à jour et gérer les connexions à ces services en stockant les informations d'identification et les paramètres nécessaires dans un fichier de configuration.

  8. Ajoutez une autre entrée au fichier rclone.conf pour indiquer le fournisseur cible des données Object Storage en cours de déplacement à l'aide des informations obtenues à partir de l'exécution de rclone config.

Copier des données à partir d'OCI Object Storage

Copiez les données du bucket Object Storage contenant vos données vers l'emplacement cible.

Autres fournisseurs cloud

Contactez le fournisseur cloud ou consultez le site https://rclone.org/ pour plus d'informations sur la copie de données d'un bucket Object Storage vers le bucket d'un autre cloud.

Sur site

Exécutez la commande suivante pour copier des données vers un système de fichiers local sur site :

rclone copy --progress --transfers=20 oci:<oci_bucket> /<local_filesystem_or_nfs_mount>