Utiliser les outils de migration pour déplacer des données vers les services de stockage cloud OCI

Introduction

Ce tutoriel 1 d'une série de quatre tutoriels présente différentes façons de migrer des données vers les services de stockage cloud Oracle Cloud Infrastructure (OCI). La série est configurée afin que vous puissiez consulter ce premier tutoriel pour obtenir une compréhension générale des différents outils, puis passer aux tutoriels ou documents connexes pertinents pour vos besoins de migration.

OCI fournit aux clients des options de calcul hautes performances et de stockage cloud à faible coût. Grâce au stockage local, d'objets, de fichiers, de blocs et d'archives à la demande, Oracle répond aux principaux besoins et cas d'emploi en matière de charge de travail de stockage.

Les services de stockage cloud OCI offrent des options de stockage cloud rapides, sécurisées et durables pour tous les besoins de votre entreprise. En commençant par les options hautes performances telles qu'OCI File Storage with Lustre et le service OCI Block Volumes ; les systèmes de fichiers à l'échelle exaoctet entièrement gérés à partir du service OCI File Storage avec des cibles de montage hautes performances ; vers OCI Object Storage hautement durable et évolutif. Nos solutions peuvent répondre à vos demandes, allant des applications exigeantes en performances telles que les charges de travail d'IA/ML aux lacs de données à l'échelle de l'exaoctet.

De nombreux clients ont besoin de transférer des données vers le service de stockage cloud OCI à partir d'un site, d'un autre fournisseur ou entre les services de stockage cloud OCI. En fonction de l'origine, de la destination et de la direction du transfert de données, la meilleure méthode pour effectuer la migration peut varier. Une fois que vous avez identifié les bases de la source de données et de la destination dans OCI, vous devez décider d'un chemin de migration et des outils à utiliser. Laissez notre expérience pratique vous guider vers le bon outil de migration et comment l'utiliser. Ce tutoriel 1 d'une série vous présente les différents outils et les éléments les plus adaptés au processus de migration.

Déterminez la quantité de données à migrer et le temps d'inactivité disponible pour le basculement vers la nouvelle plate-forme de stockage OCI. Les migrations par lots sont un bon choix pour décomposer la migration en incréments gérables. Les migrations par lots vous permettront de programmer des temps d'arrêt pour des applications spécifiques dans différentes fenêtres. Certains clients ont la possibilité d'effectuer une migration ponctuelle sur une fenêtre de maintenance programmée sur 2 à 4 jours. OCI FastConnect peut être utilisé pour créer une connexion privée dédiée entre OCI et votre environnement, avec des vitesses de port de 1G à 400G pour accélérer le processus de transfert de données. OCI FastConnect peut être intégré à des solutions partenaires telles que Megaport et ConsoleConnect pour créer une connexion privée à votre centre de données ou une interconnexion cloud-cloud afin de déplacer les données plus directement d'un autre fournisseur cloud vers le service de stockage cloud OCI. Pour plus d'informations, reportez-vous à Intégration de FastConnect avec Megaport Cloud Router.

Public

DevOps ingénieurs, développeurs, administrateurs et utilisateurs du stockage cloud OCI, responsables informatiques, superutilisateurs OCI et administrateurs d'application.

Objectifs

Découvrez comment utiliser divers outils pour copier et synchroniser des données dans les services de stockage cloud OCI :

Prérequis

Outils de migration

Notre expérience client et nos tests peuvent vous aider à déterminer l'outil de migration qui correspond le mieux à votre scénario. Nous vous encourageons à faire une preuve de concept et des tests sur des exemples d'ensembles de données afin de vérifier la meilleure méthode de migration pour votre ensemble de données. Nous explorerons les outils de migration courants disponibles pour migrer les données des fournisseurs cloud sur site et autres vers OCI ou dans les services de stockage cloud OCI. Les résultats des tests sont partagés à partir d'ensembles de données échantillon afin que vous puissiez extrapoler la façon dont les outils peuvent fonctionner sur votre ensemble de données.

Le bon outil pour le travail

Il existe de nombreux outils à choisir lors d'une migration, et il peut être écrasant de les rechercher tous en même temps. En fonction de l'origine, de la destination, de la direction de la migration, de l'expérience utilisateur et de l'environnement utilisateur, le meilleur outil de migration variera.

Le tableau suivant fournit des recommandations pour les scénarios de migration courants, notamment la migration des données sur site, la migration des données d'un autre fournisseur cloud vers OCI, la copie des données de stockage cloud OCI d'une région à une autre, la copie des données de stockage cloud OCI au sein d'une région et la copie des données OCI File Storage vers OCI Object Storage.

Migrer les données depuis Migrer les données vers Outil(s) recommandé(s) Remarques  Liens Documentation/Tutoriel
Système de fichiers on-premise OCI Object Storage 1. s5cmd (petits fichiers/mixtes)
2. OCI Object Storage Sync (peu de fichiers volumineux)
3. Rclone (mélangé)
4. Resilio Active partout		 Utilisez le meilleur outil pour vos structures de données et vous sentez à l'aise. FastConnect doit être examiné pour améliorer le temps de transfert. Tutoriel S5cmd et Object Storage Sync,
Tutoriel Rclone,
Resilio Active Anywhere
Autre objet fournisseur cloud ou stockage BLOB OCI Object Storage 1. Flexifier les E/S
2. Rclone		 Utilisez Flexify IO pour les fournisseurs compatibles S3 et lorsqu'une interface graphique prise en charge est souhaitée.
Utilisez Rclone lorsque vous êtes à l'aise d'expérimenter et de basculer entre différents paramètres et pour le support le plus compatible de plus de 70 fournisseurs de cloud différents (stockage d'objets compatible S3 et non compatible S3).		 Flexifier la migration des E/S entre les clouds, tutoriel sur le clonage
OCI Object Storage OCI Object Storage dans une autre région 1. Réplication d'objets
2. API Python de copie en masse d'OCI Object Storage
3. Flexifier les E/S
4. Rclone		 L'utilisation de la réplication d'objet native est idéale pour une réplique exacte d'un nouveau bucket actuellement vide. Utilisez l'API Python de copie en masse OCI Object Storage, Flexify IO ou Rclone pour initialiser des copies d'un bucket source qui comporte déjà des objets ou lorsque vous souhaitez conserver des objets sur la destination. Documentation sur la réplication Object Storage,
Utilisation des utilitaires Python Oracle Cloud Infrastructure Object Storage pour les opérations en masse,
Flexify IO,
Tutoriel sur le clonage
OCI Object Storage OCI Object Storage dans une autre location (même région ou autre) 1. API Python de copie en masse d'OCI Object Storage
2. Flexifier les E/S
3. Rclone		 Prérequis pour l'API Python de copie en masse OCI Object Storage : utilisez des stratégies IAM inter-location pour activer les copies inter-location. Pour plus d'informations, reportez-vous à Accès aux ressources Object Storage dans les locations. Utilisation des utilitaires Python Oracle Cloud Infrastructure Object Storage pour les opérations en masse,
Flexifier les E/S,
Tutoriel sur le clonage
OCI File Storage OCI Object Storage 1. s5cmd (petits fichiers/mixtes)
2. Object Storage Sync (peu de fichiers volumineux)
3. Rclone (mélangé)
4. Resilio Active partout		 Utilisez le meilleur outil pour vos structures de données et vous sentez à l'aise. Tutoriel S5cmd et Object Storage Sync,
Tutoriel Rclone,
Resilio Active Anywhere
Système de fichiers on-premise OCI File Storage 1. fpsync (Linux) et CIFS + fpsync (Windows)
2. Resilio Active partout		 Assurez-vous que la connectivité réseau est établie entre les instances source et de destination. Documentation Fpsync,
Tutoriel fpsync,
Resilio Active Anywhere
Disque local ou stockage de fichiers d'un autre fournisseur cloud OCI File Storage 1. fpsync (Linux) et CIFS + fpsync (Windows)
2. Resilio Active partout		 Assurez-vous que la connectivité réseau est établie entre les instances source et de destination. FastConnect doit être examiné pour améliorer le temps de transfert. Documentation Fpsync,
Tutoriel fpsync,
Resilio Active Anywhere
OCI File Storage OCI File Storage dans une autre région 1. Réplication de système de fichiers
2. fpsync avec transmission en continu d'instance à instance
3. Resilio Active partout		 Si vous utilisez la réplication, reportez-vous aux limites et remarques de la réplication ou si vous utilisez la transmission en continu d'instance à instance, assurez-vous que la connectivité réseau est établie entre les instances source et de destination. Documentation Fpsync,
Tutoriel fpsync,
Documentation sur la réplication du système de fichiers,
Resilio Active Anywhere
OCI File Storage OCI File Storage dans le même domaine de disponibilité 1. Réplication du système de fichiers
2. Utilisation des outils de fichier parallèles pour File Storage : parcp
3. Resilio Active partout		 Si vous utilisez la réplication, reportez-vous aux limites et remarques de la réplication ou si vous utilisez parcp, assurez-vous que les systèmes de fichiers source et de destination sont montés dans l'instance. Réplication de système de fichiers,
Utilisation des outils parallèles File Storage : parcp,
Resilio Active Anywhere
Sur site, un autre fournisseur cloud OCI Object Storage ou OCI File Storage Plateforme Resilio Active Anywhere Utilisez la plate-forme Resilio Active Anywhere lorsque vous avez besoin d'une synchronisation multidirectionnelle des données, d'un service de gant blanc avec prise en charge et d'une interface graphique. Resilio a été vérifié par l'équipe produit du service de stockage cloud OCI et est disponible sur Oracle Cloud Marketplace. Pour plus d'informations sur l'utilisation de leur plate-forme, contactez l'équipe Resilio.

Remarque : la série d'outils de migration ne couvre pas OCI Object Storage ou OCI File System Replication, OCI Object Storage Bulk Copy Python API, Flexify et Resilio. Pour plus d'informations, reportez-vous aux liens connexes.

Etapes suivantes

Passez aux tutoriels connexes correspondant à vos besoins en matière de migration. Pour déplacer des données vers les services de stockage cloud OCI, procédez comme suit :

(Facultatif) Environnements de test

Les recommandations sont basées sur les tests et les interactions avec les clients.

Environnement de test 1:

1 instance de machine virtuelle VM.Standard.E4.Flex, 1 OCPU, 1Gbps bande passante réseau, 16 Go de mémoire. Pour simuler une migration sur site vers OCI, les données ont été copiées de PHX NFS vers IAD.

Ensembles de données

Taille totale de l'ensemble de données : 3 To, avec 3 fichiers, chaque fichier 1 To.

Méthode De Temps Commande Indicateurs
synchronisation os NFS/File PHX vers Object IAD 123m17.102s S/O --parallel-operations-count 100
s5cmd NFS/File PHX vers Object IAD 239m20.625s copier run commands.txt, exécution par défaut --numworkers 256
rclone NFS/File PHX vers Object IAD 178m27.101s copier --transfers=100 --oos-no-check-bucket --fast-list --checkers 64 --retries 2 --no-check-dest

Remarque : nos tests ont montré que os sync fonctionnait le plus rapidement pour cet ensemble de données.

Taille totale de l'ensemble de données : 9.787GB, avec 20 000 fichiers, chaque fichier 20 Mo

Méthode De Temps Commande Indicateurs
s5cmd NFS/File PHX vers Object IAD 1m12.746s copier exécution par défaut --numworkers 256
synchronisation os NFS/File PHX vers Object IAD 2m48.742s S/O --parallel-operations-count 1000
rclone NFS/File PHX vers Object IAD 1m52.886s copier --transfers=500 --oos-no-check-bucket --no-check-dest

Remarque : nos tests ont montré que s5cmd était le plus performant pour cet ensemble de données.

Environnement de test 2:

Instances de machine virtuelle : 2 instances de machine virtuelle ont été utilisées pour chaque test. Nous avons utilisé une valeur VM.Standard.E4.Flex avec 24 OCPU, 24Gbps bande passante réseau, 384 Go de mémoire. Oracle Linux 8 a été utilisé pour les tests Linux. L'E/S Flexify n'utilise pas les instances de machine virtuelle.

Jeux de données utilisés dans le test : 14 répertoires principaux avec le nombre et les tailles de fichier suivants, totalisant 2.25TiB.

Répertoire du jeu de données Taille Nombre de fichiers Taille de chaque fichier
Répertoire 1 107.658 Gio 110 242 1 Mio
Répertoire 2 1.687 Gio 110 569 15 Mio
Répertoire 3 222 Gio 111 2 Gio
Répertoire 4 1.265 Tio 1 295 1 Gio
Répertoire 5 26.359 Gio 1 687 16 Mio
Répertoire 6 105.281 Mio 26 952 4 kio
Répertoire 7 29.697 Mio 30 410 1 kio
Répertoire 8 83.124 Gio 340 488 256 kio
Répertoire 9 21.662 Gio 354 909 64 kio
Répertoire 10 142.629 Gio 36 514 4 Mio
Répertoire 11 452.328 Mio 57 898 8 Mio
Répertoire 12 144 Gio 72 2Gio
Répertoire 13 208.500 Gio 834 256 Mio
Répertoire 14 54.688 Gio 875 64 Mio

Remarque :

Méthode De Temps Commande Indicateurs/Notes
s5cmd NFS/File PHX vers Object IAD 54m41.814s copier --numworkers 74
synchronisation os NFS/File PHX vers Object IAD 65m43.200s S/O --parallel-operations-count 50
rclone NFS/File PHX vers Object IAD 111m59.704s copier --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 50
rclone Objet PHX vers objet IAD 28m55.663s copier --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 400, même commande exécutée sur 2 machines virtuelles pour une simultanéité de 800 transferts
Script de copie en masse python Objet PHX vers objet IAD 25m43.715s Par défaut 1 machine virtuelle, 50 salariés, 100 000 fichiers mis en file d'attente à la fois
Flexibilité des E/S Objet PHX vers objet IAD 20m27s copier Valeur par défaut : 10 moteurs/emplacements
Flexibilité des E/S Objet PHX vers objet IAD 16m12s copier 20 moteurs / emplacements, cela peut être relevé via "Paramètres avancés"

Les commandes s5cmd et os sync fonctionnent bien sur le système de fichiers/NFS vers le stockage d'objets. Le script d'E/S flexible et de copie en masse se concentre uniquement sur les transferts de stockage d'objets (de bucket à bucket) et n'a pas été testé pour la migration NFS.

Seuls Flexify IO,rclone et le script de copie en masse python sont capables d'effectuer des transferts de bucket à bucket entre les régions, de sorte que les autres outils n'ont pas été testés pour cela. Flexify IO offre les meilleures performances pour les migrations de stockage d'objets entre les régions. Le script de copie en masse python s'exécute mieux que rclone. Il est important de noter que Flexify IO fonctionne pour le stockage d'objets compatible S3, que le script de copie en masse python fonctionne uniquement avec OCI Object Storage et que rclone prend en charge de nombreux back-ends et fournisseurs cloud.

De petites exécutions de test ont été effectuées à l'aide de rclone pour transférer des données de Microsoft Azure Blob Storage, d'Amazon Simple Storage Service (Amazon S3) et de Google Cloud Platform Cloud Storage vers OCI Object Storage afin de vérifier que l'outil fonctionne pour ces types de transfert. Pour plus d'informations, reportez-vous à Déplacement de données vers le stockage d'objets dans le cloud en utilisant Rclone.

FlexifyIO a été utilisé pour migrer cet ensemble de données d'AWS us-east-2 vers la région OCI Ashburn et n'a utilisé que 23m51s pour 2.25TiB à l'aide de la valeur par défaut de 10 moteurs/emplacements. Des moteurs/emplacements supplémentaires ont pu être ajoutés pour des performances plus rapides.

Environnement de test 3:

Instances de machine virtuelle : 1 à 2 instances de machine virtuelle ont été utilisées pour chaque test. Nous avons utilisé une valeur VM.Standard.E4.Flex avec 24 OCPU, 24Gbps bande passante réseau et 384 Go de mémoire. Oracle Linux 8 a été utilisé pour les tests Linux. Tous les tests étaient bucket-to-bucket. L'E/S Flexify n'utilise pas les instances de machine virtuelle.

Taille totale Nombre de fichiers Plage de tailles de fichier
7.74 Tio 1 000 000 30 Mio
Méthode De Temps Commande Indicateurs Remarques   
rclone Objet IAD -> Objet IAD 18h39m11.4s copier --oos-no-check-bucket --fast-list --no-traverse --transfers 500 --oos-chunk-size 10Mi 1 machine virtuelle, très lente en raison du nombre élevé de fichiers et de la liste des appels à la source  
rclone Objet IAD -> Objet IAD 55m8.431s copier --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 machines virtuelles, 500 transferts par machine virtuelle, liste d'objets/fichiers alimentés en 1 000 fichiers à la fois, empêche l'établissement de listes sur la source et la destination et améliore les performances  
Script de copie en masse python Objet IAD -> Objet IAD 28m21.013s S/O Par défaut 1 machine virtuelle, 50 salariés, 100 000 fichiers mis en file d'attente à la fois  
Script de copie en masse python Objet IAD -> Objet IAD S/O S/O Par défaut 2 machines virtuelles, 50 processus par machine virtuelle, 100 000 fichiers mis en file d'attente à la fois. 429 erreurs reçues, script bloqué et impossible de terminer  
Flexibilité des E/S Objet IAD -> Objet IAD 39m19s copier Par défaut Valeur par défaut : 10 moteurs/emplacements  
Flexibilité des E/S Objet IAD -> Objet IAD 21m37s copier 20 moteurs/emplacements Défini sur 20 moteurs/emplacements, cela peut être relevé via "Paramètres avancés"  
s5cmd Objet IAD -> Objet IAD 14m10.864s copier Valeurs par défaut (256 salariés) 1 machine virtuelle S/O
s5cmd Objet IAD -> Objet IAD 7m50.013s copier Valeurs par défaut 2 machines virtuelles, 256 salariés par machine virtuelle Ran en environ la moitié du temps en tant que 1 VM
s5cmd Objet IAD -> Objet IAD 3m23.382s copier --numworkers 1000 1 machine virtuelle, 1000 processus actifs Lors de plusieurs tests, nous avons constaté qu'il s'agissait de l'exécution optimale pour cet ensemble de données avec s5cmd
rclone Objet IAD -> Objet PHX 184m36.536s copier --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 machines virtuelles, 500 transferts par machine virtuelle, liste d'objets/fichiers alimentés en 1 000 fichiers à la fois  
Script de copie en masse python Objet IAD -> Objet PHX 35m31.633s S/O Par défaut 1VM, 50 salariés, 100 000 fichiers mis en file d'attente à la fois  
Flexibilité des E/S Objet IAD -> Objet PHX 21m17s copier 20 moteurs/emplacements Défini sur 20 moteurs/emplacements, cela peut être relevé via "Paramètres avancés"  

La commande s5cmd s'est exécutée de manière optimale pour le nombre de fichiers volumineux et les petits fichiers. s5cmd est limité car il peut uniquement effectuer des copies de bucket à bucket au sein de la même location et de la même région.

Flexify IO est l'outil recommandé pour cet ensemble de données de migration car il fonctionne bien et prend en charge différents types de stockage d'objet compatibles S3. Temps de migration arrêté après augmentation du nombre de moteurs/d'emplacements pour les E/S Flexify.

Des améliorations importantes sont apportées à rclone une fois que les fichiers sont transmis à la commande et lors du redimensionnement vers une autre machine virtuelle. Rclone peut fonctionner plus lentement que d'autres outils, mais il est le plus polyvalent dans les différentes plates-formes qu'il prend en charge et les types de migrations qu'il peut effectuer.

L'API Python de copie en masse OCI Object Storage ne peut utiliser que l'API CopyObject native OCI et ne peut obtenir qu'une simultanéité de 50 processus avant d'être ralentie, elle fonctionne généralement assez bien pour cet ensemble de données.

Les tests pour IAD à PHX n'ont été effectués que sur ce qui fonctionnait le mieux dans IAD à IAD et les tests problématiques n'ont pas été réexécutés. s5cmd n'a pas été exécuté pour IAD vers PHX car il peut uniquement effectuer des copies de bucket à bucket dans la même région.

Accusés de réception

Ressources de formation supplémentaires

Explorez d'autres ateliers sur le site docs.oracle.com/learn ou accédez à d'autres contenus d'apprentissage gratuits sur le canal Oracle Learning YouTube. En outre, visitez le site education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir de la documentation sur le produit, consultez Oracle Help Center.