Utiliser les outils de migration pour déplacer des données vers les services de stockage en nuage pour OCI

Présentation

Il s'agit du tutoriel 1 d'une série de quatre tutoriels qui vous montrent différentes façons de migrer des données vers les services de stockage en nuage d'Oracle Cloud Infrastructure (OCI). La série est configurée pour que vous puissiez consulter ce premier tutoriel afin de mieux comprendre les différents outils, puis passer aux tutoriels ou documents connexes pertinents à vos besoins de migration.

OCI offre aux clients des options de calcul haute performance et de stockage infonuagique à faible coût. Grâce au stockage sur demande local, d'objet, de fichier, de blocs et d'archives, Oracle répond aux exigences clés en matière de charge de travail de stockage et aux cas d'utilisation.

Les services de stockage en nuage OCI offrent des options de stockage en nuage rapides, sécurisées et durables pour tous vos besoins d'entreprise. En commençant par les options de haute performance telles que le service OCI File Storage with Lustre et le service OCI Block Volumes; les systèmes de fichiers à l'échelle de l'exaoctet entièrement gérés à partir du service OCI File Storage avec des cibles de montage haute performance; vers le service OCI Object Storage hautement durable et évolutif. Nos solutions peuvent répondre à vos demandes, qu'il s'agisse d'applications exigeantes en matière de performance telles que les charges de travail d'intelligence artificielle et d'apprentissage automatique, ou de lacs de données à l'échelle d'exaoctets.

De nombreux clients trouvent qu'il est nécessaire de transférer des données vers le service de stockage en nuage OCI à partir d'un emplacement sur place, d'un autre fournisseur ou entre les services de stockage en nuage OCI. En fonction de l'origine, de la destination et du sens du transfert de données, la meilleure méthode pour effectuer la migration peut varier. Une fois que vous aurez identifié les bases de la source de données et de la destination dans OCI, vous devrez décider d'un chemin de migration et des outils à utiliser. Laissez notre expérience pratique vous guider vers le bon outil de migration et comment l'utiliser. Ce tutoriel 1 d'une série pour vous présenter divers outils et où ils pourraient s'intégrer le mieux dans le processus de migration.

Déterminez la quantité de données à migrer et le temps d'arrêt disponible pour la mise en service vers la nouvelle plate-forme de stockage OCI. Les migrations par lots sont un bon choix pour diviser la migration en incréments gérables. Les migrations par lots vous permettront de programmer des temps d'arrêt pour des applications spécifiques dans différentes fenêtres. Certains clients peuvent effectuer une migration ponctuelle sur une fenêtre de maintenance programmée sur une période de 2 à 4 jours. OCI FastConnect peut être utilisé pour créer une connexion privée dédiée entre OCI et votre environnement, avec des vitesses de port de 1G à 400G pour accélérer le processus de transfert de données. OCI FastConnect peut être intégré à des solutions de partenaires telles que Megaport et ConsoleConnect pour créer une connexion privée à votre centre de données ou une interconnexion entre le nuage et le nuage afin de déplacer des données plus directement d'un autre fournisseur de services en nuage vers le service de stockage en nuage OCI. Pour plus d'informations, voir Intégration à FastConnect avec le routeur Megaport Cloud.

Public cible

ingénieurs, développeurs DevOps, administrateurs et utilisateurs du stockage en nuage OCI, gestionnaires des TI, utilisateurs expérimentés OCI et administrateurs d'applications.

Objectifs

Apprenez comment utiliser divers outils pour copier et synchroniser des données dans les services de stockage en nuage OCI :

Conditions requises

Outils de migration

Notre expérience client et nos tests peuvent vous aider à déterminer l'outil de migration le mieux adapté à votre scénario. Nous vous encourageons à effectuer une démonstration de faisabilité et des tests sur des exemples de jeux de données afin de vérifier la meilleure méthode de migration pour votre jeu de données. Nous explorerons les outils de migration courants disponibles pour migrer des données de fournisseurs sur place et d'autres fournisseurs de services en nuage vers OCI ou dans les services de stockage en nuage OCI. Les résultats des tests sont partagés à partir d'exemples de jeux de données afin que vous puissiez extrapoler les performances des outils sur votre jeu de données.

Le bon outil pour le travail

Il y a beaucoup d'outils à choisir lors d'une migration, et il peut être écrasant de les rechercher tous en même temps. En fonction de l'origine, de la destination, de la direction de la migration, de l'expérience utilisateur et de l'environnement de l'utilisateur, le meilleur outil de migration variera.

Le tableau suivant fournit des recommandations pour les scénarios de migration courants, notamment la migration des données sur place, la migration des données d'un autre fournisseur de services en nuage vers OCI, la copie des données de stockage en nuage OCI d'une région vers une autre, la copie des données de stockage en nuage OCI dans une région et la copie des données de stockage de fichiers OCI vers le stockage d'objets OCI.

Migrer les données depuis Migrer les données vers Outil(s) recommandé(s) Notes Liens Documentation/Tutoriel
Système de fichiers sur place Service de stockage d'objets pour OCI 1. s5cmd (petits fichiers/fichiers mixtes)
2. OCI Object Storage Sync (quelques fichiers volumineux)
3. Rclone (mixte)
4. Resilio actif partout		 Utilisez l'outil le mieux adapté à vos structures de données et vous sentez à l'aise de l'utiliser. FastConnect doit être révisée afin d'améliorer le temps de transfert. S5cmd et le tutoriel sur la synchronisation du stockage d'objets,
Tutoriel sur le clonage,
Resilio Active Anywhere
Autre objet de fournisseur en nuage ou stockage BLOB Service de stockage d'objets pour OCI 1. Flexifier les E/S
2. Rclone		 Utilisez Flexify IO pour les fournisseurs compatibles S3 et lorsqu'une interface graphique prise en charge est souhaitée.
Utilisez Rclone lorsque vous êtes à l'aise pour expérimenter et basculer divers paramètres et pour la prise en charge la plus compatible de plus de 70 fournisseurs de nuage différents (stockage d'objets compatible S3 et non compatible S3).		 Flexifier la migration des E/S entre les nuages, Tutoriel sur le clonage
Service de stockage d'objets pour OCI OCI Object Storage dans une autre région 1. Réplication d'objet
2. API Python de copie en masse du service de stockage d'objets pour OCI
3. Flexifier les E/S
4. Rclone		 L'utilisation de la réplication d'objet native est appropriée pour une réplique exacte d'un nouveau seau actuellement vide. Utilisez l'API Python de copie en masse du service de stockage d'objets pour OCI, Flexify IO ou Rclone pour initialiser les copies d'un seau source qui contient déjà des objets ou lorsque vous voulez conserver des objets sur la destination. Documentation sur Object Storage Replication,
Utiliser les utilitaires Python d'Oracle Cloud Infrastructure Object Storage pour les opérations en masse,
Flexify IO,
Tutoriel Clone
Service de stockage d'objets pour OCI OCI Object Storage dans une autre location (même région ou région différente) 1. API Python de copie en masse du service de stockage d'objets pour OCI
2. Flexifier les E/S
3. Rclone		 Prérequis pour l'API Python de copie en masse du service de stockage d'objets pour OCI : Utilisez des politiques IAM interlocation pour activer les copies interlocation. Pour plus d'informations, voir Accès aux ressources de stockage d'objets entre des locations. Utiliser les utilitaires Python d'Oracle Cloud Infrastructure Object Storage pour les opérations en masse,
Flexifier les E/S,
Tutoriel sur le clonage
Service de stockage de fichiers pour OCI Service de stockage d'objets pour OCI 1. s5cmd (petits fichiers/fichiers mixtes)
2. Synchronisation du stockage d'objets (quelques fichiers volumineux)
3. Rclone (mixte)
4. Resilio actif partout		 Utilisez l'outil le mieux adapté à vos structures de données et vous sentez à l'aise de l'utiliser. S5cmd et le tutoriel sur la synchronisation du stockage d'objets,
Tutoriel sur le clonage,
Resilio Active Anywhere
Système de fichiers sur place Service de stockage de fichiers pour OCI 1. fpsync (Linux) et CIFS + fpsync (Windows)
2. Resilio actif partout		 Assurez-vous que la connectivité réseau est établie entre les instances source et de destination. Documentation sur Fpsync,
tutoriel fpsync,
Resilio Active Anywhere
Disque ou stockage de fichiers local d'un autre fournisseur en nuage Service de stockage de fichiers pour OCI 1. fpsync (Linux) et CIFS + fpsync (Windows)
2. Resilio actif partout		 Assurez-vous que la connectivité réseau est établie entre les instances source et de destination. FastConnect doit être révisée afin d'améliorer le temps de transfert. Documentation sur Fpsync,
tutoriel fpsync,
Resilio Active Anywhere
Service de stockage de fichiers pour OCI Stockage de fichiers OCI dans une autre région 1. Réplication du système de fichiers
2. fpsync avec la diffusion en continu d'instance à instance
3. Resilio actif partout		 Si vous utilisez la réplication, voir les limites et points à considérer de la réplication ou si vous utilisez la diffusion en continu d'instance à instance, assurez-vous que la connectivité réseau est établie entre les instances source et de destination. Documentation sur Fpsync,
tutoriel fpsync,
Documentation sur File System Replication,
Resilio Active Anywhere
Service de stockage de fichiers pour OCI OCI File Storage dans le même domaine de disponibilité 1. Réplication de système de fichiers
2. Utilisation des outils parallèles de stockage de fichiers : parcp
3. Resilio actif partout		 Si vous utilisez la réplication, voir les limites et points à considérer de la réplication ou si vous utilisez parcp, assurez-vous que les systèmes de fichiers source et de destination sont montés dans l'instance. Réplication du système de fichiers,
Utilisation des outils parallèles de stockage de fichiers : parcp,
Resilio Active Anywhere
Sur place, un autre fournisseur de services en nuage OCI Object Storage ou OCI File Storage Plateforme Resilio Active Anywhere Utilisez la plate-forme Resilio Active Anywhere lorsque vous avez besoin d'une synchronisation multidirectionnelle des données, d'un service de gants blancs avec support et d'une interface graphique. Resilio a été vérifié par l'équipe chargée du service de stockage en nuage pour OCI et est disponible dans Oracle Cloud Marketplace. Pour plus d'informations sur l'utilisation de leur plate-forme, communiquez avec l'équipe Resilio.

Note : La série d'outils de migration ne couvrira pas le service de stockage d'objets pour OCI ou la réplication de système de fichiers pour OCI, l'API Python de copie en masse du service de stockage d'objets pour OCI, Flexify et Resilio. Voir Liens connexes pour plus d'informations.

Étapes suivantes

Passez au(x) tutoriel(s) correspondant(s) à vos besoins en matière de migration. Pour déplacer des données vers les services de stockage en nuage OCI :

(Facultatif) Environnements de test

Les recommandations sont faites sur la base des tests et des interactions avec les clients.

Environnement de test 1 :

1 instance de machine virtuelle VM.Standard.E4.Flex, 1 OCPU, bande passante de réseau 1Gbps, 16 Go de mémoire. Pour simuler une migration sur place vers OCI, des données copiées de PHX NFS vers IAD.

Jeux de données

Taille totale du jeu de données : 3 To, avec 3 fichiers, chaque fichier étant de 1 To.

Méthode De Temps Commande Indicateurs
synchronisation du système d'exploitation NFS/Fichier PHX vers IAD d'objet 123m17.102s S.O. --parallel-operations-count 100
s5cmd NFS/Fichier PHX vers IAD d'objet 239m20.625s copie run commands.txt, exécution par défaut --numworkers 256
rclone NFS/Fichier PHX vers IAD d'objet 178m27.101s copie --transfers=100 --oos-no-check-bucket --fast-list --checkers 64 --retries 2 --no-check-dest

Note : Nos tests ont montré que os sync fonctionnait le plus rapidement pour ce jeu de données.

Taille totale du jeu de données : 9.787GB, avec 20 000 fichiers, chaque fichier ayant 20 Mo

Méthode De Temps Commande Indicateurs
s5cmd NFS/Fichier PHX vers IAD d'objet 1m12.746s copie exécution par défaut --numworkers 256
synchronisation du système d'exploitation NFS/Fichier PHX vers IAD d'objet 2m48.742s S.O. --parallel-operations-count 1000
rclone NFS/Fichier PHX vers IAD d'objet 1m52.886s copie --transfers=500 --oos-no-check-bucket --no-check-dest

Note : Nos tests ont montré que s5cmd offre les meilleures performances pour ce jeu de données.

Environnement de test 2 :

Instances de machine virtuelle : 2 instances de machine virtuelle ont été utilisées pour chaque test. Nous avons utilisé un VM.Standard.E4.Flex avec 24 OCPU, une bande passante de réseau 24Gbps, 384 Go de mémoire. Oracle Linux 8 a été utilisé pour les tests Linux. Flexify IO n'utilise pas d'instances de machine virtuelle.

Jeux de données utilisés pour les tests : 14 répertoires principaux avec le nombre et la taille de fichiers suivants, totalisant 2.25TiB.

Répertoire du jeu de données Taille Nombre de fichiers Taille de chaque fichier
Répertoire 1 107.658 Gio 110 242 1 Mio
Répertoire 2 1.687 Gio 110 569 15 Mio
Répertoire 3 222 Gio 111 2 Gio
Répertoire 4 1.265 Tio 1 295 1 Gio
Répertoire 5 26.359 Gio 1 687 16 Mio
Répertoire 6 105.281 Mio 26 952 4 Kio
Répertoire 7 29.697 Mio 30 410 1 Kio
Répertoire 8 83.124 Gio 340 488 256 Kio
Répertoire 9 21.662 Gio 354 909 64 Kio
Répertoire 10 142.629 Gio 36 514 4 Mio
Répertoire 11 452.328 Mio 57 898 8 Mio
Répertoire 12 144 Gio 72 2Gio
Répertoire 13 208.500 Gio 834 256 Mio
Répertoire 14 54.688 Gio 875 64 Mio

Note :

Méthode De Temps Commande Indicateurs/Notes
s5cmd NFS/Fichier PHX vers IAD d'objet 54m41.814s copie --numworkers 74
synchronisation du système d'exploitation NFS/Fichier PHX vers IAD d'objet 65m43.200s S.O. --parallel-operations-count 50
rclone NFS/Fichier PHX vers IAD d'objet 111m59.704s copie --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 50
rclone Objet PHX vers IAD d'objet 28m55.663s copie --oos-no-check-bucket --no-check-dest --ignore-checksum --oos-disable-checksum --transfers 400, même commande exécutée sur 2 machines virtuelles pour un accès simultané de 800 transferts
Script de copie en masse python Objet PHX vers IAD d'objet 25m43.715s Valeur par défaut 1 machine virtuelle, 50 programmes, 100 000 fichiers mis en file d'attente à la fois
Flexibilité des E/S Objet PHX vers IAD d'objet 20m27s copie La valeur par défaut est 10 moteurs/emplacements
Flexibilité des E/S Objet PHX vers IAD d'objet 16m12s copie 20 moteurs / fentes, cela peut être soulevé via "Paramètres avancés"

Les commandes s5cmd et os sync passent bien du système de fichiers/NFS au stockage d'objets. Le script de Flexify IO et de copie en masse se concentre uniquement sur les transferts de stockage d'objets (compartiment à compartiment) et n'a pas été testé pour la migration NFS.

Seuls Flexify IO,rclone et le script de copie en masse python sont capables d'effectuer des transferts seau à seau entre régions afin que les autres outils n'aient pas été testés pour cela. Flexify IO effectue les meilleures performances pour les migrations de stockage d'objets entre les régions, le script de copie en masse python étant plus performant que rclone. Il est important de noter que Flexify IO fonctionne pour le stockage d'objets compatible S3, que le script de copie en masse python ne fonctionne qu'avec le stockage d'objets OCI et que rclone prend en charge de nombreux serveurs dorsaux et fournisseurs de nuage.

De petites exécutions de test ont été effectuées à l'aide de rclone pour transférer des données de Microsoft Azure Blob Storage, Amazon Simple Storage Service (Amazon S3) et Google Cloud Platform Cloud Storage vers OCI Object Storage afin de vérifier que l'outil fonctionne pour ces types de transferts. Pour plus d'informations, voir Déplacer les données vers le stockage d'objets en nuage à l'aide de Rclone.

FlexifyIO a été utilisé pour migrer ce jeu de données de us-east-2 AWS vers la région Ashburn d'OCI et n'a pris que 23m51s pour 2.25TiB à l'aide de la valeur par défaut de 10 moteurs/emplacements, des moteurs/emplacements supplémentaires ont pu être ajoutés pour une performance plus rapide.

Environnement de test 3 :

Instances de machine virtuelle : 1 à 2 instances de machine virtuelle ont été utilisées pour chaque test, nous avons utilisé un VM.Standard.E4.Flex avec 24 OCPU, une bande passante de réseau 24Gbps, 384 Go de mémoire. Oracle Linux 8 a été utilisé pour les tests Linux. Tous les tests étaient de seau à seau. Flexify IO n'utilise pas d'instances de machine virtuelle.

Taille totale Nombre de fichiers Intervalle de tailles de fichier
7.74 Tio 1 000 000 30 Mio
Méthode De Temps Commande Indicateurs Notes  
rclone IAD objet à objet -> IAD 18h39m11.4s copie --oos-no-check-bucket --fast-list --no-traverse --transfers 500 --oos-chunk-size 10Mi 1 machine virtuelle, très lente en raison du nombre élevé de fichiers et de la liste des appels à la source  
rclone IAD objet à objet -> IAD 55m8.431s copie --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 machines virtuelles, 500 transferts par machine virtuelle, liste d'objets/fichiers alimentée en 1 000 fichiers à la fois, empêche la liste à la source et à la destination et améliore les performances  
Script de copie en masse python IAD objet à objet -> IAD 28m21.013s S.O. Valeur par défaut 1 machine virtuelle, 50 programmes, 100 000 fichiers mis en file d'attente à la fois  
Script de copie en masse python IAD objet à objet -> IAD S.O. S.O. Valeur par défaut 2 machines virtuelles, 50 programmes par machine virtuelle, 100 000 fichiers en file d'attente à la fois. 429 erreurs reçues, script bloqué et impossible de terminer  
Flexibilité des E/S IAD objet à objet -> IAD 39m19s copie Valeur par défaut La valeur par défaut est 10 moteurs/lots  
Flexibilité des E/S IAD objet à objet -> IAD 21m37s copie 20 moteurs/ fentes Réglé à 20 moteurs / emplacements, cela peut être soulevé via "Paramètres avancés"  
s5cmd IAD objet à objet -> IAD 14m10.864s copie Valeurs par défaut (256 travailleurs) 1 VM S.O.
s5cmd IAD objet à objet -> IAD 7m50.013s copie Valeurs par défaut 2 VM, 256 salariés par VM Exécuté la moitié du temps en tant que 1 machine virtuelle
s5cmd IAD objet à objet -> IAD 3m23.382s copie --numworkers 1000 1 MV, 1000 travailleurs Pour plusieurs tests, nous avons constaté qu'il s'agissait de l'exécution optimale pour ce jeu de données avec s5cmd
rclone IAD objet-à-objet -> PHX 184m36.536s copie --oos-no-check-bucket --no-traverse --transfers 500 --oos-chunk-size 10Mi --files-from <file> 2 machines virtuelles, 500 transferts par machine virtuelle, liste d'objets/fichiers alimentée 1 000 fichiers à la fois  
Script de copie en masse python IAD objet-à-objet -> PHX 35m31.633s S.O. Valeur par défaut 1 machine virtuelle, 50 travailleurs, 100 000 fichiers en file d'attente à la fois  
Flexibilité des E/S IAD objet-à-objet -> PHX 21m17s copie 20 moteurs/ fentes Réglé à 20 moteurs / emplacements, cela peut être soulevé via "Paramètres avancés"  

La commande s5cmd s'exécutait de manière cohérente pour le nombre de fichiers volumineux et les petits fichiers. La valeur s5cmd est limitée, car elle ne peut effectuer que des copies de seau à seau dans la même location et la même région.

Flexify IO serait l'outil recommandé pour ce jeu de données de migration, car il fonctionne bien et prend en charge divers types de stockage d'objets compatibles S3. Le temps de migration a diminué après le relèvement du nombre de moteurs/lieux pour Flexify IO.

Notez les améliorations élevées apportées à rclone une fois que les fichiers sont transmis à la commande et qu'ils passent de l'extensibilité à une autre machine virtuelle. Rclone peut fonctionner plus lentement que d'autres outils, mais il est le plus polyvalent dans les différentes plates-formes qu'il prend en charge et les types de migrations qu'il peut effectuer.

L'API Python pour la copie en masse du service de stockage d'objets pour OCI peut uniquement utiliser l'API native CopyObject d'OCI et ne peut accéder à une simultanéité d'accès qu'à 50 travailleurs avant d'être ralentie. Elle fonctionne généralement assez bien pour ce jeu de données.

Les tests IAD à PHX n'ont été effectués que sur ce qui fonctionnait le mieux dans IAD à IAD et les tests problématiques n'ont pas été réexécutés. La commande s5cmd n'a pas été exécutée pour IAD vers PHX, car elle ne peut effectuer que des copies de seau à seau dans la même région.

Remerciements

Ressources d'apprentissage supplémentaires

Explorez d'autres laboratoires sur le site docs.oracle.com/learn ou accédez à plus de contenu d'apprentissage gratuit sur le canal Oracle Learning YouTube. De plus, visitez education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir la documentation sur le produit, visitez Oracle Help Center.