Remarques :

Ce tutoriel nécessite un accès à Oracle Cloud. Pour vous inscrire à un compte gratuit, reportez-vous à Introduction à Oracle Cloud Infrastructure Free Tier.
Il utilise des exemples de valeurs pour les informations d'identification, la location et les compartiments Oracle Cloud Infrastructure. Lorsque vous terminez votre atelier, remplacez ces valeurs par celles propres à votre environnement cloud.

Utilisation d'outils de migration pour déplacer des données vers les services OCI Cloud Storage

Introduction

Voici le tutoriel 1 d'une série de quatre tutoriels qui vous montre différentes façons de migrer des données vers les services de stockage cloud Oracle Cloud Infrastructure (OCI). La série est configurée pour vous permettre de passer en revue ce premier tutoriel afin de mieux comprendre les différents outils, puis de passer au(x) tutoriel(s) connexe(s) ou aux documents pertinents pour vos besoins en matière de migration.

OCI fournit aux clients des options de calcul haute performance et de stockage cloud à faible coût. Grâce au stockage local, d'objets, de fichiers, de blocs et d'archives à la demande, Oracle répond aux exigences et aux cas d'emploi clés en matière de charge globale de stockage.

Les services de stockage cloud OCI offrent des options de stockage cloud rapides, sécurisées et durables pour tous vos besoins d'entreprise. A partir d'options hautes performances telles qu'OCI File Storage avec Lustre et le service OCI Block Volumes, de systèmes de fichiers entièrement gérés à l'échelle d'exaoctets du service OCI File Storage avec des cibles de montage hautes performances, à OCI Object Storage hautement durable et évolutif. Nos solutions peuvent répondre à vos demandes, allant des applications exigeantes en performances telles que les workloads d'IA/ML aux lacs de données à l'échelle des exaoctets.

De nombreux clients trouvent le besoin de transférer des données vers le service de stockage cloud OCI à partir d'un site, d'un autre fournisseur ou entre les services de stockage cloud OCI. En fonction de l'origine, de la destination et de la direction du transfert de données, la meilleure méthode pour effectuer la migration peut varier. Une fois que vous aurez identifié les bases de la source de données et de la destination dans OCI, vous devrez décider du chemin de migration et des outils à utiliser. Laissez notre expérience pratique vous guider vers le bon outil de migration et comment l'utiliser. Ce didacticiel 1 d'une série vous présente divers outils et leur place dans le processus de migration.

Déterminez la quantité de données à migrer et le temps d'inactivité disponible pour le basculement vers la nouvelle plate-forme de stockage OCI. Les migrations par lots sont un bon choix pour décomposer la migration en incréments gérables. Les migrations par lots vous permettent de planifier un temps d'arrêt pour des applications spécifiques dans différentes fenêtres. Certains clients ont la possibilité d'effectuer une migration ponctuelle sur une fenêtre de maintenance programmée sur 2 à 4 jours. OCI FastConnect peut être utilisé pour créer une connexion privée dédiée entre OCI et votre environnement, avec des vitesses de port de 1G à 400G pour accélérer le processus de transfert de données. OCI FastConnect peut être intégré à des solutions partenaires telles que Megaport et ConsoleConnect pour créer une connexion privée à votre centre de données ou une interconnexion cloud à cloud afin de déplacer les données plus directement d'un autre fournisseur cloud vers le service de stockage cloud OCI. Pour plus d'informations, reportez-vous à FastConnect integration with Megaport Cloud Router.

Public

DevOps ingénieurs, développeurs, administrateurs et utilisateurs de stockage cloud OCI, responsables informatiques, super utilisateurs OCI et administrateurs d'applications.

Objectifs

Découvrez comment utiliser divers outils pour copier et synchroniser des données dans les services de stockage cloud OCI :

Identifier les outils de migration courants.
Découvrez les différents outils de migration des données de système de fichiers (locales, NAS, hébergées dans le cloud) vers les services de stockage cloud OCI.
Découvrez l'outil le mieux adapté à différents cas d'utilisation.

Prérequis

Compréhension de votre jeu de migration de données, de la taille globale et de l'aspect des fichiers ou des objets (peu de fichiers volumineux, de nombreux petits fichiers, etc.).
Où le stockage doit atterrir dans le service de stockage cloud OCI (Object Storage, File Storage ou Block Volumes).
Vos calendriers et si vous effectuez une migration en masse ou incrémentielle (par lots).

Outils de migration

Notre expérience client et nos tests peuvent vous aider à déterminer l'outil de migration le mieux adapté à votre scénario. Nous vous encourageons à effectuer une preuve de concept et des tests sur des ensembles de données échantillon afin de vérifier la meilleure méthode de migration pour votre ensemble de données. Nous explorerons les outils de migration courants disponibles pour migrer les données des fournisseurs cloud sur site et autres vers OCI ou dans les services de stockage cloud OCI. Les résultats des tests sont partagés à partir d'exemples de jeux de données afin que vous puissiez extrapoler la façon dont les outils peuvent fonctionner sur votre jeu de données.

Rclone : Rclone est un utilitaire de ligne de commande open source permettant de migrer des données vers le cloud ou entre les fournisseurs de stockage cloud. Rclone peut être utilisé pour effectuer une migration unique ainsi qu'une synchronisation périodique entre le stockage source et de destination. Rclone peut migrer des données vers et depuis le stockage d'objets, le stockage de fichiers, les lecteurs montés et entre 70 types de stockage pris en charge. OCI Object Storage est pris en charge de façon native en tant que fournisseur back-end Rclone. Les processus Rclone peuvent être augmentés et augmentés pour augmenter les performances de transfert à l'aide des options de paramètre. Rclone propose des options telles que copier et synchroniser pour transférer des données ponctuelles et périodiques respectivement. Pour plus d'informations, reportez-vous à la section Install Rclone.
Resilio Active Anywhere : Resilio est une application de transfert de données tierce basée sur un agent. Il est riche en interface utilisateur graphique (GUI) et donne un excellent contrôle sur les travaux de transfert ainsi que la visualisation des mesures de performances. Ce logiciel est disponible sur Oracle Cloud Marketplace et peut être installé sous licence auprès de Resilio. Resilio peut synchroniser des fichiers dans des délais fixes dans n'importe quelle direction dans un maillage de un à plusieurs, de plusieurs à un ou de plusieurs, ce qui permet une présence globale dans un ensemble de données.
Utilitaires de synchronisation Linux open source : rsync et fpsync.
- Sync : outil Unix commun permettant d'effectuer une copie unique ou une synchronisation périodique entre les chemins source et de destination.
- Fpsync : outil open source pour effectuer une synchronisation parallèle. Il utilise rsync, tar ou rclone en dessous et exécute un wrapper parallèle sur le dessus. Vous pouvez choisir rsync, tar ou rclone comme outil de synchronisation sous-jacent.
Utilisation des outils parallèles de File Storage : OCI File Storage a fourni un package d'outils parallèles qui fonctionne de manière optimale avec le système de fichiers. Il est disponible avec le référentiel développeur Linux et peut être installé directement à partir du référentiel yum. Le package contient trois outils qui sont parcp, parter et param qui sont l'équivalent parallèle des utilitaires Linux standard cp, tar et rm respectivement.
Synchronisation Object Storage de l'interface de ligne de commande OCI : OCI Object Storage Sync (os sync) fait partie de l'interface de ligne de commande OCI qui synchronise un répertoire de système de fichiers avec les objets d'un bucket. La commande parcourt les sous-répertoires copiant des fichiers ou des objets nouveaux et modifiés de la source vers la destination et, éventuellement, supprime ceux qui ne sont pas présents dans la source. Il peut exécuter jusqu'à 1 00 opérations parallèles, en fonction des ressources de la machine hôte.
API Python de copie en masse OCI Object Storage : le lien suivant est un exemple de script de copie en masse utilisant l'API python pour OCI. L'API peut être utilisée pour écrire des scripts tels que l'exemple de script qui utilise des threads parallèles pour copier des objets d'un bucket vers un autre. Pour plus d'informations sur l'utilisation de l'exemple de script, reportez-vous à Utilisation des utilitaires Python Oracle Cloud Infrastructure Object Storage pour les opérations en masse.
Outil compatible S3 (s5cmd) : s5cmd est un outil open source qui peut être utilisé pour migrer ou synchroniser des systèmes de fichiers locaux et du stockage NAS (on-premise et dans OCI) vers OCI Object Storage. Il peut également être utilisé pour migrer un bucket de données vers un autre dans la même région.

Le bon outil pour le travail

Il existe de nombreux outils parmi lesquels choisir lors d'une migration, et il peut être écrasant de les rechercher tous à la fois. En fonction de l'origine, de la destination, de la direction de la migration, de l'expérience utilisateur et de l'environnement utilisateur, le meilleur outil de migration varie.

Le tableau suivant fournit des recommandations pour les scénarios de migration courants, notamment la migration des données sur site, la migration des données d'un autre fournisseur cloud vers OCI, la copie des données de stockage cloud OCI d'une région vers une autre, la copie des données de stockage cloud OCI au sein d'une région et la copie des données OCI File Storage vers OCI Object Storage.

Migrer les données à partir de	Migrer les données vers	Outil(s) recommandé(s)	Remarques	Liens Documentation/Tutoriel
Sur site	OCI Object Storage	1. s5cmd (fichiers petits/mixtes) 2. OCI Object Storage Sync (peu de fichiers volumineux) 3. Rclone (mixte)	Utilisez l'outil le mieux adapté à vos structures de données et vous sentez à l'aise d'utiliser. FastConnect doit être révisé afin d'améliorer le temps de transfert.	Tutoriel S5cmd et Object Storage Sync, Tutoriel Cloner
Un autre objet fournisseur cloud ou un autre stockage BLOB	OCI Object Storage	Rclone	Rclone sera le support le plus compatible avec plus de 70 fournisseurs de cloud différents.	Tutoriel Rclone
OCI Object Storage	OCI Object Storage dans une autre région	1. Réplication d'objet 2. API Python de copie en masse OCI Object Storage 3. Rclone	L'utilisation de la réplication d'objet native est adaptée à une réplique exacte d'un nouveau bucket actuellement vide. Utilisez l'API Python de copie en masse OCI Object Storage ou Rclone lorsque vous ne voulez pas écraser les données dans la cible ou initialiser les copies de la source contenant déjà des objets.	Documentation relative à la réplication Object Storage, Utilisation des utilitaires Python Oracle Cloud Infrastructure Object Storage pour les opérations en masse, Tutoriel sur le clonage
OCI Object Storage	OCI Object Storage dans une autre location (même région ou région différente)	1. API Python de copie en masse OCI Object Storage 2. Rclone	Prérequis : utilisez des stratégies IAM inter-location pour activer les copies inter-location. Pour plus d'informations, reportez-vous à Accès aux ressources Object Storage dans les locations.	Utilisation des utilitaires Python Oracle Cloud Infrastructure Object Storage pour les opérations en masse, Tutoriel sur le clonage
OCI File Storage	OCI Object Storage	1. s5cmd (fichiers petits/mixtes) 2. Object Storage Sync (peu de fichiers volumineux) 3. Rclone (mixte)	Utilisez l'outil le mieux adapté à vos structures de données et vous sentez à l'aise d'utiliser.	Tutoriel S5cmd et Object Storage Sync, Tutoriel Cloner
Sur site	OCI File Storage	fpsync (Linux) et CIFS + fpsync (Windows)	Assurez-vous que la connectivité réseau est établie entre les instances source et de destination.	Documentation Fpsync, Tutoriel fpsync
Disque local ou stockage de fichiers d'un autre fournisseur cloud	OCI File Storage	fpsync (Linux) et CIFS + fpsync (Windows)	Assurez-vous que la connectivité réseau est établie entre les instances source et de destination. FastConnect doit être révisé afin d'améliorer le temps de transfert.	Documentation Fpsync, Tutoriel fpsync
OCI File Storage	OCI File Storage dans une autre région	1. Réplication de système de fichiers 2. Synchronisation avec la transmission en continu d'instance à instance	Si vous utilisez la réplication, reportez-vous aux limites et remarques de la réplication ou, si vous utilisez la transmission en continu d'instance à instance, assurez-vous que la connectivité réseau est établie entre les instances source et de destination.	Documentation Fpsync, Tutoriel fpsync, Documentation sur la réplication de système de fichiers
OCI File Storage	OCI File Storage dans le même domaine de disponibilité	1. File System Replication 2. Utilisation des outils de fichiers parallèles pour File Storage : parcp	Si vous utilisez la réplication, reportez-vous à Limites et remarques relatives à la réplication ou, si vous utilisez parcp, assurez-vous que les systèmes de fichiers source et de destination sont montés dans l'instance.	Réplication de système de fichiers, Utilisation des outils en parallèle File Storage : parcp
Sur site, autre fournisseur cloud	OCI Object Storage ou OCI File Storage	Plateforme Resilio Active Anywhere	Utilisez la plate-forme Resilio Active Anywhere lorsque vous avez besoin d'une synchronisation multidirectionnelle des données, d'un service de gants blancs avec support et d'une interface graphique. Resilio a été vérifié par l'équipe produit du service de stockage cloud OCI et est disponible sur Oracle Cloud Marketplace.	Pour plus d'informations sur l'utilisation de leur plate-forme, contactez l'équipe Resilio.

Remarque : la série d'outils de migration ne couvre pas OCI Object Storage ou OCI File System Replication, OCI Object Storage Bulk Copy Python API et Resilio. Pour plus d'informations, voir Liens connexes.

Etapes suivantes

Passez au(x) tutoriel(s) correspondant(s) à vos besoins en matière de migration. Pour déplacer des données vers les services de stockage cloud OCI, procédez comme suit :

A l'aide de Rclone, reportez-vous au tutoriel 2 : Déplacement de données vers OCI Cloud Storage Services à l'aide de Rclone.
A l'aide d'OCI Object Storage Sync et de S5cmd, reportez-vous au tutoriel 3 : déplacement de données vers les services OCI Cloud Storage à l'aide d'OCI Object Storage Sync et de S5cmd.
A l'aide de Fpsync et de Rsync pour les migrations de données de système de fichiers, reportez-vous à Tutoriel 4 : Déplacement de données vers les services OCI Cloud Storage à l'aide de Fpsync et de Rsync pour les migrations de données de système de fichiers.

Remerciements

Auteurs - Vinoth Krishnamurthy (principal membre du personnel technique, OCI File Storage), Melinda Centeno (chef de produit principal senior, OCI Object Storage)
Contributeurs - Aboo Valappil (membre consultant du personnel technique, stockage de fichiers et de blocs OCI), Ashutosh Mate (chef de produit principal senior, OCI Object Storage)

Ressources de formation supplémentaires

Explorez d'autres ateliers sur docs.oracle.com/learn ou accédez à d'autres contenus de formation gratuits sur le canal Oracle Learning YouTube. De plus, visitez le site education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir la documentation produit, consultez le site Oracle Help Center.

Informations relatives au titre et au copyright

Use Migration Tools to Move Data into OCI Cloud Storage Services

G25554-01

January 2025