Utiliser les utilitaires Python d'Oracle Cloud Infrastructure Object Storage pour des opérations en masse

Présentation

Oracle Cloud Infrastructure (OCI) Object Storage permet aux clients de stocker, en toute sécurité, tout type de données dans son format natif. Avec la redondance intégrée, OCI Object Storage est idéal pour créer des applications modernes qui nécessitent une mise à l'échelle et une flexibilité, car il peut être utilisé pour consolider plusieurs sources de données à des fins d'analyse, de sauvegarde ou d'archivage.

OCI Object Storage est la base des charges de travail en nuage; son élasticité, son extensibilité, sa fiabilité et sa rentabilité en ont fait le stockage principal pour les données non structurées dans le nuage. En raison de sa popularité, il existe un vaste écosystème d'outils pour utiliser le service de stockage d'objets pour OCI. Ce tutoriel est le premier de la série d'" outils électriques " qui vise à fournir aux utilisateurs une voie pour se familiariser avec les différents outils disponibles et comment les utiliser dans leurs charges de travail.

Ce premier tutoriel présente les exemples de scripts disponibles dans GitHub à l'aide de la trousse SDK Python avec le service de stockage d'objets pour OCI pour les opérations en masse.

Public cible

Ingénieurs, développeurs DevOps, administrateurs et utilisateurs du service de stockage d'objets pour OCI, gestionnaires informatiques, utilisateurs expérimentés OCI et administrateurs d'applications.

Objectif

Utilisez les exemples de script Python pour gérer les opérations en masse dans le service de stockage d'objets pour OCI telles que la restauration en masse, la suppression, la copie, le changement de nom et la liste des informations sur les objets.

Conditions requises

Un compte OCI.
Un fichier de configuration fonctionnel dans votre répertoire de base dans un sous-répertoire nommé .oci. Pour plus d'informations, voir Configuration du fichier de configuration.
Accès à un seau de stockage d'objets OCI.
Les autorisations d'utilisateur dans OCI pour utiliser le stockage d'objets OCI permettent de gérer les objets dans au moins 1 seau. Pour plus d'informations, voir Politiques communes et Informations de référence sur les politiques.
Environnement d'exécution : Accès à OCI Cloud Shell, une instance OCI Linux.
Ensemble Git installé dans l'environnement d'exécution et familiarisation avec les commandes git.
Python 3 est installé.
Connaissance de l'utilisation des modules Python et Python.

Tâche 1 : Configurer l'environnement

Installez l'ensemble SDK pour OCI.
```
pip3 install --user oci
```

Cloner le référentiel de la trousse SDK OCI.

$ git clone https://github.com/oracle/oci-python-sdk
Cloning into 'oci-python-sdk'...
remote: Enumerating objects: 113452, done.
remote: Counting objects: 100% (23584/23584), done.
remote: Compressing objects: 100% (3022/3022), done.
remote: Total 113452 (delta 20706), reused 23195 (delta 20521), pack-reused 89868
Receiving objects: 100% (113452/113452), 77.07 MiB | 12.78 MiB/s, done.
Resolving deltas: 100% (104373/104373), done.

Note : Il s'agit d'exemples de scripts utilisant la trousse SDK Python pour OCI, qui ne sont pas des applications Oracle officielles et qui ne sont pas gérés ou pris en charge par Oracle. Comme il s'agit d'exemples, vous pouvez les réviser, les mettre à jour et les personnaliser en fonction de votre cas d'utilisation dans votre propre référentiel logiciel.

Accédez au répertoire exemple. Si vous êtes installé dans votre répertoire de base, exécutez la commande suivante.
```
cd $HOME/oci-python-sdk/examples/object_storage
```

Tâche 2 : Utiliser le script de restauration en masse d'objets

Le script de restauration en masse restaure les objets archivés du seau source avec des unités d'exécution parallèles.

Exécutez le script de restauration en masse sans arguments pour voir les arguments requis.

$ python object_storage_bulk_restore.py
Source bucket parameter is required !!!

usage: object_storage_bulk_restore.py [-h] [-t CONFIG_PROFILE] [-p PROXY]
                                      [-ip] [-dt] [-c CONFIG_FILE]
                                      [-sb SOURCE_BUCKET]
                                      [-sp SOURCE_PREFIX_INCLUDE]
                                      [-sr SOURCE_REGION]
                                      [-sn SOURCE_NAMESPACE]

optional arguments:
  -h, --help            show this help message and exit
  -t CONFIG_PROFILE     Config file section to use (tenancy profile)
  -p PROXY              Set Proxy (i.e. www-proxy-server.com:80)
  -ip                   Use Instance Principals for Authentication
  -dt                   Use Delegation Token for Authentication
  -c CONFIG_FILE        Config File (default=~/.oci/config)
  -sb SOURCE_BUCKET     Source Bucket Name
  -sp SOURCE_PREFIX_INCLUDE
                        Source Prefix Include
  -sr SOURCE_REGION     Source Region
  -sn SOURCE_NAMESPACE  Source Namespace (Default current connection)

Note : Ce tutoriel utilisera le fichier de configuration pour tous les scripts. Les scripts prendront par défaut la région indiquée dans le fichier de configuration, s'il n'est pas spécifié en tant qu'argument de script.

Exécutez le script sans utiliser l'argument de préfixe. Cela restaurera tous les objets d'archive.

$ python object_storage_bulk_restore.py -c $HOME/.oci/config -sb MyBucket

Connecting to Object Storage Service...
Succeed.

##########################################################################################
#                          Running Object Storage Bulk Restore                           #
##########################################################################################
Written by Tim S and Adi Z, July 2020
Starts at             : 2024-05-30 16:44:18
Command Line          : -c /home/opc/.oci/config -sb MyBucket
Source Namespace      : namespace
Source Bucket         : MyBucket
Source Prefix Include :

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
16:44:18 - Creating 40 workers.
16:44:18 - Getting list of objects from source source_bucket (MyBucket). Restores will start immediately.
16:44:19 - Enqueued 9086 objects to be restored
16:44:19 - Waiting 60 seconds before checking status.
16:45:19 - Restoration of all objects has been requested.

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-30 16:45:19

Note : Les objets restaurés ne sont pas disponibles immédiatement. La restauration prend au plus une heure entre le moment où une demande de restauration de stockage d'archives est effectuée et le moment où le premier octet de données est extrait.

Exécutez le script avec l'argument de préfixe.

$ python object_storage_bulk_restore.py -c $HOME/.oci/config -sb MyBucket -sp folder1

Connecting to Object Storage Service...
Succeed.

##########################################################################################
#                          Running Object Storage Bulk Restore                           #
##########################################################################################
Written by Tim S and Adi Z, July 2020
Starts at             : 2024-05-30 17:00:09
Command Line          : -c /home/opc/.oci/config -sb MyBucket -sp folder1
Source Namespace      : namespace
Source Bucket         : MyBucket
Source Prefix Include : folder1

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
17:00:09 - Creating 40 workers.
17:00:09 - Getting list of objects from source source_bucket (MyBucket). Restores will start immediately.
17:00:10 - Enqueued 1096 objects to be restored
17:00:10 - Waiting 60 seconds before checking status.
17:01:10 - Restoration of all objects has been requested.

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-30 17:01:10

Note : Tous les objets archivés du préfixe/dossier nommé et des sous-préfixes/sous-dossiers seront restaurés.

Tâche 3 : Utiliser le script de suppression en masse d'objets

Le script de suppression en masse d'objets supprime des objets d'un seau avec l'option de filtrage.

Exécutez le script sans arguments pour voir l'utilisation.

$ python object_storage_bulk_delete.py
Source bucket parameter is required !!!

usage: object_storage_bulk_delete.py [-h] [-t CONFIG_PROFILE] [-p PROXY] [-ip]
                                    [-dt] [-c CONFIG_FILE]
                                    [-sb SOURCE_BUCKET] [-sp SOURCE_PREFIX]
                                    [-se SOURCE_PREFIX_EXCLUDE]
                                    [-exclude_dirs] [-sn SOURCE_NAMESPACE]
                                    [-sr SOURCE_REGION]

optional arguments:
  -h, --help            show this help message and exit
  -t CONFIG_PROFILE     Config file section to use (tenancy profile)
  -p PROXY              Set Proxy (i.e. www-proxy-server.com:80)
  -ip                   Use Instance Principals for Authentication
  -dt                   Use Delegation Token for Authentication
  -c CONFIG_FILE        Config File (default=~/.oci/config)
  -sb SOURCE_BUCKET     Source Bucket Name
  -sp SOURCE_PREFIX     Source Prefix Include
  -se SOURCE_PREFIX_EXCLUDE
                        Source Prefix Exclude
  -exclude_dirs         Exclude Directories
  -sn SOURCE_NAMESPACE  Source Namespace (Default current connection)
  -sr SOURCE_REGION     Source Region

Note : L'exécution du script sans préfixe d'inclusion ou d'exclusion supprimera tous les éléments du seau.

Exécutez le script de suppression en masse et définissez un préfixe d'inclusion, vérifiez la sortie et répondez à l'invite y/N.

Note : Tous les objets du préfixe/dossier et des sous-préfixes/sous-dossiers seront supprimés. Soyez prudent lors de l'exécution de la commande. Si aucune correspondance n'est trouvée, tous les éléments du seau seront supprimés.

$ python object_storage_bulk_delete.py  -c $HOME/.oci/config -sb MyBucket -sp folder1

Connecting to Object Storage Service...
Succeed.

##########################################################################################
#                           Running Object Storage Bulk Delete                           #
##########################################################################################
Written by Adi Zohar, July 2020
Starts at             : 2024-05-30 18:51:32
Command Line          : -c /home/opc/.oci/config -sb MyBucket -sp folder1
Source Namespace      : namespace
Source Bucket         : MyBucket
Source Prefix Include : folder1
Source Prefix Exclude :
Source Region         : us-ashburn-1

Are you sure you want to continue deleting ? [y/N]: y

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
18:51:38 - Creating 40 workers.
18:51:38 - Getting list of objects from source source_bucket (MyBucket). delete will start immediately.
18:51:38 - Enqueued 700 objects to be deleted
18:51:38 - Waiting 60 seconds before checking status.
18:52:38 - deletion of all objects has been requested.

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-30 18:52:38

Exécutez le script de suppression en masse avec le préfixe d'exclusion.

$ python object_storage_bulk_delete.py  -c $HOME/.oci/config -sb MyBucket -se folder1

Connecting to Object Storage Service...
Succeed.

##########################################################################################
#                           Running Object Storage Bulk Delete                           #
##########################################################################################
Written by Adi Zohar, July 2020
Starts at             : 2024-05-30 19:02:53
Command Line          : -c /home/opc/.oci/config -sb MyBucket -se folder1
Source Namespace      : namespace
Source Bucket         : MyBucket
Source Prefix Include :
Source Prefix Exclude : folder1
Source Region         : us-ashburn-1

Are you sure you want to continue deleting ? [y/N]: y

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
19:02:58 - Creating 40 workers.
19:02:58 - Getting list of objects from source source_bucket (MyBucket). delete will start immediately.
19:02:58 - Enqueued 60 objects to be deleted
19:02:58 - Waiting 60 seconds before checking status.
19:03:58 - deletion of all objects has been requested.

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-30 19:03:58

Note : Tous les objets du seau qui ne se trouvent pas dans le préfixe/dossier d'exclusion seront supprimés. Soyez prudent lorsque vous exécutez ce script. Si aucune correspondance n'est trouvée, tous les objets du seau seront supprimés.

Tâche 4 : Utiliser le script Renommer l'objet en masse

Le script de changement de nom en masse peut être utilisé pour renommer des objets ou pour déplacer des objets vers un autre dossier/préfixe. Il est important de comprendre que le script de changement de nom modifie simplement les métadonnées de nom sur l'objet, ce n'est pas une copie de l'objet, c'est seulement un changement de nom.

Exécutez le script de changement de nom en masse de l'objet sans arguments pour voir les paramètres requis.

$ python object_storage_bulk_rename.py
Source bucket parameter is required !!!

usage: object_storage_bulk_rename.py [-h] [-t CONFIG_PROFILE] [-p PROXY] [-ip]
                                    [-dt] [-c CONFIG_FILE]
                                    [-sb SOURCE_BUCKET]
                                    [-sp SOURCE_PREFIX_INCLUDE]
                                    [-sr SOURCE_REGION]
                                    [-sn SOURCE_NAMESPACE]
                                    [-textrem TEXT_REMOVE]
                                    [-textadd TEXT_APPEND]

optional arguments:
  -h, --help            show this help message and exit
  -t CONFIG_PROFILE     Config file section to use (tenancy profile)
  -p PROXY              Set Proxy (i.e. www-proxy-server.com:80)
  -ip                   Use Instance Principals for Authentication
  -dt                   Use Delegation Token for Authentication
  -c CONFIG_FILE        Config File (default=~/.oci/config)
  -sb SOURCE_BUCKET     Source Bucket Name
  -sp SOURCE_PREFIX_INCLUDE
                        Source Prefix Include
  -sr SOURCE_REGION     Source Region
  -sn SOURCE_NAMESPACE  Source Namespace (Default current connection)
  -textrem TEXT_REMOVE  text remove prefix (can be used to remove folder)
  -textadd TEXT_APPEND  text append prefix (can be used to add folder)

Exécutez une liste d'objets du système d'exploitation pour afficher les objets courants dans le seau.

Objets existants :

$ oci os object list --bucket-name MyBucket --query "data[].name"
[
  "file_1.txt",
  "file_10.txt",
  "file_2.txt",
  "file_3.txt",
  "file_4.txt",
  "file_5.txt",
  "file_6.txt",
  "file_7.txt",
  "file_8.txt",
  "file_9.txt",
  "hello_world"
]

Exécutez le script de changement de nom en masse d'objet pour modifier le nom des objets avec le fichier au début et remplacez-le par objet.

$ python object_storage_bulk_rename.py -c $HOME/.oci/config -sb MyBucket -textrem file -textadd object

Connecting to Object Storage Service...
Succeed.

##########################################################################################
#                           Running Object Storage Bulk Rename                           #
##########################################################################################
Written by Adi Z, March 2021
Starts at             : 2024-05-31 23:09:13
Command Line          : -c /home/opc/.oci/config -sb MyBucket -textrem file -textadd object
Source Namespace      : namespace
Source Bucket         : MyBucket
Source Prefix Include : file
Text Remove Prefix    : file
Text Append Prefix    : object

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
23:09:13 - Creating 40 workers.
23:09:13 - Getting list of objects from source source_bucket (MyBucket). Rename will start immediately.
23:09:13 - Enqueued 10 objects to be Renamed
23:09:13 - Waiting 60 seconds before checking status.
23:10:13 - Rename of all objects has been requested.

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-31 23:10:13

Exécutez une liste d'objets du système d'exploitation pour afficher les objets courants dans le seau et noter les modifications de nom.

$ oci os object list --bucket-name MyBucket --query "data[].name"
[
  "hello_world",
  "object_1.txt",
  "object_10.txt",
  "object_2.txt",
  "object_3.txt",
  "object_4.txt",
  "object_5.txt",
  "object_6.txt",
  "object_7.txt",
  "object_8.txt",
  "object_9.txt"
]

Déplacez tous les objets dont le nom contient la chaîne object dans un répertoire nommé dir1.

$ python object_storage_bulk_rename.py -c $HOME/.oci/config -sb MyBucket -sp object -textadd dir1/

Connecting to Object Storage Service...
Succeed.

##########################################################################################
#                           Running Object Storage Bulk Rename                           #
##########################################################################################
Written by Adi Z, March 2021
Starts at             : 2024-05-31 23:16:14
Command Line          : -c /home/opc/.oci/config -sb MyBucket -sp object -textadd dir1/
Source Namespace      : namespace
Source Bucket         : MyBucket
Source Prefix Include : object
Text Remove Prefix    :
Text Append Prefix    : dir1/

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
23:16:14 - Creating 40 workers.
23:16:14 - Getting list of objects from source source_bucket (MyBucket). Rename will start immediately.
23:16:15 - Enqueued 10 objects to be Renamed
23:16:15 - Waiting 60 seconds before checking status.
23:17:15 - Rename of all objects has been requested.

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-31 23:17:15

Exécutez la liste des objets du système d'exploitation pour afficher à nouveau les objets courants dans le seau et notez les objets qui ont été déplacés dans le dossier/préfixe nommé dir1.

$ oci os object list --bucket-name MyBucket --query "data[].name"
[
  "dir1/object_1.txt",
  "dir1/object_10.txt",
  "dir1/object_2.txt",
  "dir1/object_3.txt",
  "dir1/object_4.txt",
  "dir1/object_5.txt",
  "dir1/object_6.txt",
  "dir1/object_7.txt",
  "dir1/object_8.txt",
  "dir1/object_9.txt",
  "hello_world"
]

Tâche 5 : Utiliser le script de copie en masse d'objet

Le script de copie en masse copie des objets entre des seaux. Il peut être utilisé pour copier des objets entre des seaux dans différentes régions ou dans différentes locations. Ce tutoriel présente une copie entre des seaux de la même location d'une région à l'autre, un seau dans us-ashburn-1 et un autre seau dans us-phoenix-1. Si vous voulez utiliser le script entre les locations, voir Accès aux ressources de stockage d'objets entre les locations.

Note : Il existe des outils plus robustes pour copier en masse des objets entre des seaux tels que Rclone ou Réplication du stockage d'objets.

Exécutez le script de copie en masse d'objet sans arguments pour comprendre les paramètres requis.

$ python object_storage_bulk_copy.py
usage: object_storage_bulk_copy.py [-h] [-t CONFIG_PROFILE] [-p PROXY] [-ip]
                                  [-dt] [-c CONFIG_FILE] [-sb SOURCE_BUCKET]
                                  [-sr SOURCE_REGION] [-sn SOURCE_NAMESPACE]
                                  [-sp SOURCE_PREFIX_INCLUDE]
                                  [-se SOURCE_PREFIX_EXCLUDE]
                                  [-db DESTINATION_BUCKET]
                                  [-dr DESTINATION_REGION]
                                  [-dn DESTINATION_NAMESPACE] [-ig]

optional arguments:
  -h, --help            show this help message and exit
  -t CONFIG_PROFILE     Config file section to use (tenancy profile)
  -p PROXY              Set Proxy (i.e. www-proxy-server.com:80)
  -ip                   Use Instance Principals for Authentication
  -dt                   Use Delegation Token for Authentication
  -c CONFIG_FILE        Config File (default=~/.oci/config)
  -sb SOURCE_BUCKET     Source Bucket Name
  -sr SOURCE_REGION     Source Region (Default current connection)
  -sn SOURCE_NAMESPACE  Source Namespace (Default current connection)
  -sp SOURCE_PREFIX_INCLUDE
                        Source Prefix Include
  -se SOURCE_PREFIX_EXCLUDE
                        Source Prefix Exclude
  -db DESTINATION_BUCKET
                        Destination Bucket Name
  -dr DESTINATION_REGION
                        Destination Region
  -dn DESTINATION_NAMESPACE
                        Destination Namespace (Default current connection)
  -ig                   Ignore Check if files exist at Destination

Exécutez la commande de copie d'objet en masse pour copier des objets dans un dossier ou un préfixe vers un seau d'une autre région.

Note : Dans cet exemple, le seau de destination est vide.

$ python object_storage_bulk_copy.py -c $HOME/.oci/config -sb MySourceBucket -db MyDestBucket -dr us-phoenix-1

##########################################################################################
#                              Connecting to Object Storage                              #
##########################################################################################

Connecting to Object Storage Service for source region - us-ashburn-1
Succeed.

Connecting to Object Storage Service for destination region - us-phoenix-1
Succeed.

##########################################################################################
#                            Running Object Storage Bulk Copy                            #
##########################################################################################
Written by Tim S and Adi Z, July 2020
Starts at        : 2024-05-31 19:38:52
Command Line     : -c /home/opc/.oci/config -sb MySourceBucket -db MyDestBucket
Source Namespace : namespace
Source Region    : us-ashburn-1
Source Bucket    : MySourceBucket
Source Prefix    :
Dest   Namespace : namespace
Dest   Region    : us-phoenix-1
Dest   Bucket    : MyDestBucket
State  File      : MySourceBucket.bulk.wrk

##########################################################################################
#                                    Start Processing                                    #
##########################################################################################
19:38:52 - Creating 50 copy request workers.
19:38:52 - Creating 50 status workers.
19:38:52 - Loading list of objects from destination bucket (MyDestBucket) to ignore exiting files.
19:38:52 -    Loaded 0 files.
19:38:52 - Getting list of objects from source bucket (MySourceBucket). Copies will start immediately.
19:38:52 -    Enqueued 5 objects to be copied

[...snip...]

##########################################################################################
#                          Finish queuing files, start checking                          #
##########################################################################################
19:38:52 - Waiting 60 seconds before checking status.
19:39:52 - Determining copy status
19:39:52 -    KNOWN: 1, REQUESTED: 0, COMPLETED: 4, FAILED: 0, CANCELED: 0

Tâche 6 : Utiliser le script de dossiers de liste du stockage d'objets

Le script de liste de dossiers du stockage d'objets répertorie chaque dossier/préfixe du seau, la taille totale de tous les objets (kilo-octets) de chaque dossier et le nombre d'objets dans chaque dossier. Il existe une option pour filtrer par préfixe/dossier.

Exécutez le script de dossier de liste d'objets sans arguments pour comprendre les options de ligne de commande.

$ python  object_storage_list_folders.py
Source bucket parameter is required !!!

usage: object_storage_list_folders.py [-h] [-t CONFIG_PROFILE] [-p PROXY]
                                      [-ip] [-dt] [-c CONFIG_FILE]
                                      [-sb SOURCE_BUCKET] [-sp SOURCE_PREFIX]
                                      [-sr SOURCE_REGION]
                                      [-sn SOURCE_NAMESPACE] [-f FILE]

optional arguments:
  -h, --help            show this help message and exit
  -t CONFIG_PROFILE     Config file section to use (tenancy profile)
  -p PROXY              Set Proxy (i.e. www-proxy-server.com:80)
  -ip                   Use Instance Principals for Authentication
  -dt                   Use Delegation Token for Authentication
  -c CONFIG_FILE        Config File (default=~/.oci/config)
  -sb SOURCE_BUCKET     Source Bucket Name
  -sp SOURCE_PREFIX     Source Prefix Include
  -sr SOURCE_REGION     Source Region
  -sn SOURCE_NAMESPACE  Source Namespace (Default current connection)
  -f FILE               Output to file (as csv)

Exécutez le script de dossiers de liste d'objets sur un seau entier.

$ python  object_storage_list_folders.py -c $HOME/.oci/config -sb MyBucket

Connecting to Object Storage Service...
Success.

##########################################################################################
#                               Running List/Count Objects                               #
##########################################################################################
Written By Adi Zohar, June 2020
Starts at           :2024-05-30 21:25:06
Command Line        : -c /home/opc/.oci/config -sb MyBucket
Source Namespace    : namespace
Source Bucket       : MyBucket
Source Prefix       :

##########################################################################################
#                                  Start Processing...                                   #
##########################################################################################
Folder Name                                        |  Size (KB) |   Count
--------------------------------------------------------------------------------
dir_1/                                             | 10240000.00 |      10
dir_10/                                            | 10240000.00 |      10
dir_2/                                             | 10240000.00 |      10
dir_3/                                             | 10240000.00 |      10
dir_4/                                             | 10240000.00 |      10
dir_5/                                             | 10240000.00 |      10
dir_6/                                             | 10240000.00 |      10
dir_7/                                             | 10240000.00 |      10
dir_8/                                             | 10240000.00 |      10
dir_9/                                             | 10240000.00 |      10

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-30 21:25:06
Total Files  :                  103
Total Size   :      137,069,854,720

Exécutez le script de dossiers de liste d'objets en fonction d'un dossier ou d'un préfixe spécifique.

$ python  object_storage_list_folders.py -c $HOME/.oci/config -sb  MyBucket -sp dir_1/

Connecting to Object Storage Service...
Success.

##########################################################################################
#                               Running List/Count Objects                               #
##########################################################################################
Written By Adi Zohar, June 2020
Starts at           :2024-05-30 21:27:41
Command Line        : -c /home/opc/.oci/config -sb MyBucket -sp dir_1/
Source Namespace    : namespace
Source Bucket       : MyBucket
Source Prefix       : dir_1/

##########################################################################################
#                                  Start Processing...                                   #
##########################################################################################
Folder Name                                        |  Size (KB) |   Count
--------------------------------------------------------------------------------
dir_1/                                             | 10240000.00 |      10

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-30 21:27:42
Total Files  :                   10
Total Size   :       10,485,760,000

Tâche 7 : Utiliser le script Objets de liste de stockage d'objets

Le script de liste d'objets répertorie chaque objet dans le seau, la taille en octets de chaque objet, la taille totale de tous les objets et le nombre de tous les objets. Il existe une option pour filtrer par préfixe/dossier. Le script de liste d'objets peut également être utilisé pour rechercher des objets dans un seau ou un préfixe en fonction d'une chaîne.

Exécutez le script de liste d'objets sur un seau entier.

$ python object_storage_list_objects.py -c  $HOME/.oci/config -sb MyBucket

Connecting to Object Storage Service...
Success.

##########################################################################################
#                               Running List/Count Objects                               #
##########################################################################################
Written By Adi Zohar, June 2020
Starts at           :2024-05-31 18:25:16
Command Line        : -c /home/opc/.oci/config -sb MyBucket
Source Namespace    : namespace
Source Bucket       : MyBucket
Source Prefix       :
Source Pre-Exclude  :

##########################################################################################
#                                  Start Processing...                                   #
##########################################################################################
      10,737,418,240 | C 2024-01-30 23:58 | U 2024-01-30 23:58 | Standard          | 10GB-Testfile
      10,737,418,240 | C 2024-01-25 19:41 | U 2024-01-25 19:41 | Standard          | 10GB-file
      10,737,418,240 | C 2024-01-24 22:13 | U 2024-01-24 22:13 | Standard          | 10GB_file
      1,048,576,000 | C 2024-01-24 22:13 | U 2024-01-24 22:13 | Standard          | dir_1/file_1
      1,048,576,000 | C 2024-01-24 22:14 | U 2024-01-24 22:14 | Standard          | dir_1/file_10

[...snip...]

      1,048,576,000 | C 2024-01-24 23:10 | U 2024-01-24 23:10 | Standard          | dir_9/file_8
      1,048,576,000 | C 2024-01-24 23:10 | U 2024-01-24 23:10 | Standard          | dir_9/file_9

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-31 18:25:16
Total Files  :                  103
Total Size   :      137,069,854,720

Exécutez le script d'objet de liste et filtrez-le par dossier/préfixe.

$ python object_storage_list_objects.py -c  $HOME/.oci/config -sb MyBucket -sp dir_1/

Connecting to Object Storage Service...
Success.

##########################################################################################
#                               Running List/Count Objects                               #
##########################################################################################
Written By Adi Zohar, June 2020
Starts at           :2024-05-31 18:49:49
Command Line        : -c /home/opc/.oci/config -sb MyBucket -sp dir_1/
Source Namespace    : namespace
Source Bucket       : MyBucket
Source Prefix       : dir_1/
Source Pre-Exclude  :

##########################################################################################
#                                  Start Processing...                                   #
##########################################################################################
      1,048,576,000 | C 2024-01-24 22:13 | U 2024-01-24 22:13 | Standard          | dir_1/file_1
      1,048,576,000 | C 2024-01-24 22:14 | U 2024-01-24 22:14 | Standard          | dir_1/file_10
      1,048,576,000 | C 2024-01-24 22:15 | U 2024-01-24 22:15 | Standard          | dir_1/file_2
      1,048,576,000 | C 2024-01-24 22:16 | U 2024-01-24 22:16 | Standard          | dir_1/file_3
      1,048,576,000 | C 2024-01-24 22:17 | U 2024-01-24 22:17 | Standard          | dir_1/file_4
      1,048,576,000 | C 2024-01-24 22:17 | U 2024-01-24 22:17 | Standard          | dir_1/file_5
      1,048,576,000 | C 2024-01-24 22:17 | U 2024-01-24 22:17 | Standard          | dir_1/file_6
      1,048,576,000 | C 2024-01-24 22:18 | U 2024-01-24 22:18 | Standard          | dir_1/file_7
      1,048,576,000 | C 2024-01-24 22:19 | U 2024-01-24 22:19 | Standard          | dir_1/file_8
      1,048,576,000 | C 2024-01-24 22:20 | U 2024-01-24 22:20 | Standard          | dir_1/file_9

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2024-05-31 18:49:49
Total Files  :                   10
Total Size   :       10,485,760,000

Exécutez le script d'objet de liste et filtrez un dossier/préfixe pour une chaîne au début d'un objet dans un préfixe/dossier.

$ python object_storage_list_objects.py -sb MyBucket -sp dir2/foo

Connecting to Object Storage Service...
Success.

##########################################################################################
#                               Running List/Count Objects                               #
##########################################################################################
Written By Adi Zohar, June 2020
Starts at           :2025-09-19 23:09:47
Command Line        : -sb ash-30M -sp dir2/foo
Source Namespace    : ocitsammut
Source Bucket       : MyBucket
Source Prefix       : dir2/foo
Source Pre-Exclude  : 

##########################################################################################
#                                  Start Processing...                                   #
##########################################################################################
                   4 | C 2025-09-19 21:34 | U 2025-09-19 21:34 | Standard          | dirr2/foo.txt
                   4 | C 2025-09-19 21:34 | U 2025-09-19 21:34 | Standard          | dir2/foo1.txt
                   4 | C 2025-09-19 21:34 | U 2025-09-19 21:34 | Standard          | dir2/foo2.txt

##########################################################################################
#                                       Completed                                        #
##########################################################################################
Completed at :  2025-09-19 23:09:47
Total Files  :                    3
Total Size   :                   12

Remerciements

Auteur - Melinda Centeno (directeur principal de produit)
Contributeurs - Adi Zohar (architecte en nuage en chef), Tim Sammut (membre du personnel technique chargé de la consultation)

Ressources d'apprentissage supplémentaires

Explorez d'autres laboratoires sur le site docs.oracle.com/learn ou accédez à plus de contenu d'apprentissage gratuit sur le canal Oracle Learning YouTube. De plus, visitez education.oracle.com/learning-explorer pour devenir un explorateur Oracle Learning.

Pour obtenir la documentation sur le produit, visitez Oracle Help Center.

Titre et informations sur les droits d'auteur

Use Oracle Cloud Infrastructure Object Storage Python Utilities for Bulk Operations

G10213-03

Oracle et/ou ses sociétés affiliées.