Sink Configuration Templates

Découvrez les formats des fichiers de configuration pour chaque dissipateur valide et l'objectif de chaque paramètre de configuration.

Rubriques

Fichier JSON

Le format de fichier de configuration du fichier JSON en tant que lien de NoSQL Database Migrator est illustré ci-dessous.

Modèle de configuration

"sink" : {
    "type" : "file",
    "format" : "json",
    "dataPath": "</path/to/a/file>",
    "schemaPath" : "<path/to/a/file>",
    "pretty" : <true|false>,
    "useMultiFiles" : <true|false>,
    "chunkSize" : <size in MB>
}

Paramètres de lien

type

Objet : Identifie le type de puits.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "type" : "file"

format

Objectif : Indique le format de l'évier.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "format" : "json"

dataPath

Objectif : Indique le chemin absolu d'un fichier dans lequel les données source seront copiées au format JSON.

Si le fichier n'existe pas dans le chemin de données spécifié, NoSQL Database Migrator le crée. S'il existe déjà, NoSQL Database Migrator écrase son contenu avec les données source.

Vous devez vous assurer que le répertoire parent du fichier indiqué dans le chemin d'accès aux données est valide.

Remarque

Si le paramètre useMultiFiles est défini sur True, indiquez le chemin d'accès à un répertoire. Sinon, indiquez le chemin d'accès au fichier.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple :
- Avec le paramètre useMultiFiles défini sur True
  "dataPath" :"/home/user/data"
- Avec le paramètre useMultiFiles non spécifié ou défini sur False
  "dataPath" :"/home/user/sample.json"

schemaPath

Objectif : Indique le chemin absolu d'écriture des informations de schéma fournies par la source.

Si cette valeur n'est pas définie, les informations du schéma source ne seront pas migrées vers l'évier. Si cette valeur est indiquée, l'utilitaire de migration écrit le schéma de la table source dans le fichier indiqué ici.

Les informations de schéma sont écrites sous la forme d'une commande DDL par ligne dans ce fichier. Si le fichier n'existe pas dans le chemin de données spécifié, NoSQL Database Migrator le crée. S'il existe déjà, NoSQL Database Migrator écrase son contenu avec les données source. Vous devez vous assurer que le répertoire parent du fichier indiqué dans le chemin d'accès aux données est valide.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple : "schemaPath" : "/home/user/schema_file"

jolie

Objectif : indique si la sortie JSON doit être embellie pour améliorer la lisibilité.

Si elle n'est pas indiquée, la valeur par défaut est False.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "pretty" : true

useMultiFiles

Objectif : indique si les données de la table NoSQL doivent être fractionnées en plusieurs fichiers lors de la migration des données source vers un fichier.

Si elle n'est pas indiquée, la valeur par défaut est False.

Si la valeur est True, lors de la migration des données source vers un fichier, les données de la table NoSQL sont divisées en plusieurs fichiers plus petits. Par exemple, <chunk>.json, où chunk=000000,000001,000002, etc.
```
dataPath
         |--000000.json
         |--000001.json
```
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useMultiFiles" : true

chunkSize

Objectif : spécifie la taille maximale d'un bloc de données de table à stocker dans l'évier. Au cours de la migration, une table est divisée en blocs chunkSize et chaque bloc est écrit en tant que fichier distinct dans le puits. Lorsque les données source migrées dépassent cette taille, un nouveau fichier est créé.

Si elle n'est pas spécifiée, la valeur par défaut est 32MB. La valeur valide est un entier compris entre 1 et 1024.

Remarque

Ce paramètre s'applique UNIQUEMENT lorsque le paramètre useMultiFiles est défini sur True.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "chunkSize" : 40

Fichier Parquet

Le format du fichier de configuration pour le fichier Parquet en tant que récepteur de NoSQL Database Migrator est indiqué ci-dessous.

Modèle de configuration

"sink" : {
    "type" : "file",
    "format" : "parquet",
    "dataPath": "</path/to/a/dir>",
    "chunkSize" : <size in MB>,
    "compression": "<SNAPPY|GZIP|NONE>",
    "parquetOptions": {
      "useLogicalJson": <true|false>,
      "useLogicalEnum": <true|false>,
      "useLogicalUUID": <true|false>,     
      "truncateDoubleSpecials": <true|false>
    }
}

Paramètres de lien

type

Objet : Identifie le type de puits.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "type" : "file"

format

Objet : Indique le format de l'évier.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "format" : "parquet"

dataPath

Objectif : indique le chemin d'accès à un répertoire à utiliser pour stocker les données de table NoSQL migrées. Assurez-vous que le répertoire existe déjà et qu'il dispose de droits d'accès en lecture et en écriture.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "dataPath" : "/home/user/migrator/my_table"

chunkSize

Objectif : spécifie la taille maximale d'un bloc de données de table à stocker dans l'évier. Au cours de la migration, une table est divisée en blocs chunkSize et chaque bloc est écrit en tant que fichier distinct dans le puits. Lorsque les données source migrées dépassent cette taille, un nouveau fichier est créé.

Si elle n'est pas spécifiée, la valeur par défaut est 32MB. La valeur valide est un entier compris entre 1 et 1024.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "chunkSize" : 40

Compression

Objectif : indique le type de compression à utiliser pour compresser les données Parquet. Les valeurs valides sont SNAPPY, GZIP et NONE.

S'il n'est pas spécifié, la valeur par défaut est SNAPPY.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple : "compression" : "GZIP"

parquetOptions

Objectif : indiquez les options permettant de sélectionner des types logiques Parquet pour les colonnes NoSQL ENUM, JSON et UUID.

Si vous n'indiquez pas ce paramètre, NoSQL Database Migrator écrit les données des colonnes ENUM, JSON et UUID sous forme de chaîne.
Type de données : objet
Obligatoire (O/N) : N

parquetOptions.useLogiqueJson

Objectif : indique si les données de colonne JSON NoSQL doivent être écrites en tant que type JSON logique Parquet. Pour plus d'informations, reportez-vous à Définitions des types logiques Parquet.

Si elle n'est pas spécifiée ou définie sur False, NoSQL Database Migrator écrit les données de colonne JSON NoSQL en tant que chaîne.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useLogicalJson" : true

parquetOptions.useLogicalEnum

Objectif : indique si les données de colonne NoSQL ENUM doivent être écrites en tant que type ENUM logique Parquet. Pour plus d'informations, reportez-vous à Définitions des types logiques Parquet.

Si elle n'est pas spécifiée ou définie sur False, NoSQL Database Migrator écrit les données de colonne NoSQL ENUM en tant que chaîne.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useLogicalEnum" : true

parquetOptions.useLogicalUUID

Objectif : indique si les données de colonne UUID NoSQL doivent être écrites en tant que type d'UUID logique Parquet. Pour plus d'informations, reportez-vous à Définitions des types logiques Parquet.

Si elle n'est pas spécifiée ou définie sur False, NoSQL Database Migrator écrit les données de la colonne UUID NoSQL en tant que chaîne.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useLogicalUUID" : true

parquetOptions.truncateDoubleSpecials

Objectif : indique si les valeurs +Infinity, -Infinity et Nan doivent être tronquées ou non.
La valeur par défaut est false. Si la valeur est true,
- Positive_Infinity est tronqué à Double.MAX_VALUE.
- NEGATIVE_INFINITY est tronqué à -Double.MAX_VALUE.
- NaN est tronqué à 9.9999999999999990E307.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "truncateDoubleSpecials" : true

Fichier JSON dans le bucket OCI Object Storage

Le format du fichier de configuration pour le fichier JSON dans le bucket OCI Object Storage en tant que lien de NoSQL Database Migrator est illustré ci-dessous.

Remarque

Les types de source valides pour le type de source OCI Object Storage sont nosqldb et nosqldb_cloud.

Modèle de configuration

"sink" : {
  "type" : "object_storage_oci",
  "format" : "json",
  "endpoint" : "<OCI Object Storage service endpoint URL or region ID>",
  "bucket" : "<bucket name>",
  "prefix" : "<object prefix>",
  "chunkSize" : <size in MB>,
  "pretty" : <true|false>,
  "credentials" : "</path/to/oci/config/file>",
  "credentialsProfile" : "<profile name in oci config file>",
  "useInstancePrincipal" : <true|false>
}

Paramètres source

type

Objet : Identifie le type de puits.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "type" : "object_storage_oci"

format

Objectif : Indique le format du récepteur.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "format" : "json"

endpoint

Objectif : indique l'URL ou l'ID de région du service OCI Object Storage.

You can either specify the complete URL or the Region ID alone. See Data Regions and Associated Service URLs in Using Oracle NoSQL Database Cloud Service for the list of data regions supported for Oracle NoSQL Database Cloud Service.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple :
- ID de région : "endpoint" : "us-ashburn-1"
- Format d'URL : "endpoint" : "https://objectstorage.us-ashburn-1.oraclecloud.com"

intervalle

Objectif : indique le nom du bucket à utiliser pour le stockage des données migrées. Assurez-vous que le bucket requis existe déjà dans l'instance OCI Object Storage et dispose des droits d'accès en écriture.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "bucket" : "staging_bucket"

préfixe

Objet : Indique le préfixe ajouté au nom de l'objet lorsque des objets sont créés dans le bucket. Le préfixe sert de conteneur logique ou de répertoire pour le stockage des données. Pour plus d'informations sur les préfixes, reportez-vous à Dénomination des objets à l'aide de préfixes et de hiérarchies.

Sinon, le nom de table de la source est utilisé comme préfixe. Si un objet portant le même nom existe déjà dans le bucket, il est écrasé.

Le schéma est migré vers le fichier <prefix>/Schema /schema.ddl et les données source sont migrées vers les fichiers <prefix>/Data/<chunk>.json, où chunk=000000.json, 000001.json, etc.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "prefix" : "my_export"
2. "prefix" : "my_export/2021-04-05/"

chunkSize

Objectif : indique la taille maximale d'un bloc de données de table à stocker au niveau du récepteur. Lors de la migration, une table est divisée en blocs chunkSize et chaque bloc est écrit dans un fichier distinct pour le récepteur. Lorsque les données source migrées dépassent cette taille, un nouveau fichier est créé.

S'il n'est pas spécifié, la valeur par défaut est 32 Mo. La valeur valide est un entier compris entre 1 et 1024.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "chunkSize" : 40

jolie

Objectif : indique si la sortie JSON doit être embellie pour améliorer la lisibilité.

Si elle n'est pas indiquée, la valeur par défaut est False.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "pretty" : true

informations d'identification

Objectif : chemin absolu vers un fichier contenant des informations d'identification OCI.

S'il n'est pas spécifié, la valeur par défaut est $HOME/.oci/config

Reportez-vous à Exemple de configuration pour obtenir un exemple de fichier d'informations d'identification.

Remarque

Même si les paramètres credentials et useInstancePrincipal ne sont pas obligatoires individuellement, l'un de ces paramètres DOIT être spécifié. En outre, ces deux paramètres sont mutuellement exclusifs. Indiquez UNIQUEMENT l'un de ces paramètres, mais pas les deux en même temps.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "credentials" : "/home/user/.oci/config"
2. "credentials" : "/home/user/security/config"

credentialsProfile

Objectif : nom du profil de configuration à utiliser pour la connexion à Oracle NoSQL Database Cloud Service. Les informations d'identification de compte utilisateur sont appelées "profil".

Si vous n'indiquez pas cette valeur, le profil DEFAULT est défini par défaut.

Remarque

Ce paramètre est valide UNIQUEMENT si le paramètre credentials est spécifié.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "credentialsProfile" : "DEFAULT"
2. "credentialsProfile": "ADMIN_USER"

useInstancePrincipal

Objectif : indique si l'outil de migration NoSQL utilise l'authentification de principal d'instance pour se connecter à Oracle NoSQL Database Cloud Service. Pour plus d'informations sur la méthode d'authentification Principal d'instance, reportez-vous à Sécurité Source et Sink.

Si elle n'est pas indiquée, la valeur par défaut est False.
Remarque
- Elle est prise en charge UNIQUEMENT lorsque l'outil NoSQL Database Migrator est exécuté dans une instance de calcul OCI, par exemple, l'outil NoSQL Database Migrator exécuté dans une machine virtuelle hébergée sur OCI.
- Même si les paramètres credentials et useInstancePrincipal ne sont pas obligatoires individuellement, l'un de ces paramètres DOIT être spécifié. En outre, ces deux paramètres sont mutuellement exclusifs. Indiquez UNIQUEMENT l'un de ces paramètres, mais pas les deux en même temps.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useInstancePrincipal" : true

Fichier Parquet dans le bucket OCI Object Storage

Le format du fichier de configuration pour le fichier Parquet dans le bucket OCI Object Storage en tant que récepteur de NoSQL Database Migrator est indiqué ci-dessous.

Remarque

Les types de source valides pour le type de source OCI Object Storage sont nosqldb et nosqldb_cloud.

Modèle de configuration

"sink" : {
  "type" : "object_storage_oci",
  "format" : "parquet",
  "endpoint" : "<OCI Object Storage service endpoint URL or region ID>",
  "bucket" : "<bucket name>",
  "prefix" : "<object prefix>",
  "chunkSize" : <size in MB>,
  "compression": "<SNAPPY|GZIP|NONE>",
  "parquetOptions": {
    "useLogicalJson": <true|false>,
    "useLogicalEnum": <true|false>,
    "useLogicalUUID": <true|false>,
    "truncateDoubleSpecials": <true|false>
  },
  "credentials" : "</path/to/oci/config/file>",
  "credentialsProfile" : "<profile name in oci config file>",
  "useInstancePrincipal" : <true|false>
}

Paramètres source

type

Objectif : Identifie le type de puits.
Type de données : chaîne
Obligatoire (Y/N) : Y
Exemple : "type" : "object_storage_oci"

format

Objectif : Indique le format du récepteur.
Type de données : chaîne
Obligatoire (Y/N) : Y
Exemple : "format" : "parquet"

endpoint

Objectif : indique l'URL endpoint ou l'ID de région du service OCI Object Storage.

Vous pouvez indiquer l'URL complète ou l'ID de région seul. Reportez-vous à Régions de données et URL de service associées dans Utilisation d'Oracle NoSQL Database Cloud Service pour obtenir la liste des régions de données prises en charge pour Oracle NoSQL Database Cloud Service.
Type de données : chaîne
Obligatoire (Y/N) : Y
Exemple :
- ID de région : "endpoint" : "us-ashburn-1"
- Format d'URL : "endpoint" : "https://objectstorage.us-ashburn-1.oraclecloud.com"

intervalle

Objectif : indique le nom du bucket à utiliser pour stocker les données migrées. Assurez-vous que le bucket requis existe déjà dans l'instance OCI Object Storage et qu'il dispose de droits d'accès en écriture.
Type de données : chaîne
Obligatoire (Y/N) : Y
Exemple : "bucket" : "staging_bucket"

préfixe

Objectif : indique le préfixe ajouté au nom d'objet lors de la création d'objets dans le bucket. Le préfixe sert de conteneur logique ou de répertoire pour le stockage des données. Pour plus d'informations sur les préfixes, reportez-vous à Droits d'objet utilisant des préfixes et des hiérarchies.

S'il n'est pas spécifié, le nom de table de la source est utilisé comme préfixe. Si un objet portant le même nom existe déjà dans le bucket, il est écrasé.

Les données source sont migrées vers les fichiers <prefix>/Data/<chunk>.parquet, où chunk=000000.parquet, 000001.parquet, etc.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "prefix" : "my_export"
2. "prefix" : "my_export/2021-04-05/"

chunkSize

Objectif : indique la taille maximale d'un bloc de données de table à stocker au niveau du récepteur. Lors de la migration, une table est divisée en blocs chunkSize et chaque bloc est écrit dans un fichier distinct pour le récepteur. Lorsque les données source migrées dépassent cette taille, un nouveau fichier est créé.

S'il n'est pas spécifié, la valeur par défaut est 32 Mo. La valeur valide est un entier compris entre 1 et 1024.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "chunkSize" : 40

Compression

Objectif : indique le type de compression à utiliser pour compresser les données Parquet. Les valeurs valides sont SNAPPY, GZIP et NONE.

S'il n'est pas spécifié, la valeur par défaut est SNAPPY.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple : "compression" : "GZIP"

parquetOptions

Objectif : indiquez les options permettant de sélectionner des types logiques Parquet pour les colonnes NoSQL ENUM, JSON et UUID.

Si vous n'indiquez pas ce paramètre, NoSQL Database Migrator écrit les données des colonnes ENUM, JSON et UUID sous forme de chaîne.
Type de données : objet
Obligatoire (O/N) : N

parquetOptions.useLogiqueJson

Objectif : indique si les données de colonne JSON NoSQL doivent être écrites en tant que type JSON logique Parquet. Pour plus d'informations, reportez-vous à Définitions des types logiques Parquet.

Si elle n'est pas spécifiée ou définie sur False, NoSQL Database Migrator écrit les données de colonne JSON NoSQL en tant que chaîne.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useLogicalJson" : true

parquetOptions.useLogicalEnum

Objectif : indique si les données de colonne NoSQL ENUM doivent être écrites en tant que type ENUM logique Parquet. Pour plus d'informations, reportez-vous à Définitions des types logiques Parquet.

Si elle n'est pas spécifiée ou définie sur False, NoSQL Database Migrator écrit les données de colonne NoSQL ENUM en tant que chaîne.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useLogicalEnum" : true

parquetOptions.useLogicalUUID

Objectif : indique si les données de colonne UUID NoSQL doivent être écrites en tant que type d'UUID logique Parquet. Pour plus d'informations, reportez-vous à Définitions des types logiques Parquet.

Si elle n'est pas spécifiée ou définie sur False, NoSQL Database Migrator écrit les données de la colonne UUID NoSQL en tant que chaîne.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useLogicalUUID" : true

parquetOptions.truncateDoubleSpecials

Objectif : indique si les valeurs +Infinity, -Infinity et Nan doivent être tronquées ou non.
La valeur par défaut est false. Si la valeur est true,
- Positive_Infinity est tronqué à Double.MAX_VALUE.
- NEGATIVE_INFINITY est tronqué à -Double.MAX_VALUE.
- NaN est tronqué à 9.9999999999999990E307.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "truncateDoubleSpecials" : true

Informations d'identification

Objectif : chemin absolu vers un fichier contenant des informations d'identification OCI.

S'il n'est pas spécifié, la valeur par défaut est $HOME/.oci/config

Pour obtenir un exemple de fichier d'informations d'identification, reportez-vous à Exemple de configuration.

Remarque

Même si les paramètres credentials et useInstancePrincipal ne sont pas obligatoires individuellement, l'un de ces paramètres DOIT être spécifié. En outre, ces deux paramètres sont mutuellement exclusifs. Indiquez UNIQUEMENT l'un de ces paramètres, mais pas les deux en même temps.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "credentials" : "/home/user/.oci/config"
2. "credentials" : "/home/user/security/config"

credentialsProfile

Objectif : nom du profil de configuration à utiliser pour la connexion à Oracle NoSQL Database Cloud Service. Les informations d'identification de compte utilisateur sont appelées "profil".

Si vous n'indiquez pas cette valeur, le profil DEFAULT est défini par défaut.

Remarque

Ce paramètre est valide UNIQUEMENT si le paramètre credentials est spécifié.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "credentialsProfile" : "DEFAULT"
2. "credentialsProfile": "ADMIN_USER"

useInstancePrincipal

Objectif : indique si l'outil de migration NoSQL utilise l'authentification de principal d'instance pour se connecter à Oracle NoSQL Database Cloud Service. Pour plus d'informations sur la méthode d'authentification de principal d'instance, reportez-vous à Sécurité de la source et du récepteur.

Si elle n'est pas indiquée, la valeur par défaut est False.
Remarque
- Elle est prise en charge UNIQUEMENT lorsque l'outil NoSQL Database Migrator est exécuté dans une instance de calcul OCI, par exemple, l'outil NoSQL Database Migrator exécuté dans une machine virtuelle hébergée sur OCI.
- Même si les paramètres credentials et useInstancePrincipal ne sont pas obligatoires individuellement, l'un de ces paramètres DOIT être spécifié. En outre, ces deux paramètres sont mutuellement exclusifs. Indiquez UNIQUEMENT l'un de ces paramètres, mais pas les deux en même temps.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useInstancePrincipal" : true

Oracle NoSQL Database

Le format du fichier de configuration d'Oracle NoSQL Database en tant que lien de NoSQL Database Migrator est illustré ci-dessous.

Modèle de configuration

"sink" : {
  "type": "nosqldb",
  "table" : "<fully qualified table name>",
  "schemaInfo" : {
    "schemaPath" : "</path/to/a/schema/file>",
    "defaultSchema" : <true|false>,
    "useSourceSchema" : <true|false>
  },
  "overwrite" : <true|false>,
  "storeName" : "<store name>",
  "helperHosts" : ["hostname1:port1","hostname2:port2,..."],
  "security" : "</path/to/store/credentials/file>",
  "requestTimeoutMs" : <timeout in milli seconds>,
  "includeTTL": <true|false>,
  "ttlRelativeDate": "<date-to-use in UTC>"
}

Paramètres de lien

type

Objectif : Identifie le type de récepteur.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "type" : "nosqldb"

table

Objectif : Nom de table complet à partir duquel migrer les données.

Format : [namespace_name:]<table_name>

Si la table se trouve dans l'espace de noms DEFAULT, vous pouvez omettre namespace_name. La table doit exister dans le magasin au cours de la migration et son schéma doit correspondre aux données source.

Si la table n'est pas disponible dans le sink, vous pouvez utiliser le paramètre schemaInfo pour indiquer à NoSQL Database Migrator de créer la table également dans le sink.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple :
- Avec l'espace de noms DEFAULT "table" :"mytable"
- Avec un espace de noms autre que par défaut "table" : "mynamespace:mytable"

schémmainfo

Objectif : indique le schéma des données en cours de migration. S'il n'est pas spécifié, il suppose que la table existe déjà dans le magasin du puits.
Type de données : Objet
Obligatoire (O/N) : N

schemaInfo.schemaPath

Objectif : indique le chemin absolu d'un fichier contenant des instructions DDL pour la table NoSQL.

Le NoSQL Database Migrator exécute les commandes DDL répertoriées dans ce fichier avant de migrer les données.

NoSQL Database Migrator ne prend pas en charge plusieurs instructions DDL par ligne dans le fichier schemaPath.
Type de données : chaîne
Obligatoire : Y, uniquement lorsque le paramètre schemaInfo.defaultSchema est défini sur Non.

schemaInfo.defaultSchema

Objectif : la définition de ce paramètre sur true indique à NoSQL Database Migrator de créer une table avec un schéma par défaut. Le schéma par défaut est défini par le programme de migration lui-même. Pour plus d'informations sur les définitions de schéma par défaut, reportez-vous à Schéma par défaut.
Type de données : booléen
Obligatoire : Y, uniquement lorsque le paramètre schemaInfo.defaultSchema est défini sur Non.

Remarque

defaultSchema et schemaPath s'excluent mutuellement

Exemple :

Avec le schéma par défaut :

"schemaInfo" : {
      "defaultSchema" : true
    }

Avec un schéma prédéfini :

"schemaInfo" : {
      "schemaPath" : "<complete/path/to/the/schema/definition/file>"
    }

schemaInfo.useSourceSchema

Objectif : indique si le dissipateur utilise ou non la définition de schéma de table fournie par la source lors de la migration de tables NoSQL.
Type de données : booléen
Obligatoire (O/N) : N
Remarque

Les paramètres defaultSchema, schemaPath et useSourceSchema s'excluent mutuellement. Indiquez UNIQUEMENT l'un de ces paramètres.

Exemple :

Avec le schéma par défaut :

"schemaInfo" : {
      "defaultSchema" : true
    }

Avec un schéma prédéfini :

"schemaInfo" : {
      "schemaPath" : "<complete/path/to/the/schema/definition/file>"
    }

Avec le schéma source :

"schemaInfo" : {
      "useSourceSchema" : true
    }

remplacer

Objectif : Indique le comportement de NoSQL Database Migrator lorsque l'enregistrement en cours de migration à partir de la source est déjà présent dans le puits.

Si la valeur est définie sur False, lors de la migration des tables, NoSQL Database Migrator ignore les enregistrements pour lesquels la même clé primaire existe déjà dans le sink.

Si la valeur est définie sur True, lors de la migration des tables, NoSQL Database Migrator écrase les enregistrements pour lesquels la même clé primaire existe déjà dans le dissipateur.

Si elle n'est pas indiquée, la valeur par défaut est True.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "overwrite" : false

storeName

Objectif : Nom du magasin Oracle NoSQL Database.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "storeName" : "kvstore"

helperHosts

Objectif : Liste des paires hôte et port de registre au format hostname:port. Délimitez chaque élément de la liste par une virgule. Vous devez indiquer au moins un hôte d'assistance.
Type de données : tableau de chaînes
Obligatoire (O/N) : Y
Exemple : "helperHosts" : ["localhost:5000","localhost:6000"]

Sécurité

Objectif :

Si votre magasin est un magasin sécurisé, indiquez le chemin absolu du fichier de connexion de sécurité contenant vos informations d'identification de magasin. Reportez-vous à la section Configuring Security with Remote Access in Administrator's Guide pour en savoir plus sur le fichier de connexion de sécurité.

Vous pouvez utiliser l'authentification basée sur un fichier de mots de passe ou l'authentification basée sur un portefeuille. Toutefois, l'authentification basée sur le portefeuille n'est prise en charge que dans Enterprise Edition (EE) d'Oracle NoSQL Database. Pour plus d'informations sur l'authentification basée sur un portefeuille, reportez-vous à la section Source and Sink Security.
Type de données : chaîne
Obligatoire (O/N) : Y pour un magasin sécurisé

Exemple :

"security" : "/home/user/client.credentials"

Exemple de contenu de fichier de sécurité pour l'authentification basée sur un fichier de mots de passe :

oracle.kv.password.noPrompt=true
oracle.kv.auth.username=admin
oracle.kv.auth.pwdfile.file=/home/nosql/login.passwd
oracle.kv.transport=ssl
oracle.kv.ssl.trustStore=/home/nosql/client.trust
oracle.kv.ssl.protocols=TLSv1.2
oracle.kv.ssl.hostnameVerifier=dnmatch(CN\=NoSQL)

Exemple de contenu du fichier de sécurité pour l'authentification basée sur un portefeuille :

oracle.kv.password.noPrompt=true
oracle.kv.auth.username=admin
oracle.kv.auth.wallet.dir=/home/nosql/login.wallet
oracle.kv.transport=ssl
oracle.kv.ssl.trustStore=/home/nosql/client.trust
oracle.kv.ssl.protocols=TLSv1.2
oracle.kv.ssl.hostnameVerifier=dnmatch(CN\=NoSQL)

requestTimeoutMs

Objectif : Indique le temps d'attente de chaque opération d'écriture dans le dissipateur. Elle est fournie en millisecondes. La valeur par défaut est 5000. Il doit s'agir d'un entier positif.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "requestTimeoutMs" : 5000

includeTTL

Objectif : indique si les métadonnées de durée de vie des lignes de table fournies par la source doivent être incluses lors de l'import des tables Oracle NoSQL Database.

Si vous n'indiquez pas ce paramètre, la valeur par défaut est false. Dans ce cas, NoSQL Database Migrator n'inclut pas les métadonnées de durée de vie pour les lignes de table fournies par la source lors de l'import des tables Oracle NoSQL Database.
Si la valeur est True, l'outil NoSQL Database Migrator effectue les vérifications suivantes sur les métadonnées de durée de vie lors de l'importation d'une ligne de table :
- Si vous importez une ligne sans définition _metadata, l'outil NoSQL Database Migrator définit la durée de vie sur 0, ce qui signifie que la ligne n'expire jamais.
- Si vous importez une ligne comportant une définition _metadata, l'outil NoSQL Database Migrator compare la valeur de durée de vie à une heure de référence lorsqu'une ligne est importée. Si la ligne a déjà expiré par rapport à l'heure de référence, elle est ignorée. Si la ligne n'a pas expiré, elle est importée avec la valeur de durée de vie. Par défaut, l'opération Heure de référence de l'import est l'heure en cours, en millisecondes, obtenue à partir de System.currentTimeMillis(), de l'ordinateur sur lequel l'outil de migration de base de données NoSQL est exécuté. Toutefois, vous pouvez également définir une heure de référence personnalisée à l'aide du paramètre de configuration ttlRelativeDate si vous souhaitez prolonger la durée d'expiration et importer les lignes qui expireraient immédiatement.
  La formule permettant de calculer l'heure d'expiration d'une ligne est la suivante :
```
expiration = (TTL value of source row in milliseconds - Reference Time in milliseconds)
if (expiration <= 0) then it indicates that row has expired.
```
  Remarque
  
  Etant donné que les limites de durée de vie d'Oracle NoSQL sont exprimées en heures et en jours, dans certains cas, la durée de vie de la ligne importée peut être ajustée à l'heure ou au jour le plus proche. Par exemple, prenons une ligne dont la valeur d'expiration est 1629709200000 (2021-08-23 09:00:00) et la valeur d'heure de référence est 1629707962582 (2021-08-23 08:39:22). Ici, même si la ligne n'a pas expiré par rapport à l'heure de référence lors de l'import de ces données, la nouvelle durée de vie de la ligne est 1629712800000 (2021-08-23 10:00:00).
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "includeTTL" : true

ttlRelativeDate

Objectif : indiquez une date UTC au format YYYY-MM-DD hh:mm:ss utilisé pour définir la durée de vie des lignes de table lors de l'import dans Oracle NoSQL Database.

Si une ligne de table des données à exporter a expiré, vous pouvez définir le paramètre ttlRelativeDate sur une date antérieure à l'heure d'expiration de la ligne de table dans les données exportées.

Si vous n'indiquez pas ce paramètre, il s'agit par défaut de l'heure en cours, en millisecondes, obtenue à partir de System.currentTimeMillis(), de l'ordinateur sur lequel l'outil NoSQL Database Migrator est exécuté.
Type de données : date
Obligatoire (O/N) : N
Exemple : "ttlRelativeDate" : "2021-01-03 04:31:17"
Considérons un scénario dans lequel les lignes de tableau expirent après sept jours à partir du 1er janvier 2021. Après avoir exporté cette table, le 7 janvier 2021, vous rencontrez un problème avec votre table et décidez d'importer les données. Les lignes de la table expirent dans un jour (date d'expiration des données moins la valeur par défaut du paramètre de configuration ttlRelativedate, qui est la date actuelle). Toutefois, si vous voulez prolonger la date d'expiration des lignes de la table à cinq jours au lieu d'un jour, utilisez le paramètre ttlRelativeDate et choisissez une date antérieure. Par conséquent, dans ce scénario, si vous voulez prolonger de cinq jours l'heure d'expiration des lignes de la table, définissez la valeur des paramètres de configuration ttlRelativeDate sur 3-Jan-2021, qui est utilisée comme heure de référence lors de l'import des lignes de la table.

Oracle NoSQL Database Cloud Service

Le format du fichier de configuration d'Oracle NoSQL Database Cloud Service en tant que lien de NoSQL Database Migrator est indiqué ci-dessous.

Modèle de configuration

"sink" : {
    "type" : "nosqldb_cloud",
    "endpoint" : "<Oracle NoSQL Cloud Service Endpoint>",
    "table" : "<table name>",
    "compartment" : "<OCI compartment name or id>",
    "schemaInfo" : {
      "schemaPath" : "</path/to/a/schema/file>",
      "defaultSchema" : <true|false>,
      "useSourceSchema" : <true|false>,
      "readUnits" : <table read units>,
      "writeUnits" : <table write units>,
      "storageSize" : <storage size in GB>
    },
    "credentials" : "</path/to/oci/credential/file>",
    "credentialsProfile" : "<oci credentials profile name>",
    "writeUnitsPercent" : <table writeunits percent>,
    "requestTimeoutMs" : <timeout in milli seconds>,
    "useInstancePrincipal" : <true|false>,
    "overwrite" : <true|false>,
    "includeTTL": <true|false>,
    "ttlRelativeDate" : "<date-to-use in UTC>"  
}

Paramètres du récepteur

type

Objectif : Identifie le type de récepteur.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "type" : "nosqldb_cloud"

adresse

Objectif : indique l'adresse de service d'Oracle NoSQL Database Cloud Service.

Vous pouvez indiquer l'URL complète ou l'ID de région seul. Reportez-vous à Régions de données et URL de service associées dans Utilisation d'Oracle NoSQL Database Cloud Service pour obtenir la liste des régions de données prises en charge pour Oracle NoSQL Database Cloud Service.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple :
- ID de région : "endpoint" : "us-ashburn-1"
- Format d'URL : "endpoint" : "https://nosql.us-ashburn-1.oci.oraclecloud.com/"

table

Objectif : Nom de la table vers laquelle migrer les données.

Vous devez vous assurer que cette table existe dans Oracle NoSQL Database Cloud Service. Sinon, vous devez utiliser l'objet schemaInfo dans la configuration de sink pour indiquer à NoSQL Database Migrator de créer la table.

Le schéma de cette table doit correspondre aux données source.
Type de données : chaîne
Obligatoire (O/N) : Y
Exemple : "table" :"myTable"

compartiment

Objectif : indique le nom ou l'OCID du compartiment dans lequel réside la table.

Si vous n'indiquez aucune valeur, le compartiment root est défini par défaut.

Vous pouvez trouver l'OCID de votre compartiment dans la fenêtre Explorateur de compartiment, sous Gouvernance, dans la console OCI Cloud.
Type de données : chaîne
Obligatoire (Y/N) : Y si la table ne se trouve pas dans le compartiment racine de la location OU lorsque le paramètre useInstancePrincipal est défini sur True.
Remarque

Si le paramètre useInstancePrincipal est défini sur True, le compartiment doit indiquer l'OCID de compartiment et non le nom.
Exemple :
- Nom de compartiment
  
  "compartment" : "mycompartment"
- Nom de compartiment qualifié avec son compartiment parent
  
  "compartment" : "parent.childcompartment"
- Aucune valeur fournie. La valeur par défaut est le compartiment racine.
  
  "compartment": ""
- OCID de compartiment
  
  "compartment" : "ocid1.tenancy.oc1...4ksd"

schemaInfo

Objectif : indique le schéma des données en cours de migration.

Si vous ne spécifiez pas ce paramètre, NoSQL Database Migrator suppose que la table existe déjà dans Oracle NoSQL Database Cloud Service.

Si ce paramètre n'est pas spécifié et que la table n'existe pas dans l'évier, la migration échoue.
Type de données : Objet
Obligatoire (O/N) : N

schemaInfo.schemaPath

Objectif : indique le chemin absolu d'un fichier contenant des instructions DDL pour la table NoSQL.

Le NoSQL Database Migrator exécute les commandes DDL répertoriées dans ce fichier avant de migrer les données.

NoSQL Database Migrator ne prend pas en charge plusieurs instructions DDL par ligne dans le fichier schemaPath.
Type de données : chaîne
Obligatoire : Y, uniquement lorsque le paramètre schemaInfo.defaultSchema est défini sur Non.

schemaInfo.defaultSchema

Objectif : la définition de ce paramètre sur Oui indique à NoSQL Database Migrator de créer une table avec un schéma par défaut. Le schéma par défaut est défini par le programme de migration lui-même. Pour plus d'informations sur les définitions de schéma par défaut, reportez-vous à Schéma par défaut.
Type de données : booléen
Obligatoire : Y, uniquement lorsque le paramètre schemaInfo.defaultSchema est défini sur Non.

Remarque

defaultSchema et schemaPath s'excluent mutuellement

schemaInfo.useSourceSchema

Objectif : indique si le dissipateur utilise ou non la définition de schéma de table fournie par la source lors de la migration de tables NoSQL.
Type de données : booléen
Obligatoire (O/N) : N
Remarque

Les paramètres defaultSchema, schemaPath et useSourceSchema s'excluent mutuellement. Indiquez UNIQUEMENT l'un de ces paramètres.

Exemple :

Avec le schéma par défaut :

"schemaInfo" : {
      "defaultSchema" : true,
      "readUnits" : 100,
      "writeUnits" : 60,
      "storageSize" : 1 
    }

Avec un schéma prédéfini :

"schemaInfo" : {
      "schemaPath" : "<complete/path/to/the/schema/definition/file>",
      "readUnits" : 100,
      "writeUnits" : 100,
      "storageSize" : 1
    }

Avec le schéma source :

"schemaInfo" : {
      "useSourceSchema" : true,
      "readUnits" : 100,
      "writeUnits" : 60,
      "storageSize" : 1
    }

schemaInfo.readUnits

Objectif : Indique le débit de lecture de la nouvelle table.
Type de données : entier
Obligatoire : Y

schemaInfo.writeUnits

Objectif : Indique le débit d'écriture de la nouvelle table.
Type de données : entier
Obligatoire : Y

schemaInfo.storageSize

Objectif : Indique la taille de stockage de la nouvelle table en Go.
Type de données : entier
Obligatoire : Y

Exemple :

Avec schemaPath

"schemaInfo" : { 
  "schemaPath" : "</path/to/a/schema/file>",
  "readUnits" : 500,
  "writeUnits" : 1000,
  "storageSize" : 5 }

Avec defaultSchema

"schemaInfo" : {
  "defaultSchema" :Yes,
  "readUnits" : 500,   
  "writeUnits" : 1000,   
  "storageSize" : 5  
}

informations d'identification

Objectif : chemin absolu vers un fichier contenant les informations d'identification OCI.

S'il n'est pas spécifié, la valeur par défaut est $HOME/.oci/config.

Reportez-vous à Exemple de configuration pour obtenir un exemple du fichier d'informations d'identification.

Remarque

Même si les paramètres credentials et useInstancePrincipal ne sont pas obligatoires individuellement, l'un de ces paramètres DOIT être spécifié. En outre, ces deux paramètres sont mutuellement exclusifs. Indiquez UNIQUEMENT l'un de ces paramètres, mais pas les deux en même temps.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "credentials" : "/home/user/.oci/config"
2. "credentials" : "/home/user/security/config"

credentialsProfile

Objectif : nom du profil de configuration à utiliser pour la connexion à Oracle NoSQL Database Cloud Service.

Si vous n'indiquez pas cette valeur, elle est définie par défaut sur le profil DEFAULT.

Remarque

Ce paramètre est valide UNIQUEMENT si le paramètre credentials est spécifié.
Type de données : chaîne
Obligatoire (O/N) : N
Exemple :
1. "credentialsProfile" : "DEFAULT"
2. "credentialsProfile": "ADMIN_USER"

writeUnitsPercent

Objectif : indique le pourcentage d'unités d'écriture de table à utiliser lors de l'activité de migration.

La valeur par défaut est 90. La plage valide est n'importe quel entier compris entre 1 et 100.

Remarque

Le temps requis pour la migration des données est directement proportionnel à la valeur writeUnitsPercent.

Reportez-vous à la section Troubleshooting the Oracle NoSQL Database Migrator pour savoir comment utiliser cet attribut pour améliorer la vitesse de migration des données.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "writeUnitsPercent" : 90

requestTimeoutMs

Objectif : Indique le temps d'attente de chaque opération d'écriture dans le dissipateur. Elle est fournie en millisecondes. La valeur par défaut est 5000. Il doit s'agir d'un entier positif.
Type de données : entier
Obligatoire (O/N) : N
Exemple : "requestTimeoutMs" : 5000

useInstancePrincipal

Objectif : indique si l'outil de migration NoSQL utilise l'authentification de principal d'instance pour se connecter à Oracle NoSQL Database Cloud Service. Pour plus d'informations sur la méthode d'authentification Principal d'instance, reportez-vous à Sécurité Source et Sink.

Si elle n'est pas spécifiée, la valeur par défaut est False.
Remarque
- Elle est uniquement prise en charge lorsque l'outil NoSQL Database Migrator est exécuté dans une instance de calcul OCI, par exemple, l'outil NoSQL Database Migrator exécuté sur une machine virtuelle hébergée sur OCI.
- Même si les paramètres credentials et useInstancePrincipal ne sont pas obligatoires individuellement, l'un de ces paramètres DOIT être spécifié. En outre, ces deux paramètres sont mutuellement exclusifs. Indiquez UNIQUEMENT l'un de ces paramètres, mais pas les deux en même temps.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "useInstancePrincipal" : true

remplacer

Objectif : Indique le comportement de NoSQL Database Migrator lorsque l'enregistrement en cours de migration à partir de la source est déjà présent dans le puits.

Si la valeur est définie sur False, lors de la migration des tables, NoSQL Database Migrator ignore les enregistrements pour lesquels la même clé primaire existe déjà dans le sink.

Si la valeur est définie sur True, lors de la migration des tables, NoSQL Database Migrator écrase les enregistrements pour lesquels la même clé primaire existe déjà dans le dissipateur.

Si elle n'est pas indiquée, la valeur par défaut est True.
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "overwrite" : false

includeTTL

Objectif : indique si les métadonnées de durée de vie des lignes de table fournies par la source doivent être incluses lors de l'import des tables Oracle NoSQL Database.

Si vous n'indiquez pas ce paramètre, la valeur par défaut est false. Dans ce cas, NoSQL Database Migrator n'inclut pas les métadonnées de durée de vie pour les lignes de table fournies par la source lors de l'import des tables Oracle NoSQL Database.
Si la valeur est True, l'outil NoSQL Database Migrator effectue les vérifications suivantes sur les métadonnées de durée de vie lors de l'importation d'une ligne de table :
- Si vous importez une ligne sans définition _metadata, l'outil NoSQL Database Migrator définit la durée de vie sur 0, ce qui signifie que la ligne n'expire jamais.
- Si vous importez une ligne comportant une définition _metadata, l'outil NoSQL Database Migrator compare la valeur de durée de vie à une heure de référence lorsqu'une ligne est importée. Si la ligne a déjà expiré par rapport à l'heure de référence, elle est ignorée. Si la ligne n'a pas expiré, elle est importée avec la valeur de durée de vie. Par défaut, l'opération Heure de référence de l'import est l'heure en cours, en millisecondes, obtenue à partir de System.currentTimeMillis(), de l'ordinateur sur lequel l'outil de migration de base de données NoSQL est exécuté. Toutefois, vous pouvez également définir une heure de référence personnalisée à l'aide du paramètre de configuration ttlRelativeDate si vous souhaitez prolonger la durée d'expiration et importer les lignes qui expireraient immédiatement.
  La formule permettant de calculer l'heure d'expiration d'une ligne est la suivante :
```
expiration = (TTL value of source row in milliseconds - Reference Time in milliseconds)
if (expiration <= 0) then it indicates that row has expired.
```
  Remarque
  
  Etant donné que les limites de durée de vie d'Oracle NoSQL sont exprimées en heures et en jours, dans certains cas, la durée de vie de la ligne importée peut être ajustée à l'heure ou au jour le plus proche. Par exemple, prenons une ligne dont la valeur d'expiration est 1629709200000 (2021-08-23 09:00:00) et la valeur d'heure de référence est 1629707962582 (2021-08-23 08:39:22). Ici, même si la ligne n'a pas expiré par rapport à l'heure de référence lors de l'import de ces données, la nouvelle durée de vie de la ligne est 1629712800000 (2021-08-23 10:00:00).
Type de données : booléen
Obligatoire (O/N) : N
Exemple : "includeTTL" : true

ttlRelativeDate

Objectif : indiquez une date UTC au format YYYY-MM-DD hh:mm:ss utilisé pour définir la durée de vie des lignes de table lors de l'import dans Oracle NoSQL Database.

Si une ligne de table des données à exporter a expiré, vous pouvez définir le paramètre ttlRelativeDate sur une date antérieure à l'heure d'expiration de la ligne de table dans les données exportées.

Si vous n'indiquez pas ce paramètre, il s'agit par défaut de l'heure en cours, en millisecondes, obtenue à partir de System.currentTimeMillis(), de l'ordinateur sur lequel l'outil NoSQL Database Migrator est exécuté.
Type de données : date
Obligatoire (O/N) : N
Exemple : "ttlRelativeDate" : "2021-01-03 04:31:17"
Considérons un scénario dans lequel les lignes de tableau expirent après sept jours à partir du 1er janvier 2021. Après avoir exporté cette table, le 7 janvier 2021, vous rencontrez un problème avec votre table et décidez d'importer les données. Les lignes de la table expirent dans un jour (date d'expiration des données moins la valeur par défaut du paramètre de configuration ttlRelativedate, qui est la date actuelle). Toutefois, si vous voulez prolonger la date d'expiration des lignes de la table à cinq jours au lieu d'un jour, utilisez le paramètre ttlRelativeDate et choisissez une date antérieure. Par conséquent, dans ce scénario, si vous voulez prolonger de cinq jours l'heure d'expiration des lignes de la table, définissez la valeur des paramètres de configuration ttlRelativeDate sur 3-Jan-2021, qui est utilisée comme heure de référence lors de l'import des lignes de la table.

Documentation Oracle Cloud Infrastructure

Fichier JSON

Fichier Parquet

Fichier JSON dans le bucket OCI Object Storage

Fichier Parquet dans le bucket OCI Object Storage

Oracle NoSQL Database

Oracle NoSQL Database Cloud Service