シンク構成テンプレート

有効な各シンク用のシンク構成ファイル形式および各構成パラメータの用途について学習します。

構成ファイル・テンプレートについては、Oracle NoSQL Database Migratorで使用される用語の構成ファイルを参照してください。

各シンクの有効なソース形式の詳細は、「ソース構成テンプレート」を参照してください。

トピック

次のトピックでは、有効なソースから特定のシンクにデータをコピーするためにOracle NoSQL Database Migratorによって参照されるシンク構成テンプレートについて説明します。

• JSONファイル・シンク

  指定されたJSONファイル。

• Parquetファイル

  指定されたディレクトリ内のParquetファイル。

• OCIオブジェクト・ストレージ・バケットのJSONファイル

  指定されたOCIオブジェクト・ストレージ・バケット内のJSONファイル。

• OCIオブジェクト・ストレージ・バケットのParquetファイル

  指定されたOCIオブジェクト・ストレージ・バケット内のParquetファイル。

• Oracle NoSQL Database

  Oracle NoSQL Databaseで指定された表。

• Oracle NoSQL Database Cloud Service

  Oracle NoSQL Database Cloud Serviceで指定された表。

JSONファイル・シンク

NoSQL Database MigratorのシンクとしてのJSONファイルの構成ファイル形式を次に示します。

シンク構成テンプレート

"sink" : {
  "type" : "file",
  "format" : "json",
  "dataPath": "</path/to/a/file>",
  "schemaPath" : "<path/to/a/file>",
  "pretty" : <true|false>,
  "useMultiFiles" : <true|false>,
  "chunkSize" : <size in MB>
}

シンク・パラメータ

共通の構成パラメータ

• type

  "type" : "file"を使用します

• format

  "format" : "json"を使用します

• chunkSize

  例: "chunkSize" : 40

  ノート:

  このパラメータは、useMultiFilesパラメータがtrueに設定されている場合にのみ適用できます。

一意の構成パラメータ

• dataPath
• schemaPath
• pretty
• useMultiFiles

dataPath

• 用途: ソース・データがJSON形式でコピーされるファイルへの絶対パスを指定します。

  指定されたデータ・パスにファイルが存在しない場合は、NoSQL Database Migratorによって作成されます。存在する場合は、NoSQL Database Migratorによってその内容がソース・データで上書きされます。

  データ・パスに指定されたファイルの親ディレクトリが有効であることを確認する必要があります。

  ノート:

  useMultiFilesパラメータがtrueに設定されている場合、ディレクトリへのパスを指定し、それ以外の場合はファイルへのパスを指定します。
• データ型: 文字列
• 必須(Y/N): Y
• 例:

  • useMultiFilesパラメータがtrueに設定されている場合

    "dataPath" :"/home/user/data"

  • useMultiFilesパラメータが指定されていないか、falseに設定されている場合

    "dataPath" :"/home/user/sample.json"

schemaPath

• 用途: ソースによって提供される表スキーマ情報を書き込むファイルへの絶対パスを指定します。

  この値を定義しないと、ソース・スキーマ情報はシンクに移行されません。この値を指定すると、マイグレータ・ユーティリティによって、ここで指定したファイルにソース表のスキーマが書き込まれます。

  スキーマ情報は、このファイルの行ごとに1つのDDLコマンドとして書き込まれます。指定されたデータ・パスにファイルが存在しない場合は、NoSQL Database Migratorによって作成されます。すでに存在する場合は、NoSQL Database Migratorによってその内容がソース・データで上書きされます。データ・パスに指定されたファイルの親ディレクトリが有効であることを確認する必要があります。

• データ型: 文字列
• 必須(Y/N): N

• 例: "schemaPath" : "/home/user/schema_file"

pretty

• 用途: JSON出力を整形して読みやすくするかどうかを指定します。

  指定しなかい場合は、デフォルトでfalseに設定されます。

• データ型: ブール
• 必須(Y/N): N

• 例: "pretty" : true

useMultiFiles

• 用途: ソース・データをファイルに移行するときに、NoSQL表データを複数のファイルに分割するかどうかを指定します。

  指定しなかい場合は、デフォルトでfalseに設定されます。

  trueに設定すると、ソース・データをファイルに移行するときに、NoSQL表データが複数の小さいファイルに分割されます。たとえば、<chunk>.jsonです(chunk=000000、000001、000002など)。

  dataPath
           |--000000.json
           |--000001.json

• データ型: ブール
• 必須(Y/N): N

• 例: "useMultiFiles" : true

Parquetファイル

NoSQL Database MigratorのシンクとしてのParquetファイルの構成ファイル形式を次に示します。

シンク構成テンプレート

"sink" : {
  "type" : "file",
  "format" : "parquet",
  "dataPath": "</path/to/a/dir>",
  "chunkSize" : <size in MB>,
  "compression": "<SNAPPY|GZIP|NONE>",
  "parquetOptions": {
    "useLogicalJson": <true|false>,
    "useLogicalEnum": <true|false>,
    "useLogicalUUID": <true|false>,     
    "truncateDoubleSpecials": <true|false>
  }
}

シンク・パラメータ

共通の構成パラメータ

• type

  "type" : "file"を使用します

• format

  "format" : "parquet"を使用します

• chunkSize

  例: "chunkSize" : 40

一意の構成パラメータ

• dataPath
• compression
• parquetOptions
• parquetOptions.useLogicalJson
• parquetOptions.useLogicalEnum
• parquetOptions.useLogicalUUID
• parquetOptions.truncateDoubleSpecials

dataPath

• 用途: 移行されたNoSQL表データを格納するためのディレクトリへのパスを指定します。ディレクトリがすでに存在し、読取り権限および書込み権限があることを確認します。

• データ型: 文字列
• 必須(Y/N): Y

• 例: "dataPath" : "/home/user/migrator/my_table"

compression

• 用途: Parquetデータを圧縮するために使用する圧縮タイプを指定します。有効な値は、SNAPPY、GZIPおよびNONEです。

  指定しない場合は、デフォルトでSNAPPYに設定されます。

• データ型: 文字列
• 必須(Y/N): N

• 例: "compression" : "GZIP"

parquetOptions

• 用途: NoSQL ENUM、JSONおよびUUID列のParquet論理型を選択するオプションを指定します。

  このパラメータを指定しない場合、NoSQL Database Migratorは、ENUM、JSONおよびUUID列のデータを文字列として書き込みます。

• データ型: オブジェクト
• 必須(Y/N): N

parquetOptions.useLogicalJson

• 用途: NoSQL JSON列データをParquet論理JSON型として書き込むかどうかを指定します。詳細は、Parquet論理型の定義を参照してください。

  指定されていないかfalseに設定されている場合、NoSQL Database MigratorはNoSQL JSON列データを文字列として書き込みます。

• データ型: ブール
• 必須(Y/N): N

• 例: "useLogicalJson" : true

parquetOptions.useLogicalEnum

• 用途: NoSQL ENUM列データをParquet論理ENUM型として書き込むかどうかを指定します。詳細は、Parquet論理型の定義を参照してください。

  指定されていないかfalseに設定されている場合、NoSQL Database MigratorはNoSQL ENUM列データを文字列として書き込みます。

• データ型: ブール
• 必須(Y/N): N

• 例: "useLogicalEnum" : true

parquetOptions.useLogicalUUID

• 用途: NoSQL UUID列データをParquet論理UUID型として書き込むかどうかを指定します。詳細は、Parquet論理型の定義を参照してください。

  指定されていないかfalseに設定されている場合、NoSQL Database MigratorはNoSQL UUID列データを文字列として書き込みます。

• データ型: ブール
• 必須(Y/N): N

• 例: "useLogicalUUID" : true

parquetOptions.truncateDoubleSpecials

• 用途: doubleの+Infinity、-InfinityおよびNaN値を切り捨てるかどうかを指定します。

  デフォルトでは、これはfalseに設定されています。trueに設定されている場合、

  • Positive_InfinityはDouble.MAX_VALUEに切り捨てられます。
  • NEGATIVE_INFINITYは-Double.MAX_VALUEに切り捨てられます。
  • NaNは9.9999999999999990E307に切り捨てられます。
• データ型: ブール
• 必須(Y/N): N

• 例: "truncateDoubleSpecials" : true

OCIオブジェクト・ストレージ・バケットのJSONファイル

NoSQL Database MigratorのシンクとしてのOCIオブジェクト・ストレージ・バケットのJSONファイルの構成ファイル形式を次に示します。

ノート:

シンクとしてのOCIオブジェクト・ストレージの有効なソース・タイプは、nosqldbおよびnosqldb_cloudです。

シンク構成テンプレート

"sink" : {
  "type" : "object_storage_oci",
  "format" : "json",
  "endpoint" : "<OCI Object Storage service endpoint URL or region ID>",
  "namespace" : "<OCI Object Storage namespace>",
  "bucket" : "<bucket name>",
  "prefix" : "<object prefix>",
  "chunkSize" : <size in MB>,
  "pretty" : <true|false>,
  "credentials" : "</path/to/oci/config/file>",
  "credentialsProfile" : "<profile name in oci config file>",
  "useInstancePrincipal" : <true|false>,  
  "useDelegationToken" : <true|false>
}

シンク・パラメータ

共通の構成パラメータ

• type

  "type" : "object_storage_oci"を使用します

• format

  "format" : "json"を使用します

• endpoint
  次に例を示します。

  • リージョンID: "endpoint" : "us-ashburn-1"

  • URL形式: "endpoint" : "https://objectstorage.us-ashburn-1.oraclecloud.com"

• namespace

  例: "namespace" : "my-namespace"

• bucket

  例: "bucket" : "my-bucket"

• prefix

  スキーマは<prefix>/Schema /schema.ddlファイルに移行され、ソース・データは<prefix>/Data/<chunk>.jsonファイルに移行されます(chunk=000000.json、000001.jsonなど)。

  次に例を示します。

  1. "prefix" : "my_export"
  2. "prefix" : "my_export/2021-04-05/"
• chunkSize

  例: "chunkSize" : 40

• credentials
  次に例を示します。

  1. "credentials" : "/home/user/.oci/config"
  2. "credentials" : "/home/user/security/config"
• credentialsProfile
  次に例を示します。

  1. "credentialsProfile" : "DEFAULT"
  2. "credentialsProfile" : "ADMIN_USER"
• useInstancePrincipal

  例: "useInstancePrincipal" : true

• useDelegationToken

  例: "useDelegationToken" : true

  ノート:

  委任トークンを使用した認証は、NoSQL Database Migratorがクラウド・シェルから実行されている場合にのみサポートされます。

一意の構成パラメータ

pretty

• 用途: JSON出力を整形して読みやすくするかどうかを指定します。

  指定しなかい場合は、デフォルトでfalseに設定されます。

• データ型: ブール
• 必須(Y/N): N

• 例: "pretty" : true

OCIオブジェクト・ストレージ・バケットのParquetファイル

NoSQL Database MigratorのシンクとしてのOCIオブジェクト・ストレージ・バケットのParquetファイルの構成ファイル形式を次に示します。

ノート:

OCIオブジェクト・ストレージのソース・タイプの有効なソース・タイプは、nosqldbおよびnosqldb_cloudです。

シンク構成テンプレート

"sink" : {
  "type" : "object_storage_oci",
  "format" : "parquet",
  "endpoint" : "<OCI Object Storage service endpoint URL or region ID>",
  "namespace" : "<OCI Object Storage namespace>",
  "bucket" : "<bucket name>",
  "prefix" : "<object prefix>",
  "chunkSize" : <size in MB>,
  "compression": "<SNAPPY|GZIP|NONE>",
  "parquetOptions": {
    "useLogicalJson": <true|false>,
    "useLogicalEnum": <true|false>,
    "useLogicalUUID": <true|false>,
    "truncateDoubleSpecials": <true|false>
  },
  "credentials" : "</path/to/oci/config/file>",
  "credentialsProfile" : "<profile name in oci config file>",
  "useInstancePrincipal" : <true|false>,
  "useDelegationToken" : <true|false>
}

シンク・パラメータ

共通の構成パラメータ

• type

  "type" : "object_storage_oci"を使用します

• format

  "format" : "parquet"を使用します

• endpoint
  次に例を示します。

  • リージョンID: "endpoint" : "us-ashburn-1"

  • URL形式: "endpoint" : "https://objectstorage.us-ashburn-1.oraclecloud.com"

• namespace

  例: "namespace" : "my-namespace"

• bucket

  例: "bucket" : "my-bucket"

• prefix

  ソース・データは、<prefix>/Data/<chunk>.parquetファイル(chunk=000000.parquet、000001.parquetなど)に移行されます。

  次に例を示します。

  1. "prefix" : "my_export"
  2. "prefix" : "my_export/2021-04-05/"
• chunkSize

  例: "chunkSize" : 40

• credentials
  次に例を示します。

  1. "credentials" : "/home/user/.oci/config"
  2. "credentials" : "/home/user/security/config"
• credentialsProfile
  次に例を示します。

  1. "credentialsProfile" : "DEFAULT"
  2. "credentialsProfile" : "ADMIN_USER"
• useInstancePrincipal

  例: "useInstancePrincipal" : true

• useDelegationToken

  例: "useDelegationToken" : true

  ノート:

  委任トークンを使用した認証は、NoSQL Database Migratorがクラウド・シェルから実行されている場合にのみサポートされます。

一意の構成パラメータ

• compression
• parquetOptions
• parquetOptions.useLogicalJson
• parquetOptions.useLogicalEnum
• parquetOptions.useLogicalUUID
• parquetOptions.truncateDoubleSpecials

compression

• 用途: Parquetデータを圧縮するために使用する圧縮タイプを指定します。有効な値は、SNAPPY、GZIPおよびNONEです。

  指定しない場合は、デフォルトでSNAPPYに設定されます。

• データ型: 文字列
• 必須(Y/N): N

• 例: "compression" : "GZIP"

parquetOptions

• 用途: NoSQL ENUM、JSONおよびUUID列のParquet論理型を選択するオプションを指定します。

  このパラメータを指定しない場合、NoSQL Database Migratorは、ENUM、JSONおよびUUID列のデータを文字列として書き込みます。

• データ型: オブジェクト
• 必須(Y/N): N

parquetOptions.useLogicalJson

• 用途: NoSQL JSON列データをParquet論理JSON型として書き込むかどうかを指定します。詳細は、Parquet論理型の定義を参照してください。

  指定されていないかfalseに設定されている場合、NoSQL Database MigratorはNoSQL JSON列データを文字列として書き込みます。

• データ型: ブール
• 必須(Y/N): N

• 例: "useLogicalJson" : true

parquetOptions.useLogicalEnum

• 用途: NoSQL ENUM列データをParquet論理ENUM型として書き込むかどうかを指定します。詳細は、Parquet論理型の定義を参照してください。

  指定されていないかfalseに設定されている場合、NoSQL Database MigratorはNoSQL ENUM列データを文字列として書き込みます。

• データ型: ブール
• 必須(Y/N): N

• 例: "useLogicalEnum" : true

parquetOptions.useLogicalUUID

• 用途: NoSQL UUID列データをParquet論理UUID型として書き込むかどうかを指定します。詳細は、Parquet論理型の定義を参照してください。

  指定されていないかfalseに設定されている場合、NoSQL Database MigratorはNoSQL UUID列データを文字列として書き込みます。

• データ型: ブール
• 必須(Y/N): N

• 例: "useLogicalUUID" : true

parquetOptions.truncateDoubleSpecials

• 用途: doubleの+Infinity、-InfinityおよびNaN値を切り捨てるかどうかを指定します。

  デフォルトでは、これはfalseに設定されています。trueに設定されている場合、

  • Positive_InfinityはDouble.MAX_VALUEに切り捨てられます。
  • NEGATIVE_INFINITYは-Double.MAX_VALUEに切り捨てられます。
  • NaNは9.9999999999999990E307に切り捨てられます。
• データ型: ブール
• 必須(Y/N): N

• 例: "truncateDoubleSpecials" : true

Oracle NoSQL Database

NoSQL Database MigratorのシンクとしてのOracle NoSQL Databaseの構成ファイル形式を次に示します。

シンク構成テンプレート

"sink" : {
  "type": "nosqldb",
  "storeName" : "<store name>",
  "helperHosts" : ["hostname1:port1","hostname2:port2,..."],
  "security" : "</path/to/store/credentials/file>",
  "table" : "<fully qualified table name>",
  "includeTTL": <true|false>,
  "ttlRelativeDate": "<date-to-use in UTC>",
  "schemaInfo" : {
    "schemaPath" : "</path/to/a/schema/file>",
    "defaultSchema" : <true|false>,
    "useSourceSchema" : <true|false>,
    "DDBPartitionKey" : <"name:type">,
    "DDBSortKey" : "<name:type>"
  },
  "overwrite" : <true|false>,
  "requestTimeoutMs" : <timeout in milli seconds>
}

シンク・パラメータ

共通の構成パラメータ

• type

  "type" : "nosqldb" を使用します

• security

  次に例を示します。

  "security" : "/home/user/client.credentials"

  パスワード・ファイル・ベースの認証のセキュリティ・ファイルの内容の例:

  oracle.kv.password.noPrompt=true
  oracle.kv.auth.username=admin
  oracle.kv.auth.pwdfile.file=/home/nosql/login.passwd
  oracle.kv.transport=ssl
  oracle.kv.ssl.trustStore=/home/nosql/client.trust
  oracle.kv.ssl.protocols=TLSv1.2
  oracle.kv.ssl.hostnameVerifier=dnmatch(CN\=NoSQL)

  ウォレット・ベースの認証のセキュリティ・ファイルの内容の例:

  oracle.kv.password.noPrompt=true
  oracle.kv.auth.username=admin
  oracle.kv.auth.wallet.dir=/home/nosql/login.wallet
  oracle.kv.transport=ssl
  oracle.kv.ssl.trustStore=/home/nosql/client.trust
  oracle.kv.ssl.protocols=TLSv1.2
  oracle.kv.ssl.hostnameVerifier=dnmatch(CN\=NoSQL)

• requestTimeoutMs

  例: "requestTimeoutMs" : 5000

一意の構成パラメータ

• storeName
• helperHosts
• table
• includeTTL
• ttlRelativeDate
• schemaInfo
• schemaInfo.schemaPath
• schemaInfo.defaultSchema
• schemaInfo.useSourceSchema
• schemaInfo.DDBPartitionKey
• schemaInfo.DDBSortKey
• overwrite

storeName

• 用途: Oracle NoSQL Databaseストアの名前。

• データ型: 文字列
• 必須(Y/N): Y
• 例: "storeName" : "kvstore"

helperHosts

• 用途: hostname:port形式のホストとレジストリ・ポートのペアのリスト。カンマを使用してリスト内の各アイテムを区切ります。ヘルパー・ホストを1つ以上指定する必要があります。

• データ型: 文字列の配列
• 必須(Y/N): Y
• 例: "helperHosts" : ["localhost:5000","localhost:6000"]

table

• 用途: 移行されたデーを格納する表名を指定します。

  形式: [namespace_name:]<table_name>

  表がDEFAULTネームスペースにある場合は、namespace_nameを省略できます。移行時に表がストアに存在し、そのスキーマがソース・データと一致している必要があります。

  シンクで表を使用できない場合は、schemaInfoパラメータを使用して、シンクに表を作成するようにNoSQL Database Migratorに指示できます。

• データ型: 文字列
• 必須(Y/N): Y
• 例:

  • DEFAULTネームスペース"table" :"mytable"を使用する場合

  • デフォルト以外のネームスペース"table" : "mynamespace:mytable"を使用する場合

  • 子表"table" : "mytable.child"を指定する場合

    ノート:

    子表を有効なデータ・ソースからOracle NoSQL Databaseに移行できます。NoSQL Database Migratorでは、実行ごとに1つの表のみをコピーします。親表が子表の前に移行されていることを確認します。

includeTTL

• 用途: Oracle NoSQL Database表のインポート時にソースによって提供される表の行のTTLメタデータを含めるかどうかを指定します。

  このパラメータを指定しない場合、デフォルトはfalseです。この場合、NoSQL Database Migratorには、Oracle NoSQL Database表のインポート時にソースによって提供される表の行のTTLメタデータは含まれません。

  trueに設定すると、NoSQL Database Migratorツールは、表の行のインポート時にTTLメタデータに対して次のチェックを実行します。

  • _metadata定義を持たない行をインポートすると、NoSQL Database MigratorツールはTTLを0に設定します。これは、行が期限切れにならないことを意味します。
  • _metadata定義を持つ行をインポートすると、NoSQL Database Migratorツールは、行がインポートされたときにTTL値を参照時間と比較します。参照時間に対してすでに失効している行はスキップされます。行が失効していない場合は、TTL値とともにインポートされます。デフォルトでは、インポート操作の参照時間は、NoSQL Database Migratorツールが実行されているマシンのSystem.currentTimeMillis()から取得された現在の時間(ミリ秒)です。ただし、有効期限を延長し、延長しなければすぐに期限切れになる行をインポートする場合は、ttlRelativeDate構成パラメータを使用してカスタム参照時間を設定することもできます。
    行の有効期限を計算する式は次のとおりです。

    expiration = (TTL value of source row in milliseconds - Reference Time in milliseconds)
    if (expiration <= 0) then it indicates that row has expired.

    ノート:

    Oracle NoSQL TTLの境界は時間および日数であるため、場合によっては、インポートされた行のTTLが直近の時間または日に調整される可能性があります。たとえば、有効期限の値が1629709200000 (2021-08-23 09:00:00)で、参照時間の値が1629707962582 (2021-08-23 08:39:22)の行について考えてみます。ここでは、このデータのインポート時に参照時間に対して行が有効期限切れになっていない場合でも、その行の新しいTTLは1629712800000 (2021-08-23 10:00:00)です。
• データ型: ブール
• 必須(Y/N): N
• 例: "includeTTL" : true

ttlRelativeDate

• 用途: Oracle NoSQL Databaseへのインポート中に表の行のTTL失効を設定するために使用されるYYYY-MM-DD hh:mm:ss形式でUTC日付を指定します。

  エクスポートするデータの表の行が期限切れになった場合は、ttlRelativeDateパラメータを、エクスポートしたデータの表の行の有効期限より前の日付に設定できます。

  このパラメータを指定しない場合は、NoSQL Database Migratorツールが実行されているマシンのSystem.currentTimeMillis()から取得された現在の時間がミリ秒単位でデフォルト設定されます。

• データ型: 日付
• 必須(Y/N): N
• 例: "ttlRelativeDate" : "2021-01-03 04:31:17"

  2021年1月1日から7日後に表の行が失効するシナリオについて考えてみます。この表をエクスポートした後、2021年1月7日に、表の問題が発生し、データをインポートすることにしました。表の行は1日で失効します(データ有効期限から現在の日付であるttlRelativedate構成パラメータのデフォルト値を引いた値)。ただし、表の行の有効期限を1日ではなく5日に延長する場合は、ttlRelativeDateパラメータを使用して前の日付を選択します。したがって、このシナリオでは、表の行の有効期限を5日延長する場合、ttlRelativeDate構成パラメータの値を2021年1月3日に設定します。これは、表の行がインポートされるときに参照時間として使用されます。

schemainfo

• 用途: 移行対象データのスキーマを指定します。これが指定されていない場合、NoSQL Database Migratorは、表がシンクのストアにすでに存在するとみなします。

• データ型: オブジェクト
• 必須(Y/N): N

schemaInfo.schemaPath

• 用途: NoSQL表のDDL文を含むファイルへの絶対パスを指定します。

  NoSQL Database Migratorは、データを移行する前に、このファイルにリストされているDDLコマンドを実行します。

  NoSQL Database Migratorでは、schemaPathファイルの行ごとに複数のDDL文をサポートしていません。

• データ型: 文字列

• 必須(Y/N): N

  ノート:

  defaultSchemaとschemaPathは相互に排他的です

• 例: "schemaPath" : "/home/user/schema_file"

schemaInfo.defaultSchema

• 用途: このパラメータをtrueに設定すると、NoSQL Database Migratorではデフォルト・スキーマを使用して表が作成されます。デフォルト・スキーマは、マイグレータ自体によって定義されます。デフォルト・スキーマ定義の詳細は、Oracle NoSQLデータ・マイグレータの使用のデフォルト・スキーマを参照してください。

• データ型: ブール

• 必須(Y/N): N

  ノート:

  defaultSchemaとschemaPathは相互に排他的です

schemaInfo.useSourceSchema

• 用途: NoSQL表の移行時にソースによって提供される表スキーマ定義をシンクで使用するかどうかを指定します。

• データ型: ブール

• 必須(Y/N): N

  ノート:

  defaultSchema、schemaPathおよびuseSourceSchemaパラメータは相互に排他的です。これらのパラメータのうち1つのみを指定してください。
• 例:
  • デフォルト・スキーマを使用:

    "schemaInfo" : {
      "defaultSchema" : true
    }

  • 事前定義済のスキーマを使用:

    "schemaInfo" : {
     "schemaPath" : "<complete/path/to/the/schema/definition/file>"
    }

  • ソース・スキーマを使用:

    "schemaInfo" : {
      "useSourceSchema" : true
    }

schemaInfo.DDBPartitionKey

• 用途: シンクのOracle NoSQL Database表で使用するDynamoDBパーティション・キーおよび対応するOracle NoSQL Database型を指定します。このキーは、NoSQL DB表のシャード・キーとして使用されます。これは、defaultSchemaがtrueに設定され、ソースの形式がdynamodb_jsonの場合にのみ適用されます。詳細は、「DynamoDB型からOracle NoSQL型へのマッピング」 を参照してください。
• 必須(Y/N): defaultSchemaがtrueで、ソースがdynamodb_jsonの場合、Y。
• 例: "DDBPartitionKey" : "PersonID:INTEGER"

  ノート:

  パーティション・キーにダッシュ(-)またはドット(.)が含まれている場合、NoSQL列名ではドットとダッシュがサポートされていないため、マイグレータはそれをアンダースコア(_)に置き換えます。

schemaInfo.DDBSortKey

• 用途: ターゲットのOracle NoSQL Database表で使用するDynamoDBソート・キーおよび対応するOracle NoSQL Database型を指定します。インポートするDynamoDB表にソート・キーがない場合は、この属性は設定しないでください。このキーは、NoSQL DB表の主キーの非シャード部分として使用されます。これは、defaultSchemaがtrueに設定され、ソースがdynamodb_jsonの場合にのみ適用されます。詳細は、「DynamoDB型からOracle NoSQL型へのマッピング」 を参照してください。
• 必須(Y/N): N
• 例: "DDBSortKey" : "Skey:STRING"

  ノート:

  ソート・キーにダッシュ(-)またはドット(.)が含まれている場合、NoSQL列名ではドットとダッシュがサポートされていないため、マイグレータはそれをアンダースコア(_)に置き換えます。

overwrite

• 用途: ソースから移行されるレコードがすでにシンクに存在している場合のNoSQL Database Migratorの動作を示します。

  値をfalseに設定すると、表を移行するときに、NoSQL Database Migratorは、同じ主キーがシンクにすでに存在するレコードをスキップします。

  値をtrueに設定すると、表を移行するときに、NoSQL Database Migratorは、同じ主キーがシンクにすでに存在するレコードを上書きします。

  指定しない場合は、デフォルトでtrueに設定されます。

• データ型: ブール
• 必須(Y/N): N
• 例: "overwrite" : false

Oracle NoSQL Database Cloud Service

NoSQL Database MigratorのシンクとしてのOracle NoSQL Database Cloud Serviceの構成ファイル形式を次に示します。

シンク構成テンプレート

"sink" : {
  "type" : "nosqldb_cloud",
  "endpoint" : "<Oracle NoSQL Cloud Service Endpoint>",
  "table" : "<table name>",
  "compartment" : "<OCI compartment name or id>",
  "includeTTL": <true|false>,
  "ttlRelativeDate" : "<date-to-use in UTC>",  
  "schemaInfo" : {
    "schemaPath" : "</path/to/a/schema/file>",
    "defaultSchema" : <true|false>,
    "useSourceSchema" : <true|false>,
    "DDBPartitionKey" : <"name:type">,
    "DDBSortKey" : "<name:type>",
    "onDemandThroughput" : <true|false>,
    "readUnits" : <table read units>,
    "writeUnits" : <table write units>,
    "storageSize" : <storage size in GB>
   },
  "credentials" : "</path/to/oci/credential/file>",
  "credentialsProfile" : "<profile name in oci config file>",
  "useInstancePrincipal" : <true|false>,
  "useDelegationToken" : <true|false>,
  "writeUnitsPercent" : <table writeunits percent>,
  "requestTimeoutMs" : <timeout in milli seconds>,
  "overwrite" : <true|false>
}

シンク・パラメータ

共通の構成パラメータ

• type

  "type" : "nosqldb_cloud"を使用します

• endpoint
  次に例を示します。

  • リージョンID: "endpoint" : "us-ashburn-1"

  • URL形式: "endpoint" : "https://objectstorage.us-ashburn-1.oraclecloud.com"

• credentials
  次に例を示します。

  1. "credentials" : "/home/user/.oci/config"
  2. "credentials" : "/home/user/security/config"
• credentialsProfile
  次に例を示します。

  1. "credentialsProfile" : "DEFAULT"
  2. "credentialsProfile" : "ADMIN_USER"
• useInstancePrincipal

  例: "useInstancePrincipal" : true

• useDelegationToken

  例: "useDelegationToken" : true

  ノート:

  委任トークンを使用した認証は、NoSQL Database Migratorがクラウド・シェルから実行されている場合にのみサポートされます。
• requestTimeoutMs

  例: "requestTimeoutMs" : 5000

一意の構成パラメータ

• table
• compartment
• includeTTL
• ttlRelativeDate
• schemaInfo
• schemaInfo.schemaPath
• schemaInfo.defaultSchema
• schemaInfo.useSourceSchema
• schemaInfo.DDBPartitionKey
• schemaInfo.DDBSortKey
• schemaInfo.onDemandThroughput
• schemaInfo.readUnits
• schemaInfo.writeUnits
• schemaInfo.storageSize
• writeUnitsPercent
• overwrite

table

• 用途: 移行されたデーを格納する表名を指定します。

  この表がOracle NoSQL Database Cloud Serviceに存在することを確認する必要があります。それ以外の場合は、シンク構成でschemaInfoオブジェクトを使用して、表を作成するようにNoSQL Database Migratorに指示する必要があります。

  この表のスキーマはソース・データと一致している必要があります。

• データ型: 文字列
• 必須(Y/N): Y
• 例:
  • 表"table" : "mytable"を指定する場合
  • 子表"table" : "mytable.child"を指定する場合

    ノート:

    子表を有効なデータ・ソースからOracle NoSQL Database Cloud Serviceに移行できます。NoSQL Database Migratorでは、実行ごとに1つの表のみをコピーします。親表が子表の前に移行されていることを確認します。

compartment

• 用途: 表が存在するコンパートメントの名前またはOCIDを指定します。

  値を指定しない場合は、デフォルトでルート・コンパートメントに設定されます。

  コンパートメントのOCIDは、OCI Cloudコンソールの「Governance」のコンパートメント・エクスプローラ・ウィンドウから確認できます。

• データ型: 文字列
• 必須(Y/N): 表がテナンシのルート・コンパートメントにない場合、またはuseInstancePrincipalパラメータがtrueに設定されている場合、Y。

  ノート:

  useInstancePrincipalパラメータがtrueに設定されている場合、コンパートメントは名前ではなくコンパートメントOCIDを指定する必要があります。
• 例:

  • コンパートメント名

    "compartment" : "mycompartment"

  • 親コンパートメントで修飾されたコンパートメント名

    "compartment" : "parent.childcompartment"

  • 値が未指定。デフォルトはルート・コンパートメントです。

    "compartment": ""

  • コンパートメントOCID

    "compartment" : "ocid1.tenancy.oc1...4ksd"

includeTTL

• 用途: Oracle NoSQL Database表のインポート時にソースによって提供される表の行のTTLメタデータを含めるかどうかを指定します。

  このパラメータを指定しない場合、デフォルトはfalseです。この場合、NoSQL Database Migratorには、Oracle NoSQL Database表のインポート時にソースによって提供される表の行のTTLメタデータは含まれません。

  trueに設定すると、NoSQL Database Migratorツールは、表の行のインポート時にTTLメタデータに対して次のチェックを実行します。

  • _metadata定義を持たない行をインポートすると、NoSQL Database MigratorツールはTTLを0に設定します。これは、行が期限切れにならないことを意味します。
  • _metadata定義を持つ行をインポートすると、NoSQL Database Migratorツールは、行がインポートされたときにTTL値を参照時間と比較します。参照時間に対してすでに失効している行はスキップされます。行が失効していない場合は、TTL値とともにインポートされます。デフォルトでは、インポート操作の参照時間は、NoSQL Database Migratorツールが実行されているマシンのSystem.currentTimeMillis()から取得された現在の時間(ミリ秒)です。ただし、有効期限を延長し、延長しなければすぐに期限切れになる行をインポートする場合は、ttlRelativeDate構成パラメータを使用してカスタム参照時間を設定することもできます。
    行の有効期限を計算する式は次のとおりです。

    expiration = (TTL value of source row in milliseconds - Reference Time in milliseconds)
    if (expiration <= 0) then it indicates that row has expired.

    ノート:

    Oracle NoSQL TTLの境界は時間および日数であるため、場合によっては、インポートされた行のTTLが直近の時間または日に調整される可能性があります。たとえば、有効期限の値が1629709200000 (2021-08-23 09:00:00)で、参照時間の値が1629707962582 (2021-08-23 08:39:22)の行について考えてみます。ここでは、このデータのインポート時に参照時間に対して行が有効期限切れになっていない場合でも、その行の新しいTTLは1629712800000 (2021-08-23 10:00:00)です。
• データ型: ブール
• 必須(Y/N): N
• 例: "includeTTL" : true

ttlRelativeDate

• 用途: Oracle NoSQL Databaseへのインポート中に表の行のTTL失効を設定するために使用されるYYYY-MM-DD hh:mm:ss形式でUTC日付を指定します。

  エクスポートするデータの表の行が期限切れになった場合は、ttlRelativeDateパラメータを、エクスポートしたデータの表の行の有効期限より前の日付に設定できます。

  このパラメータを指定しない場合は、NoSQL Database Migratorツールが実行されているマシンのSystem.currentTimeMillis()から取得された現在の時間がミリ秒単位でデフォルト設定されます。

• データ型: 日付
• 必須(Y/N): N
• 例: "ttlRelativeDate" : "2021-01-03 04:31:17"

  2021年1月1日から7日後に表の行が失効するシナリオについて考えてみます。この表をエクスポートした後、2021年1月7日に、表の問題が発生し、データをインポートすることにしました。表の行は1日で失効します(データ有効期限から現在の日付であるttlRelativedate構成パラメータのデフォルト値を引いた値)。ただし、表の行の有効期限を1日ではなく5日に延長する場合は、ttlRelativeDateパラメータを使用して前の日付を選択します。したがって、このシナリオでは、表の行の有効期限を5日延長する場合、ttlRelativeDate構成パラメータの値を2021年1月3日に設定します。これは、表の行がインポートされるときに参照時間として使用されます。

schemaInfo

• 用途: 移行対象データのスキーマを指定します。

  このパラメータを指定しない場合、NoSQL Database Migratorでは、表がOracle NoSQL Database Cloud Serviceにすでに存在するとみなされます。

  このパラメータが指定されておらず、シンクに表が存在しない場合、移行は失敗します。

• データ型: オブジェクト
• 必須(Y/N): N

schemaInfo.schemaPath

• 用途: NoSQL表のDDL文を含むファイルへの絶対パスを指定します。

  NoSQL Database Migratorは、データを移行する前に、このファイルにリストされているDDLコマンドを実行します。

  NoSQL Database Migratorでは、schemaPathファイルの行ごとに複数のDDL文をサポートしていません。

• データ型: 文字列

• 必須(Y/N): N

  ノート:

  defaultSchemaとschemaPathは相互に排他的です

• 例: "schemaPath" : "/home/user/schema_file"

schemaInfo.defaultSchema

• 用途: このパラメータをYesに設定すると、NoSQL Database Migratorではデフォルト・スキーマを使用して表が作成されます。デフォルト・スキーマは、マイグレータ自体によって定義されます。デフォルト・スキーマ定義の詳細は、Oracle NoSQLデータ・マイグレータの使用のデフォルト・スキーマを参照してください。

• データ型: ブール

• 必須(Y/N): N

  ノート:

  defaultSchemaとschemaPathは相互に排他的です

schemaInfo.useSourceSchema

• 用途: NoSQL表の移行時にソースによって提供される表スキーマ定義をシンクで使用するかどうかを指定します。

• データ型: ブール

• 必須(Y/N): N

  ノート:

  defaultSchema、schemaPathおよびuseSourceSchemaパラメータは相互に排他的です。これらのパラメータのうち1つのみを指定してください。
• 例:
  • デフォルト・スキーマを使用:

    "schemaInfo": {
      "defaultSchema": true,
      "readUnits": 100,
      "writeUnits": 60,
      "storageSize": 1
    }

  • 事前定義済のスキーマを使用:

    "schemaInfo": {
      "schemaPath": "<complete/path/to/the/schema/definition/file>",
      "readUnits": 100,
      "writeUnits": 100,
      "storageSize": 1
    }

  • ソース・スキーマを使用:

    "schemaInfo": {
      "useSourceSchema": true,
      "readUnits": 100,
      "writeUnits": 60,
      "storageSize": 1
    }

schemaInfo.DDBPartitionKey

• 用途: シンクのOracle NoSQL Database表で使用するDynamoDBパーティション・キーおよび対応するOracle NoSQL Database型を指定します。このキーは、NoSQL DB表のシャード・キーとして使用されます。これは、defaultSchemaがtrueに設定され、ソースの形式がdynamodb_jsonの場合にのみ適用されます。詳細は、「DynamoDB型からOracle NoSQL型へのマッピング」 を参照してください。
• 必須(Y/N): defaultSchemaがtrueで、ソースがdynamodb_jsonの場合、Y。
• 例: "DDBPartitionKey" : "PersonID:INTEGER"

  ノート:

  パーティション・キーにダッシュ(-)またはドット(.)が含まれている場合、NoSQL列名ではドットとダッシュがサポートされていないため、マイグレータはそれをアンダースコア(_)に置き換えます。

schemaInfo.DDBSortKey

• 用途: ターゲットのOracle NoSQL Database表で使用するDynamoDBソート・キーおよび対応するOracle NoSQL Database型を指定します。インポートするDynamoDB表にソート・キーがない場合は、この属性は設定しないでください。このキーは、NoSQL DB表の主キーの非シャード部分として使用されます。これは、defaultSchemaがtrueに設定され、ソースがdynamodb_jsonの場合にのみ適用されます。詳細は、「DynamoDB型からOracle NoSQL型へのマッピング」 を参照してください。
• 必須(Y/N): N
• 例: "DDBSortKey" : "Skey:STRING"

  ノート:

  ソート・キーにダッシュ(-)またはドット(.)が含まれている場合、NoSQL列名ではドットとダッシュがサポートされていないため、マイグレータはそれをアンダースコア(_)に置き換えます。

schemaInfo.onDemandThroughput

• 用途: オンデマンドの読取りおよび書込みスループットを使用して表を作成することを指定します。このパラメータが設定されていない場合、表はプロビジョニングされた容量で作成されます。

  デフォルト値は、falseです。

  ノート:

  このパラメータは、最上位の親表のスループットを共有するため、子表に適用できません。

• データ型: ブール

• 必須(Y/N): N

• 例: "onDemandThroughput" : "true"

schemaInfo.readUnits

• 用途: 新しい表の読取りスループットを指定します。

  ノート:

  • このパラメータは、オンデマンド容量がプロビジョニングされた表に適用できません。
  • このパラメータは、子表が最上位の親表の読取りスループットを共有するため、子表に適用できません。

• データ型: 整数

• 必須(Y/N): 表が子表でない場合、またはschemaInfo.onDemandThroughputパラメータがfalseに設定されている場合はY、それ以外の場合はN。

• 例: "readUnits" : 100

schemaInfo.writeUnits

• 用途: 新しい表の書込みスループットを指定します。

  ノート:

  • このパラメータは、オンデマンド容量がプロビジョニングされた表に適用できません。
  • このパラメータは、子表が最上位の親表の書込みスループットを共有するため、子表に適用できません。

• データ型: 整数

• 必須(Y/N): 表が子表でない場合、またはschemaInfo.onDemandThroughputパラメータがfalseに設定されている場合はY、それ以外の場合はN。

• 例: "writeUnits" : 100

schemaInfo.storageSize

• 用途: 新しい表の記憶域サイズをGB単位で指定します

  ノート:

  このパラメータは、子表が最上位の親表のストレージ・サイズを共有するため、子表に適用できません。

• データ型: 整数

• 必須(Y/N): 表が子表でない場合はY、それ以外の場合はN。

• 例:

  • schemaPathを使用

    "schemaInfo" : { 
      "schemaPath" : "</path/to/a/schema/file>",
      "readUnits" : 500,
      "writeUnits" : 1000,
      "storageSize" : 5 }

  • defaultSchemaを使用

    "schemaInfo" : {
      "defaultSchema" :Yes,
      "readUnits" : 500,   
      "writeUnits" : 1000,   
      "storageSize" : 5  
    }

writeUnitsPercent

• 用途: 移行アクティビティ中に使用される表書込みユニットの割合を指定します。データの移行に必要な時間は、この属性に正比例します。

  デフォルト値は90です。有効範囲は1から100の任意の整数です。

  この属性を使用してデータ移行速度を向上させる方法の詳細は、「Oracle NoSQL Database Migratorのトラブルシューティング」を参照してください。

• データ型: 整数
• 必須(Y/N): N
• 例: "writeUnitsPercent" : 90

overwrite

• 用途: ソースから移行されるレコードがすでにシンクに存在している場合のNoSQL Database Migratorの動作を示します。

  値をfalseに設定すると、表を移行するときに、NoSQL Database Migratorは、同じ主キーがシンクにすでに存在するレコードをスキップします。

  値をtrueに設定すると、表を移行するときに、NoSQL Database Migratorは、同じ主キーがシンクにすでに存在するレコードを上書きします。

  指定しない場合は、デフォルトでtrueに設定されます。

• データ型: ブール
• 必須(Y/N): N
• 例: "overwrite" : false