Oracle Cloud Infrastructureへのデータの移動

構成が完了したら、転送を開始できます。データ量および接続速度によっては、この転送に非常に長い時間(日または週)かかる場合があります。

進行状況を監視するには、tmuxから冗長モードで転送を開始することをお薦めします。これにより、プロセスをバックグラウンドで実行し、必要に応じて進行状況を監視できます。

データの移動

GNUスクリーンから冗長モードで転送を開始して、プロセスをバックグラウンドで実行し、必要に応じて進行状況を確認できます。

  1. tmuxセッションを開始し、セッションに名前を付けます。
    $ tmux new -s<session name>
     
    たとえば次のようにします。
    $ tmux new -srclone
  2. tmux端末ウィンドウで、冗長モードでRcloneを起動します。必要に応じて<destination_bucket>を置換します(バケットがまだ存在しない場合は自動的に作成されます)。
    $ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 copy $SOURCE oci:<destination_bucket>
  3. 転送の進行中は、Ctrl+b dを押してtmuxから切り離します
  4. tmuxセッションに戻ってRcloneを監視するには、次のように入力します。
    $ tmux attach -d -t <session name>
     
    たとえば次のようにします。
    $ tmux attach -d -t rclone
  5. tmuxを再度切り離す場合は、Ctrl+b dを押します。

ノート:

キャッシュ・ワーカーと転送の最適な数は、特定のユース・ケース、使用可能な帯域幅、ワークステーションまたはサーバーで使用可能なリソース、およびクラウド・プロバイダによって適用されるスロットルの制限によって異なります。一般に、転送およびキャッシュワーカーの数が多いほど、転送の完了が速くなります。しかし、一定の数を超えて、あなたは間違いを犯し始めるかもしれません。64の同時転送とキャッシュワーカーから開始し、必要に応じて数値を調整することをお勧めします。

転送が完了したら、エラーが発生していないことを確認します。エラーが表示された場合は、キャッシュワーカーと転送の数を減らして再試行してください。

転送の確認

データがオブジェクト・ストレージに転送される方法(ローカル・ファイル・システムか別のクラウド・プロバイダか、またはその他の方法か)に関係なく、rcloneを使用して、オブジェクト・ストレージにコピーされたデータがそのソースと同一であるかどうかを確認できます。データを迅速かつ徹底的に検証できます。

次の方法を使用して、比較的迅速な検証を実行します。
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check $SOURCE oci:<destination_bucket> 

このメソッドは、ファイル・サイズおよびMD5ハッシュを検証することで、ソース・バケットと宛先バケットの違いを検出します。ただし、MD5ハッシュは、マルチパート・アップロードを使用してアップロードされたオブジェクトには使用できません。その結果、ラージ・オブジェクトはファイル・サイズを比較することによってのみ検証され、カーソル検証のみが提供されます。

より詳細な検証を実行するには、ファイルをダウンロードして比較するようにrcloneに指示します。
$ rclone --verbose --cache-workers 64 --transfers 64 --retries 32 check --download $SOURCE oci:<destination_bucket>
この方法ではより詳細な比較が実行されますが、両方のオブジェクト・ストアからコピーをダウンロードする必要があります。

ノート:

ダウンロードで検証を実行すると、ジョブの実行場所に応じて、既存のクラウド・プロバイダ、Oracleまたはその両方から追加のデータ転送料金が発生する場合があります。