移行
ここで使用される解決策は、大規模なNFS共有を論理的に2つの領域に分割することです。
- フラックス内のデータのみを含み、まだ処理されていない、および後処理および再処理用の「動作NFS」共有と呼ばれる領域。
- 定期的にクリーン・アウトできる一時ステージング領域。
NFSストアの一時領域の場合は、標準のオブジェクト/パス・ネーミングを使用してNFSアーカイブ内の大きなディレクトリ構造をミラー化することを目的として、OCIオブジェクト・ストレージ・バケットが作成されます。
アーカイブ・ディレクトリ(20TB+)が最終的にオブジェクト・ストレージにコピーされることを想定したうえで、NFS構造に対する変更は行われないことに注意してください。操作領域のデータは、以前と同様に処理、チェックおよび一時ステージング領域に保持されます。ファイナライズされると、データはオブジェクトベースのアーカイブに移動し、一時ステージング領域がクリーンアップされます。ローカル操作NFS共有からアーカイブ・バケットにオブジェクトをコピーするメカニズムは、RCLONEまたはOCIFSです。
cd archive rclone copy . <the_rclone_config>:BucketName/
アプリケーションの開発方法によっては、既存のプロセスは、カットオーバーが行われるまで既存の場所に引き続き書き込むことができます。その時点で、アーカイブ全体がコピーされ、アプリケーション・コードがオブジェクト・ストレージから読み取られ、新しいファイルが新しいアーカイブlocation.Whileに生成されます。カットオーバー・イベントの正確な順序は、移行の最後にNFSベースのファイルのメイン・アーカイブを削除できます。その時点で、請求には節約額が反映されます。バッチ処理が発生し、標準のシェル・スクリプトを使用して、RCLONEを介してファイルの大規模な階層をオブジェクト・ストレージにコピーできます。
操作の順序の正確な詳細は実装固有ですが、プロセスの最後に、アーカイブ・ファイルがオブジェクト・ストレージに安全になると、NFS共有のアーカイブ領域がクリーン・アップされます。各バッチ実行では、削除前にRCLONEを介してオブジェクト・ストレージにコピーされる新しいアーカイブ・ファイルが作成されます。