5 Oracle Big Data Cloud Service Toolsを使用したデータのコピー
Oracle Big Data Cloud Serviceは、データ管理を容易にするためのさまざまなツールと機能を提供します:
1つまたは次の組み合わせを使用して、目的のワークフローに合わせることができます。
Oracle Distributed Copy (odcp)
odcpは、さまざまなストレージ・プロバイダとの間でデータ・セットをコピーするための分散コマンド行インタフェース(CLI)です:
-
Oracle Cloud Infrastructure Object Storage Classic (以前はOracle Storage Cloud Serviceとして知られていました)
-
Hadoop分散ファイル・システム(HDFS)
-
Amazon Simple Storage Service (S3)
-
WebHDFSとセキュアWebHDFS(SWebHDF)
-
Oracle Cloud Infrastructure Object Storage (旧称Oracle Bare Metal Cloud Object Storage Service)
-
ハイパーテキスト転送プロトコル(HTTP)とHTTPセキュア(HTTPS) - ソースのみに使用されます。
odcpは、コマンドラインまたはクラスタ上のcore-site.xmlファイルから構成を読み取ることができるSparkアプリケーションです。 構成には、ストレージ・プロバイダのURL、ユーザー資格証明、ログイン証明書、およびプロバイダ固有の構成の詳細が含まれます。
bda-oss-adminコマンドを使用して、core-site.xmlファイルの構成を更新します(下記参照)。
「odcpコマンドライン・ユーティリティを使用したデータのコピー」を参照してください
ビッグ・データ管理コマンドライン・ユーティリティ(bda-oss-admin)
bda-oss-adminコマンドライン・ユーティリティを使用して、ストレージ・プロバイダの構成を追加および更新します。 構成は、クラスタ上のcore-site.xmlファイルに保管されます。 bda-oss-adminを使用すると、資格証明の追加、一覧表示、削除、および更新などの操作を実行できます。
「bda-oss-adminを使用したストレージ・リソースの管理」を参照してください。
Oracle Distributed Diff (odiff)
odiffは、HDFSとOracle Cloud Infrastructure Object Storage Classicに格納されている大きなデータセットを比較するためのコマンドライン・ユーティリティです。 計算は分散Sparkアプリケーションとして実行されます。
「大きいデータ・セットを比較するために部品分類を使用」を参照してください。
Oracle Big Dataマネージャ
「Oracle Big Dataマネージャ」 Webアプリケーションは、データソースの作成と管理、データ転送ジョブの作成とスケジューリング、ログの表示、およびその他の多くのデータ転送タスクの実行のためのビジュアル・ツールを提供します。
「Oracle Big Dataマネージャ」は、データ管理タスクのためにodiffとodcp
「Oracle Big Data Managerについて」を参照してください。
「Oracle Big Dataマネージャ」コマンドライン・インタフェース(bdm-cli)
bdm-cliは、データソースの作成と管理、データ転送ジョブの作成とスケジューリング、ログの表示、および他の多くのデータ転送タスクの実行を行うコマンドライン・ユーティリティです。
リモート・オペレーティング・システムにbdm-cliをインストールすることができます。 つまり、リモート・サーバーからデータ転送ジョブを作成してスケジュールすることができます。 これらのコマンドを実行するためにSSHを使用してクラスタ・ノードに接続する必要はありません(できますが)。
「Oracle Big Dataマネージャ」 SDKs
「Oracle Big Dataマネージャ」 SDKを使用して、アプリケーション内から「Oracle Big Dataマネージャ」を使用することができます。 「Oracle Big Data Manager SDKのデータの管理とジョブのコピー」を参照してください。