9 Oracle Big Data Manager bdm-cliユーティリティの使用
bdm-cli
(Oracle Big Data Managerコマンド・ライン・インタフェース)ユーティリティは、コマンド・ラインでのデータのコピーおよびコピー・ジョブの管理に使用します。
bdm-cli
のいくつかのコマンドはodcp
のコマンドと重複していますが、bdm-cli
にはコピー・ジョブのスケジューリングと管理などの管理タスク用の追加コマンドも含まれています。
bdm-cli
のダウンロードとインストールは、クラスタのノードまたはリモート・オペレーティング・システムのどちらかで手動で実行する必要があります。クラスタにインストールする場合は、クラスタへの接続にSSHを使用する必要があります。リモート・システムにインストールする場合は、SSHを使用せずにコマンドを実行できます。「bdm-cliユーティリティのインストール」を参照してください。
bdm-cli
の使用について特別な要件はありません。
- bdm-cliユーティリティのインストール
bdm-cli
(Big Data Command Line Interface)は、データのコピーおよびコピー・ジョブの管理のためのコマンド・ライン・ユーティリティです。bdm-cli
は、GitHubからダウンロードしてインストールできます。リモート・オペレーティング・システムにインストールすることもできるため、クラスタへの接続にSSHを使用する必要はありません。 - 使用方法
コマンド・ラインでbdm-cli
を使用すると、コピー・ジョブを作成および管理できます。 - オプション
すべてのbdm-cliコマンドで使用可能なオプションは、次のとおりです。 - サブコマンド
次の表に、bdm-cliのサブコマンドの概要を示します。それぞれの詳細は、コマンドの名前をクリックしてください。 - bdm-cli abort_job
実行中のジョブを中断します。 - bdm-cli copy
ソースから宛先へのコピー・ジョブを実行します。 - bdm-cli create_job
既存のテンプレートから新規ジョブを実行します。 - bdm-cli create_job_template
新しいジョブ・テンプレートを作成します。 - bdm-cli get_data_source
名前でデータ・ソースを検索します。 - bdm-cli get_job
UUIDでジョブを取得します。 - bdm-cli get_job_log
ジョブのログを取得します。 - bdm-cli list_all_jobs
実行履歴からすべてのジョブをリストします。 - bdm-cli list_template_executions
特定のテンプレートの実行履歴からすべてのジョブをリストします。 - bdm-cli ls
特定の場所からファイルをリストします。
9.1 bdm-cliユーティリティのインストール
bdm-cli
(Big Data Command Line Interface)は、データのコピーおよびコピー・ジョブの管理のためのコマンド・ライン・ユーティリティです。bdm-cli
は、GitHubからダウンロードしてインストールできます。リモート・オペレーティング・システムにインストールすることもできるため、クラスタへの接続にSSHを使用する必要はありません。
bdm-cli
をインストールするには:
-
プロキシ・サーバーを使用する場合は、最初に次のコールを実行します。
export http_proxy="your_proxy_server" export https_proxy="your_proxy_server"
-
その後で次のコールを実行します。
curl -L https://github.com/jazeman/bdm-python-cli/blob/1.0/install-rpm?raw=true | bash
9.2 使用方法
コマンド・ラインでbdm-cli
を使用すると、コピー・ジョブを作成および管理できます。
構文
bdm-cli [global_options] subcommand [options][arguments]...
サポートされている記憶域のプロトコルおよびパス
bdm-cli
でサポートされているプロトコルおよびファイル・システムへのパスは次のとおりです。
-
HDFS:
hdfs:///
-
Oracle Cloud Infrastructure Object Storage Classic (旧称Oracle Storage Cloud Service):
swift://container.provider/
-
Oracle Cloud Infrastructure Object Storage (旧称Oracle Bare Metal Cloud Object Storage Service):
oss:///container
Oracle Cloud Infrastructure Object Storageでの操作の場合、
src-provider
オプションとdst-provider
オプションを使用してプロバイダを指定する必要があります。たとえば、Oracle Cloud Infrastructure Object Storageで使用するときに、これらのオプションをbdm-cli create_job
に使用します。
ジョブのUUIDの検索
いくつかのbdm-cliサブコマンドでは、Universally Unique Identifier (UUID)でジョブを識別する必要があります。UUIDを検索するには、bdm-cli list_all_jobsを実行します。
ソースと宛先のパスの指定
ソースおよび宛先を指定する場合は、パスを完全修飾します。
-
source ...
プロトコルと完全パスで修飾されたファイル名。例:
hdfs:///user/oracle/test.raw
-
destination
プロトコルと完全パスで修飾されたディレクトリ名。例:
swift://container.storagename/test-dir
環境変数の設定
bdm-cli
のオプションは、環境変数として設定できます。たとえば、Oracle Big Data ManagerのURLとユーザー・パスワード・ファイルは次のように設定できます。export BDM_URL=https://hostname:8888/bdcs/api && export BDM_PASSWORD=/tmp/password_file
環境変数として設定できるすべてのbdm-cli
のオプションについては、次の項で説明します。
ヘルプの表示
bdm-cli
の使用方法に関するヘルプを表示するには: bdm-cli --help
bdm-cli command --help
bdm-cli edit_job_template --help
9.3 オプション
すべてのbdm-cliコマンドで使用可能なオプションは、次のとおりです。
オプション | 説明 |
---|---|
--bdm-passwd path_to_password_file |
Oracle Big Data Managerユーザー・パスワード・ファイルへのパス。 環境変数: |
--bdm-url bdm_url |
Oracle Big Data ManagerサーバーのURL。 環境変数: |
--bdm-username username |
Oracle Big Data Managerサーバーのユーザー名。 デフォルト値: 環境変数: |
-f [table|csv|json] |
出力形式の指定:
|
--fields fields |
オブジェクトのタイプに応じて、カンマ区切りのフィールドを指定します。 |
|
このメッセージを表示して終了します。 |
--no-check-certificate |
サーバーの証明書を検証しません。 |
--proxy proxy |
プロキシ・サーバー。 |
--tenant-name tenant_name |
テナントの名前。 デフォルト値: |
-v |
RESTリクエスト本文を出力します。 |
--version
|
Oracle Big Data Managerのバージョンを表示して終了します。 |
9.4 サブコマンド
次の表に、bdm-cliのサブコマンドの概要を示します。それぞれの詳細は、コマンドの名前をクリックしてください。
コマンド | 説明 |
---|---|
bdm-cli abort_job | 実行中のジョブを中断します。 |
bdm-cli copy | ソースから宛先へのコピー・ジョブを実行します。 |
bdm-cli create_job | 既存のテンプレートから新規ジョブを実行します。 |
bdm-cli create_job_template | 新しいジョブ・テンプレートを作成します。 |
bdm-cli get_data_source | 名前でデータ・ソースを検索します。 |
bdm-cli get_job | UUIDでジョブを取得します。 |
bdm-cli get_job_log | ジョブのログを取得します。 |
bdm-cli list_all_jobs | 実行履歴からすべてのジョブをリストします。 |
bdm-cli list_template_executions | 特定のテンプレートの実行履歴からすべてのジョブをリストします。 |
bdm-cli ls | 特定の場所からファイルをリストします。 |
9.5 bdm-cli abort_job
実行中のジョブを中断します。
構文
bdm-cli abort_job [options] job_uuid
オプション
オプション | 説明 |
---|---|
|
ジョブを強制中断します。 |
|
このメッセージを表示して終了します。 |
例
ジョブを中断します。
/usr/bin/bdm-cli -f json --no-check-certificate --bdm-url ${DATA_HOST}:8888/bdcs/api --bdm-username ${DATA_USER} --bdm-passwd ${USER_PASSWORD_FILE} abort_job 24ef30e8-913b-4402-baf8-74b99c211f50
9.6 bdm-cli copy
ソースから宛先へのコピー・ジョブを実行します。
構文
bdm-cli copy [options] source... destination
オプション
オプション | 説明 |
---|---|
|
ブロック・サイズをバイト単位で指定します。 |
|
データ・ソースの説明。 |
|
Oracle Storage Cloud Serviceドライバの最大メモリー量を指定します。 |
|
宛先のプロバイダを指定します(Oracle Cloud Infrastructure Object Storage Classicの宛先を使用する場合)。 |
|
このメッセージを表示して終了します。 |
|
Sparkエグゼキュータのノードごとのメモリー制限をGB単位で指定します(例: |
|
ノードごとのSparkエグゼキュータの最大数を指定します(例: |
|
ノードごとの最大スレッド数を指定します。 |
|
パート・サイズをバイト単位で指定します。 |
|
再帰的コピー(デフォルトで有効)。 |
|
障害が発生した場合に、データの転送を再試行します。 |
|
ソースのプロバイダを指定します(Oracle Cloud Infrastructure Object Storage Classicの使用時)。 |
|
ソースと宛先を同期します。 |
例
HDFSからOracle Storage Cloud Serviceへのファイルのコピー:
/usr/bin/bdm-cli -f json --no-check-certificate --bdm-url ${DATA_HOST}:8888/bdcs/api --bdm-username ${DATA_USER} --bdm-passwd ${USER_PASSWORD_FILE} copy hdfs:///user/${DATA_USER}/1MFile.raw oss:///${DATA_USER} --dst-provider ${OSS_PROVIDER}
9.7 bdm-cli create_job
既存のテンプレートから新規ジョブを実行します。
構文
bdm-cli create_job [options] job_template_name
オプション
オプション | 説明 |
---|---|
|
ジョブのスケジュールが設定されている場合、すぐにジョブを実行します。それ以外の場合は無視されます。 |
|
ソース・ファイル。次に例を示します。
|
|
宛先ディレクトリ。たとえば、 |
|
Oracle Storage Cloud Serviceドライバの最大のメモリー量を指定します。 |
|
Sparkエグゼキュータのノードごとのメモリー制限をGB単位で指定します(例: |
|
ノードごとのSparkエグゼキュータの最大数を指定します(例: |
|
ノードごとの最大スレッド数を指定します。 |
|
ブロック・サイズをバイト単位で指定します。 |
|
パート・サイズをバイト単位で指定します。 |
|
障害が発生した場合に、データの転送を再試行します。 |
|
ソースと宛先を同期します。 |
|
再帰的コピー(デフォルトで有効)。 |
|
Sparkジョブの実行に使用されるJavaのメイン・クラス。 |
|
ソースのプロバイダを指定します(Oracle Cloud Infrastructure Object Storage Classicのソースを使用する場合)。 |
|
宛先プロバイダを指定します(Oracle Cloud Infrastructure Object Storage Classicの宛先を使用する場合)。 |
|
このメッセージを表示して終了します。 |
9.8 bdm-cli create_job_template
新しいジョブ・テンプレートを作成します。
構文
bdm-cli create_job_template [options] job_template_name source ... destination
オプション
オプション | 説明 |
---|---|
|
次回にスケジュールされた実行が開始された場合、すでに実行中の処理を中断します。 |
|
バイト単位でブロック・サイズを指定します。 |
|
ジョブのデータ・ソース名。 |
|
ジョブ・テンプレートの説明。 |
|
|
|
JSON形式の環境:
|
|
このメッセージを表示して終了します。 |
|
実行履歴ログのカウント。 |
|
Sparkジョブの実行に使用されるJavaのメイン・クラス。 |
|
cronのようにジョブ・スケジュールを指定します。次に例を示します。
|
|
ジョブ・テンプレートのタイプを指定します。使用可能な値は次のとおりです。
|
|
Hadoopライブラリ(例: このオプションは、複数の値を持つことができます。次に例を示します。
|
|
Sparkエグゼキュータのノードごとのメモリー制限をGB単位で指定します(例: |
|
ノードごとのSparkエグゼキュータの最大数を指定します(例: |
|
ノードごとの最大スレッド数を指定します。 |
|
バイト単位でパート・サイズを指定します。 |
|
再帰的コピー(デフォルトで有効)。 |
|
障害が発生した場合に、データの転送を再試行します。 |
|
ソースのプロバイダを指定します(Oracle Bare Metal Cloud Object Storage Serviceの使用時)。 |
|
ソースと宛先を同期します。 |
|
ユーザー定義のタグ。このオプションは、複数の値を持つことができます。次に例を示します。
|
9.9 bdm-cli get_data_source
名前でデータ・ソースを検索します。
構文
bdm-cli get_data_source [options] data_source_name
オプション
オプション | 説明 |
---|---|
|
このメッセージを表示して終了します。 |
9.10 bdm-cli get_job
UUIDでジョブを取得します。
構文
bdm-cli get_job [options] job_uuid
オプション
オプション | 説明 |
---|---|
|
このメッセージを表示して終了します。 |
例
ジョブに関する情報を取得します。
/usr/bin/bdm-cli -f json --no-check-certificate --bdm-url ${DATA_HOST}:8888/bdcs/api --bdm-username ${DATA_USER} --bdm-passwd ${USER_PASSWORD_FILE} get_job ${JOB_UUID}
9.11 bdm-cli get_job_log
ジョブのログを取得します。
構文
bdm-cli get_job_log [options] job_uuid
オプション
オプション | 説明 |
---|---|
|
このメッセージを表示して終了します。 |
9.12 bdm-cli list_all_jobs
実行履歴からすべてのジョブをリストします。
構文
bdm-cli list_all_jobs [options]
オプション
オプション | 説明 |
---|---|
|
このメッセージを表示して終了します。 |
|
ページのサイズを指定します。 |
|
ページング・オフセットを指定します。 |
例
すべてのジョブをリストします。
/usr/bin/bdm-cli -f json --no-check-certificate --bdm-url ${DATA_HOST}:8888/bdcs/api --bdm-username ${DATA_USER} --bdm-passwd ${USER_PASSWORD_FILE} list_all_jobs
結果を制限するには、--offset
オプションと--limit
オプションを使用します。たとえば、ページ当たり20行で8番目のページを取得するには、次のようにします。
bdm-cli list_all_jobs --offset 8 --limit 20
9.13 bdm-cli list_template_executions
特定のテンプレートの実行履歴からすべてのジョブをリストします。
構文
bdm-cli list_template_executions [options] job_uuid
オプション
オプション | 説明 |
---|---|
|
このメッセージを表示して終了します。 |
9.14 bdm-cli ls
特定の場所からファイルをリストします。
構文
bdm-cli ls [options] path_1 ... path_n
オプション
オプション | 説明 |
---|---|
|
人間が解釈できるファイル・サイズ。 |
|
ディレクトリのみがリストされます。 |
|
Oracle Bare Metal Cloud Object Storage Serviceのパスを指定します。 |
|
このメッセージを表示して終了します。 |
例
選択したユーザーの下にあるHDFSコンテンツをリストします。
/usr/bin/bdm-cli -f json --no-check-certificate --bdm-url ${DATA_HOST}:8888/bdcs/api --bdm-username ${DATA_USER} --bdm-passwd ${USER_PASSWORD_FILE} ls hdfs:///user/${DATA_USER}/integration_in --provider hdfs
選択したユーザーの下にあるOracle Cloud Infrastructure Object Storage Classicのコンテンツをリストします。
/usr/bin/bdm-cli -f json --no-check-certificate --bdm-url ${DATA_HOST}:8888/bdcs/api --bdm-username test20170324113533 --bdm-passwd ${USER_PASSWORD_FILE} ls oss:///${OSS_CONTAINER}/ --provider ${OSS_PROVIDER}