hdfs.put

Rのメモリー内オブジェクト(data.frame)からHDFSにデータをコピーします。列名やデータ型などのすべてのデータ属性が、データとともにメタデータとして格納されます。

使用方法

hdfs.put(
        data,
        key,
        dfs.name,
        overwrite,
        rownames)

引数

data: HDFSにコピーされるローカルR環境のore.frameオブジェクト。
key: キー列の索引または名前。
dfs.name: 新規ファイルの一意の名前。
overwrite: dfs.nameで同じ名前のファイルが上書きされるかどうかを制御します。ファイルを上書きする場合はTRUE、エラーを表示する場合はFALSEに設定します。
rownames: ファイルの各行の先頭に通し番号を追加するにはTRUE、それ以外はFALSEに設定します。

使用上の注意

hdfs.pushのかわりにhdfs.putを使用して、データベース表などのore.frameオブジェクトからHDFSにデータをコピーすることもできます。表はRメモリーに収まるサイズである必要があります。そうでない場合、関数は失敗します。hdfs.put関数は、まず、すべての表データをローカルのRメモリーに読み込み、その後、HDFSに転送します。小規模な表の場合、Sqoopが使用されないことでhdfs.pushでは生じるオーバーヘッドが生じないため、この関数の方が高速です。

戻り値

新規ファイルのオブジェクトID。操作が失敗した場合はNULL。

例

次の例では、datデータ・フレームの内容で/user/oracle/xq/testdata.datというファイルを作成します。

R> myfile <- hdfs.put(dat, key='DEST', dfs.name='testdata.dat')
R> print(myfile)
[1] "/user/oracle/xq/testdata.dat"
attr(,"dfs.id")
[1] TRUE