hdfs.get

HDFSからローカルR環境のデータ・フレームにデータをコピーします。R環境でデータが生成されると、すべてのメタデータが抽出され、列名やデータ型などのすべての属性がリストアされます。R環境でデータが生成されない場合、val1やval2などの汎用属性が割り当てられます。

使用方法

hdfs.get(
        dfs.id,
        sep)

引数

dfs.id: HDFS内のファイルの名前。ファイル名には、現在のパスに絶対的または相対的なパスを使用できます。
sep: ファイル内のフィールドの区切りに使用される記号。カンマ(,)がデフォルトの区切りになります。

使用上の注意

HDFSファイルがメモリー内Rデータ・フレームに収まるサイズの場合、hdfs.pull関数のかわりにこの関数を使用してファイルをコピーできます。Sqoopが使用されないことでhdfs.pullでは生じるオーバーヘッドが生じないため、hdfs.get関数の方が高速です。

戻り値

エクスポートされたデータセットを指すローカルR環境のメモリー内data.frameオブジェクト。操作が失敗した場合はNULL。

例

次の例では、resというデータ・フレームの内容を返します。

R> print(hdfs.get(res))
  val1      val2
1   AA 1361.4643
2   AS  515.8000
3   CO 2507.2857
4   DL 1601.6154
5   HP  549.4286
6   NW 2009.7273
7   TW 1906.0000
8   UA 1134.0821
9   US 2387.5000
10  WN  541.1538