機械翻訳について

Snappy圧縮によるHive表の処理

このトピックでは、DP CLIがSnappy圧縮でHive表を処理できるようにSnappyライブラリを設定する方法について説明します。

デフォルトでは、DP CLIはSnappy圧縮でHive表を正常に処理できません。 その理由は、必要なHadoopネイティブ・ライブラリがJVMのライブラリ・パスで使用できないためです。 そのため、Hadoopのネイティブ・ライブラリをそのソースのロケーションから適切なBDDディレクトリにコピーする必要があります。

Snappyライブラリを設定するには:

1. Hadoopインストールで、Hadoopネイティブ・ライブラリのソース・ディレクトリを検索します。
   CDHの一般的なロケーションは次のとおりです:

   /opt/cloudera/parcels/CDH/lib/hadoop/lib/native/

2. Hadoopネイティブ・ライブラリをこのBDDディレクトリにコピーします:

   $BDD_HOME/common/edp/olt/bin

   コピー操作は、すべてのBDDノードで実行する必要があります。

このコピーが完了したら、以降のすべてのDPワークフローで、Snappy圧縮でHive表を処理できるようにする必要があります。

新しいデータ処理ノードを追加した場合は、Hadoopネイティブ・ライブラリを新しいノードに手動でコピーする必要があります。