TF.IDF語エクストラクタ

TF.IDF語モジュールは、予測可能な統計アルゴリズムを使用して重要な語(顕著な語)を抽出します。(TFは「語の頻度」、IDFは「逆ドキュメント頻度」を表します。)

TF.IDF統計は、単一ドキュメントのみでなくコーパス内のすべてのドキュメントを検討することによってドキュメントからキーワードを抽出することを目的とした共通ツールです。TF.IDFの観点からは、特定のドキュメントに対してある語句が重要になるのは、この語句がこのドキュメント内に比較的頻繁に出現するがコーパス内の他のドキュメントにはめったに出現しない場合です。

出力語の数は、TF.IDF曲線の関数です。デフォルトでは、指定した語のスコアが68%を下回る場合、このモジュールは語を返すことを停止します。