14 明示的セマンティック分析
特徴抽出機能の教師なしアルゴリズムおよび分類の教師ありアルゴリズムとしての明示的セマンティック分析(ESA)の使用方法を学習します。
関連トピック
14.1 明示的セマンティック分析とは
Oracle Database 12cリリース2には、特徴抽出のためにOracle Data Miningで使用される教師なしアルゴリズムとして明示的セマンティック分析(ESA)が導入されました。Oracle Database 18c以降、ESAは分類のための教師ありアルゴリズムとして機能強化されています。
特徴抽出アルゴリズムとしてのESAは、潜在的な特徴を検出するのではなく、既存のナレッジ・ベースで示される明示的な特徴を使用します。特徴抽出アルゴリズムとしてのESAは、主にテキスト・ドキュメントの意味類似性の計算と明示的なトピックのモデリングに使用されます。分類アルゴリズムとしてのESAは、主にテキスト・ドキュメントを分類するために使用されます。ESAの特徴抽出と分類の両方のバージョンは、数値と分類型の入力データにも適用できます。
ESAへの入力は属性ベクターのセットです。すべての属性ベクターが概念に関連付けらます。概念とは、特徴抽出の場合は特徴のことで、分類の場合はターゲット・クラスのことです。特徴抽出の場合、1つの属性ベクターのみを任意の特徴に関連付けできます。分類の場合、トレーニング・セットには任意のターゲット・クラスに関連付けられた複数の属性ベクターを含めることが可能です。こうした1つのターゲット・クラスに関連する複数の行は、ESAアルゴリズムによって1つの行に集計されます。
ESAの出力は、最も重要な属性と概念の相関が含まれるスパース属性概念マトリックスです。相関の強度は各属性と概念ペアの重みの値によって取得されます。属性と概念の行列は、属性ごとに最も重要な概念がリストされる逆インデックスとして保存されます。
ノート:
特徴抽出の場合、ESAアルゴリズムは元の特徴空間を投影せず、ディメンション性が減少することはありません。ESAアルゴリズムは制限されたまたは有益でない属性セットの機能を除外します。ESAで処理される分類タスクの範囲は、Naive Bayesやサポート・ベクター・マシンなどの分類アルゴリズムとは異なります。ESAでは、数十万もの異なるクラスがある大規模な分類を実行できます。大規模な分類には、いくつかのクラスが相当数のトレーニング・サンプルを保持していて、それ以外のクラスがトレーニング・データセット内で疎表現される膨大なトレーニング・データ・セットが必要になります。
14.1.1 ESAでのスコアリング
明示的セマンティック分析アルゴリズム(ESA)を使用してスコアリングする方法を学習します。
ESAの一般的な特徴抽出の用途は、特定の入力について最も関連する特徴を識別して、その関連性をスコアリングすることです。ESAモデルのスコアリングによって、概念の特徴空間にデータ投影が生成されます。ESAモデルがドキュメントの任意の集合から作成される場合、それぞれが機能として扱われます。こうすることで、集合内で最も関連するドキュメントを識別することが簡単になります。特徴抽出関数は、FEATURE_DETAILS、FEATURE_ID、FEATURE_SET、FEATURE_VALUEおよびFEATURE_COMPAREです。
ESAの一般的な分類の用途は、特定のドキュメントについてクラスを予測して、その予測の確率を推定することです。分類アルゴリズムとしてのESAは、スコアリング・ファンクションのPREDICTION、PREDICTION_PROBABILITY、PREDICTION_SET、PREDICTION_DETAILS、PREDICTION_COSTを実装しています。
14.1.2 大きいESAモデルのスコアリング
テキスト・ドキュメントの大きな集合に明示的セマンティック分析アルゴリズム(ESA)モデルを作成すると、多くの機能またはタイトルを持つモデルになる場合があります。スコアリングのモデル情報は、共有(共有プール・サイズ)ライブラリ・キャッシュ・オブジェクトとして、システム・グローバル領域(SGA)にロードされます。別のSQL予測問合せがこのオブジェクトを参照できます。モデル・サイズが大きい場合、データベースのSGAパラメータを大きなオブジェクトに対応する十分なサイズに設定する必要があります。
SGAが小さすぎると、モデルが参照されるたびに再ロードする必要があり、パフォーマンスが低下する可能性があります。
14.2 テキスト・マイニング用のESA
明示的セマンティック分析(ESA)をテキスト・マイニングで使用する方法を学習します。
明示的な知識は、通常、テキスト形式で存在します。複数のナレッジ・ベースがテキスト・ドキュメントの集合として使用できます。これらのナレッジ・ベースは、Wikipediaなど一般的なものでもドメイン固有のものでもかまいません。データ準備は、テキストを属性と概念の相関を取得するベクターに変換します。ESAは、共通の用語がない場合でも、ドキュメントの意味的な関連性を定量化できます。意味的な関連性を計算するために、関数FEATURE_COMPAREを使用できます。
関連トピック
14.3 ESA用のデータ準備
自動データ準備では、明示的セマンティック分析(ESA)のために入力ベクターをユニット長に正規化します。
単純な(ネストされていない)データ型の列に欠損値がある場合、ESAによって質的データの欠損値は最頻値に、量的データの欠損値は平均値に自動的に置換されます。ネストした列に欠損値がある場合、ESAではそれらをスパースとして解釈します。スパースな量的データは0(ゼロ)に、スパースな質的データはゼロ・ベクターに置換されます。Oracle Data Miningデータ準備では、入力テキストは実数のベクターに変換されます。これらの数値は、テキスト内の各用語の重要度を表しています。
14.4 明示的セマンティック分析の用語
明示的セマンティック分析(ESA)に関連する用語について説明します。
複数ターゲットの分類
このような大規模な分類では、トレーニング項目が複数のクラスに属しています。その場合の分類の目的は、1つの項目に対して考えられる複数のターゲット・クラスを検出することです。この種の分類は複数ターゲット分類と呼ばれます。ESAベースの分類のターゲット列は拡張されています。コレクションはターゲット列の値として許容されます。ESAベース分類では、ターゲットのコレクション・タイプはORA_MINING_VARCHAR2_NTです。
大規模な分類
大規模な分類は、通常、数万から数十万に及ぶ膨大な数のカテゴリを含んでいるオントロジーに適用されます。この大規模分類には、通常、ばらつきがある膨大なトレーニング・データセットが必要です。これは、いくつかのクラスが相当数のトレーニング・サンプルを保持していて、その他のクラスがトレーニング・データセットで疎表現されているということです。大規模な分類では、通常、特定のテスト・ケースに対して複数のターゲット・クラスが割り当てられます。
トピックのモデリング
トピックのモデリングとは、ドキュメントに含まれる最重要のトピックを導出することです。トピックのモデリングは、明示的にすることも潜在的にすることもできます。明示的なトピックのモデリングでは、特定のドキュメントについて、事前定義された集合から最も関連のあるトピックが選択されます。明示的なトピックには名前があり、言語化できます。潜在的なトピックのモデリングでは、ドキュメントのコレクションについて、潜在的なトピックの特性の集合を識別します。こうした潜在的なトピックの部分集合が調査対象のすべてのドキュメントに関連付けられます。潜在的なトピックには、言語による説明や意味のある解釈がありません。