4 回帰
4.1 回帰とは
回帰は、連続体に沿って数値を予測するデータ・マイニング手法です。利益、売上、住宅ローン金利、住宅価格、建坪、気温、距離などは、回帰の手法を使用して予測することが可能です。たとえば、回帰モデルを使用すると、立地、部屋数、敷地の広さその他の要因に基づいて住宅価格を予測できます。
回帰タスクは、ターゲット値が判明しているデータ・セットから着手します。たとえば、住宅価格を予測する回帰モデルは、一定の期間に観測された多数の住宅のデータに基づいて作成されます。このデータには、住宅価格だけでなく、築年数、建坪、部屋数、税金、学区、商店街までの距離などのデータが含まれていることが考えられます。住宅価格をターゲット、他の属性を予測子として、各住宅のデータが1つのケースを構成します。
モデルの作成(トレーニング)プロセスでは、回帰アルゴリズムは、作成データの各ケースの予測子の関数としてターゲットの値を予測します。予測子とターゲットの関係はモデルに集約され、このモデルはターゲット値が未知である別のデータセットに適用できます。
回帰モデルは、予測値と期待値の差を測定する様々な統計を計算することによってテストされます。回帰プロジェクト用の履歴データは、通常2つのデータセットに分割し、一方をモデルの作成用、もう一方をモデルのテスト用として使用します。
回帰モデルには、動向分析、経営計画、マーケティング、財務予測、時系列予測、生物医学および薬物反応モデリング、環境モデリングなど、多数の用途があります。
4.1.1 回帰の仕組み
データ・マイニング用の良質な回帰モデルを作成および使用する上で、回帰分析で使用される数学の知識は必要ありません。ただし、いくつかの基本的な概念を理解することは有益です。
回帰分析の目的は、指定した観測データセットにその関数が最も適合するように、関数のパラメータの値を決定することです。次の方程式は、これらの関係を記号で表したものです。この方程式は、回帰が、1つ以上の予測子(x1 、x2、...、xn)および1連のパラメータ(θ1、θ2、...、θn)の関数(F)と誤差の測度(e)との和により、連続的ターゲット(y)の値を推定するプロセスであることを示しています。
y = F(x,θ) + e
予測子を独立変数、ターゲットを従属変数と考えることができます。誤差(残差とも呼ばれる)は、従属変数の期待値と予測値の差です。回帰パラメータは、回帰係数とも呼ばれます
回帰モデルのトレーニング・プロセスでは、誤差の測度(2乗誤差の合計など)を最小にするパラメータ値を見つけます。
回帰関数には様々な種類があり、誤差の測定方法も様々です。
4.1.1.1 線形回帰
4.1.1.4 非線形回帰
4.1.1.5 多変量非線形回帰
多変量非線形回帰という用語は、2つ以上の予測子(x1、x2、…、xn)を持つ非線形回帰を意味します。複数の予測子を使用する場合、非線形関係は2次元空間で視覚化できません。
4.2 回帰モデルのテスト
回帰モデルをテストするには、そのモデルを既知のターゲット値を持つテスト・データに適用し、予測値と既知の値を比較します。
モデルを適用するテスト・データは、モデルの構築で使用したデータと互換性があることが必要で、モデル構築データが準備されたのと同じ方法で準備される必要があります。通常、作成データとテスト・データは、同じ履歴データ・セットからのものである必要があります。モデルの作成に数パーセントのレコードが使用され、残りのレコードはモデルのテストに使用されます。
これらの既知の値をモデルがどれくらい正確に予測するかを評価するために、テスト・メトリックが使用されます。モデルの予測精度が高くビジネス要件を満たす場合は、新しいデータにそのモデルを適用して将来の予測に役立てることができます。
4.2.1 回帰統計量
4.2.1.1 2乗平均平方根誤差
2乗平均平方根誤差(RMSE)は、近似線からのデータ・ポイントの平均2乗距離の平方根です。
RMSEは、次のSQL式によって計算できます。
SQRT(AVG((predicted_value
-actual_value
) * (predicted_value
-actual_value
)))
次の式は、RMSEを数学記号で表したものです。大文字のシグマは和を表し、jは現在の予測子、nは予測子の数を表しています。
4.3 回帰のアルゴリズム
Oracle Data Miningでは、回帰について一般化線形モデル(GLM)とニューラル・ネットワーク(NN)とサポート・ベクター・マシン(SVM)の3つのアルゴリズムがサポートされています。
一般化線形モデル(GLM)およびサポート・ベクター・マシン(SVM)のアルゴリズムも、ディメンション性が非常に高い、つまり多数の属性を持つデータセット(トランザクショナル・データや非構造化データなど)のマイニングに特に適しています。
-
一般化線形モデル(GLM)
GLMは、線形モデリングでよく使用される統計的手法です。Oracle Data Miningでは、回帰および2項分類でGLMを実装しています。GLMでは、係数統計情報やモデルの統計情報、行の診断情報など多数の情報を利用できます。GLMは信頼限界もサポートしています。
-
ニューラル・ネットワーク
ニューラル・ネットワークは、任意の非線形回帰関数を学習できる強力なアルゴリズムです。
-
サポート・ベクター・マシン(SVM)
SVMは、線形回帰および非線形回帰用の強力な最新のアルゴリズムです。Oracle Data Miningには、回帰、分類および異常検出に対してSVMが実装されています。SVM回帰では、非線形回帰用のガウス・カーネルおよび線形回帰用の線形カーネルという2種類のカーネルをサポートしています。