モデルの評価

リプレッサのscoreメソッドはR平方メトリックを返しますが、oraclesai.metricsには、モデルの評価に役立つ他のメトリックがあります。たとえば、Akaike Information Criteria (AIC)は、モデルによって失われた情報の量を測定します。

from oraclesai.metrics import aic
 
print(f"AIC: {aic(error_model_fit)}")
 
score_train = spatial_error_pipeline.score(X_train, y="MEDIAN_INCOME")
print(f"r2_score (X_train): {score_train}")
 
score_valid = spatial_error_pipeline.score(X_valid, y="MEDIAN_INCOME")
print(f"r2_score (X_valid): {score_valid}")

検証セットを使用すると、テスト・セットで予測を行う前にモデルを評価できます。また、モデルがオーバー・フィットしているかアンダー・フィットしているかを判断するために使用できます。前述のコードは、次のメトリックを示しています。

AIC: 56503.460498197666
r2_score (X_train): 0.6212791699175433
r2_score (X_valid): 0.6417600931041549