モデルの選択

最小記述長(MDL)は、各属性をターゲット・クラスの単純予測モデルと見なします。モデル選択とは、単一予測子のモデルを比較およびランク付けするプロセスのことです。

MDLでは、モデル選択の問題を解決するために通信モデルを使用します。通信モデルには、送信者、受信者および送信するデータがあります。

単一予測子のこれらのモデルは、MDLメトリック(ビット単位での相対的な圧縮)に関して互いに比較され、ランク付けされます。MDLでは、オーバーフィットを回避するため、モデルの複雑性にペナルティが課されます。これは、比較を公平に行うために(モデルとしての)予測子の複雑性を考慮した、合理的なアプローチです。