確率変数の値: 重要な予測子
一部の確率変数で、その値がわかっているときに確率変数の不確実性が低下する予測子が存在すると仮定します。たとえば、ある人物が妊娠しているかどうかを知ることで、確率変数の個人の性別の不確実性は低下します。この予測子は、モデルに含める必要のある重要な特徴のように見えます。名前はどうでしょうか。特定の人物の名前を知っている場合、その人物の性別もわかると仮定します。その場合、名前の予測子は、不確実性を0 (ゼロ)に低下するように見えます。ただし、名前が一意である場合、どうなるでしょうか。その人物の名前はサリーでしょうか。その人物の名前はジョージでしょうか... このように、存在する人の数だけ名前モデルのYes/No予測子を使用することになります。つまり、名前モデルを指定する場合、各人物の性別指定と同じ数のビットが必要になります。