合計エントロピ

確率変数Xで、合計エントロピは、確率(X)の2を底とする対数によって乗じられたマイナスの確率(X)として定義されます。これは、変数の最も効率的なエンコーディングとみなすことができます。