Webエントロピー. 情報源 X {x1, x2, ..., xn} の平均情報量 H (X) は、 情報源 Y {y1, y2, ..., ym} の平均情報量 H (Y) は、 (→ エントロピー入門へ ) 結合エントロピー(joint entropy) 情報源 X と 情報源 Y から 同時に知った時の平均情報量 H (X, Y) は、 X と Y が独立の時、 P (xi, yj) = P (xi)P (yj) より、 一般には、 H (X) + H (Y) ≧ H (X, Y) 即ち、独立でない場合、 …