情報量（じょうほうりょう）やエントロピー（英: entropy）は、情報理論の概念で、あるできごと（事象）が起きた際、それがどれほど起こりにくいかを表す尺度である。ありふれたできごと（たとえば「風の音」）が起こったことを … 詳細

それぞれのできごとの情報量だけでなく、それらのできごとの情報量の平均値も情報量と呼ぶ。両者を区別する場合には、前者を自己情報量（自己エン … 詳細

$${\displaystyle \Omega }$$を、台が有限集合である確率空間とする。Pを$${\displaystyle \Omega }$$上の確率分布とし、 詳細

• 標本化定理（シャノンの定理）
• データ量の比較
• エントロピー
• マクスウェ … 詳細

$${\displaystyle (\Omega ,{\mathcal {F}},P)}$$ を確率空間とする。全事象 Ω の分割 $${\displaystyle A_{i}}$$ が与えられたとき 、各事象 詳細

「エントロピー」の概念は1865年にルドルフ・クラウジウスがギリシャ語の「変換」を意味する言葉を語源として、熱力学における気体のある状態量として導入した。これは統計力学では微視的な状態数の対数に比例する量として表される。1929年にはレオ・シ … 詳細