情報理論のまとめ 1. エントロピー・相互情報量 情報量 平均情報量(エントロピー) 結合エントロピーとは 条件付きエントロピーとは 2値エントロピー関数 相互情報量 2. データ圧縮 可逆圧縮(ハフマン符号、ランレングス符号) 不可逆圧縮と情報損失 圧縮の限界とシャノン限界 3. 通信路符号化 通信路モデル シャノンの通信路容量 符号化定理と通信路符号化の基本 情報源符号化定理 4. エントロピーの応用 KLダイバージェンスの意味 JSダイバージェンスの意味 αダイバージェンスの意味 Fダイバージェンスの意味 交差エントロピー(クロスエントロピー) PR ホームに戻る