情報理論
-
赤池情報量基準(AIC)の意味と性質について
赤池情報量基準(AIC)とは? 赤池情報量基準(Akaike Information Criterion、AIC)は、1970年代に赤池弘次氏によって提案された統計モデルの評価指標です。複数の統計モデ …
-
Fダイバージェンス(F-divergence)の意味と性質、具体例について
F-divergenceとは? F-divergenceは、確率分布の間の違い(差異)を測るために用いられる数理的な尺度の一つです。これは、2つの確率分布 \( P \) と \( Q \) がどれだ …
-
α-divergence(アルファダイバージェンス)の意味と性質について
αダイバージェンス αダイバージェンス(α-divergence)は、2つの確率分布間の違い・類似度を定量化するための尺度の一種です。 定義 αダイバージェンスの式変形 αダイバージェンスの式の \( …
-
JSダイバージェンスの意味と性質について
JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
-
結合エントロピーとは?性質と具体例、例題について
結合エントロピー 結合エントロピー(joint entropy)とは、2つ以上の確率変数の情報量を測る指標です。 ここで、\( p(x, y) \) は \( X \) と \( Y \) の同時確率 …
-
条件付きエントロピーとは?性質と具体例、例題について
条件付きエントロピー 条件付きエントロピー(conditional entropy)はXという情報を知った後に、Yの情報量はどれだけ得られるのかを表した尺度です。ようは、条件付き確率のような考えかたで …
-
平均情報量(エントロピー)の性質・例題について
平均情報量 平均情報量とは、ある情報源から発せられるメッセージの平均的な情報量を指します。シャノンの情報理論では、これはエントロピーと呼ばれ、情報源が発生する各メッセージの発生確率を用いて計算されます …
-
2値エントロピー関数の性質・グラフについて
二値エントロピー関数 二値エントロピー関数は、確率変数が2つのカテゴリ(例えば、成功と失敗、1と0など)のいずれかを取る場合のエントロピーを計算するための関数です。 この関数の意味を詳しく説明します。 …