情報理論

赤池情報量基準（AIC）の意味と性質について

赤池情報量基準（AIC）とは？赤池情報量基準（Akaike Information Criterion、AIC）は、1970年代に赤池弘次氏によって提案された統計モデルの評価指標です。複数の統計モデ …
Fダイバージェンス（F-divergence）の意味と性質、具体例について

F-divergenceとは？ F-divergenceは、確率分布の間の違い（差異）を測るために用いられる数理的な尺度の一つです。これは、2つの確率分布 \( P \) と \( Q \) がどれだ …
α-divergence（アルファダイバージェンス）の意味と性質について

αダイバージェンス αダイバージェンス（α-divergence）は、2つの確率分布間の違い・類似度を定量化するための尺度の一種です。定義 αダイバージェンスの式変形 αダイバージェンスの式の \( …
JSダイバージェンスの意味と性質について

JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
結合エントロピーとは？性質と具体例、例題について

結合エントロピー結合エントロピー（joint entropy）とは、2つ以上の確率変数の情報量を測る指標です。ここで、\( p(x, y) \) は \( X \) と \( Y \) の同時確率 …
条件付きエントロピーとは？性質と具体例、例題について

条件付きエントロピー条件付きエントロピー（conditional entropy）はXという情報を知った後に、Yの情報量はどれだけ得られるのかを表した尺度です。ようは、条件付き確率のような考えかたで …
平均情報量（エントロピー）の性質・例題について

平均情報量平均情報量とは、ある情報源から発せられるメッセージの平均的な情報量を指します。シャノンの情報理論では、これはエントロピーと呼ばれ、情報源が発生する各メッセージの発生確率を用いて計算されます …
2値エントロピー関数の性質・グラフについて

二値エントロピー関数二値エントロピー関数は、確率変数が2つのカテゴリ（例えば、成功と失敗、1と0など）のいずれかを取る場合のエントロピーを計算するための関数です。この関数の意味を詳しく説明します。 …

1 2 次へ