更新:2024/11/27

Fダイバージェンス（F-divergence）の意味と性質、具体例について

$はるか$

はるか

F-divergenceって聞いたことある？

$ふゅか$

ふゅか

あるよ！確率分布の違いを測る指標だよね。

1. F-divergenceとは？
1.1. 定義
2. 有名な例
2.1. KLダイバージェンス（Kullback-Leibler (KL) divergence）
2.2. 確率分布間の全変動距離（Total Variation (TV) distance）
2.3. へリンガー距離（Hellinger distance）
2.4. Chi-squared divergence

1. F-divergenceとは？

F-divergenceは、確率分布の間の違い（差異）を測るために用いられる数理的な尺度の一つです。これは、2つの確率分布 $ P $ と $ Q $ がどれだけ異なるかを定量的に評価する枠組みで、情報理論や機械学習、統計学など幅広い分野で使用されます。

1.1. 定義

F-divergenceは、次のような式で定義されます。

\[ D_f(P \| Q) = \int f\left(\frac{p(x)}{q(x)}\right) q(x) \, dx \]

ここで

$ P $: 実際の確率分布
$ Q $: 比較対象の確率分布
$ p(x) $, $ q(x) $: $ P $ および $ Q $ の確率密度関数
$ f: [0, \infty) \to \mathbb{R} $: $f$は0以上の定義域の凸関数の写像

$ f $ の形を変えることで、異なるF-divergenceが得られることから、多くの確率分布の距離の一般化であると考えられます。

$はるか$

はるか

うん。

の形を変えるといろんな種類のダイバージェンスになる。

$ふゅか$

ふゅか

例えばKLダイバージェンスとかね！じゃあ次、それぞれの例を詳しく見てみよう！

2. 有名な例

F-divergenceの具体例として、次のような指標が挙げられます。

2.1. KLダイバージェンス（Kullback-Leibler (KL) divergence）

\[ D_{\text{KL}}(P \| Q) = \int p(x) \log \frac{p(x)}{q(x)} \, dx \]

KLダイバージェンスは$ f(u) = u \log u $ の場合です。ここで、F-divergenceの式に $ f\left(\frac{p(x)}{q(x)}\right) = \frac{p(x)}{q(x)} \log \frac{p(x)}{q(x)} $ を代入します。

\[ \begin{align*} D_{\text{KL}}(P \| Q) &= \int \left(\frac{p(x)}{q(x)} \log \frac{p(x)}{q(x)}\right) q(x) \, dx \\ &= \int p(x) \log \frac{p(x)}{q(x)} \, dx \end{align*} \]

2.2. 確率分布間の全変動距離（Total Variation (TV) distance）

\[ D_{\text{TV}}(P, Q) = \frac{1}{2} \int |p(x) - q(x)| \, dx \]

Total Variation (TV) distanceは$ f(u) = |u - 1| $ の場合です。ここで、F-divergenceの式に$ f\left(\frac{p(x)}{q(x)}\right) = \left|\frac{p(x)}{q(x)} - 1\right| $ を代入します。

\[ \begin{align*}D_{\text{TV}}(P\| Q) &= \int \left|\frac{p(x)}{q(x)} - 1\right| q(x) \, dx \\ &= \int \left|p(x) - q(x)\right| \, dx \end{align*} \]

通常、この値を 2 で割るので、

\[ D_{\text{TV}}(P\|Q) = \frac{1}{2} \int \left|p(x) - q(x)\right| \, dx \]

2.3. へリンガー距離（Hellinger distance）

\[ D_{\text{Hellinger}}(P\| Q) = \int \left(\sqrt{p(x)} - \sqrt{q(x)}\right)^2 \, dx \]

へリンガー距離は$ f(u) = (\sqrt{u} - 1)^2 $ の場合です。ここで F-divergenceの式に$ f\left(\frac{p(x)}{q(x)}\right) = \left(\sqrt{\frac{p(x)}{q(x)}} - 1\right)^2 $ を代入します。

\[ \begin{align*}D_{\text{Hellinger}}(P \|Q) &= \int \left(\sqrt{\frac{p(x)}{q(x)}} - 1\right)^2 q(x) \, dx \\ &= \int \left(\sqrt{p(x)} - \sqrt{q(x)}\right)^2 \, dx \end{align*}\]

2.4. Chi-squared divergence

\[ D_{\chi^2}(P \| Q) = \int \frac{(p(x) - q(x))^2}{q(x)} \, dx \]

Chi-squared divergenceは$ f(u) = (u - 1)^2 $ の場合です。ここで F-divergenceの式に、$ f\left(\frac{p(x)}{q(x)}\right) = \left(\frac{p(x)}{q(x)} - 1\right)^2 $ を代入します

\[\begin{align*} D_{\chi^2}(P \| Q) &= \int \left(\left(\frac{p(x)}{q(x)} - 1\right)^2\right) q(x) \, dx \\ & = \int \frac{(p(x) - q(x))^2}{q(x)} \, dx \end{align*}\]