Fダイバージェンス(F-divergence)の意味と性質、具体例について



1. F-divergenceとは?
F-divergenceは、確率分布の間の違い(差異)を測るために用いられる数理的な尺度の一つです。これは、2つの確率分布 \( P \) と \( Q \) がどれだけ異なるかを定量的に評価する枠組みで、情報理論や機械学習、統計学など幅広い分野で使用されます。
1.1. 定義
F-divergenceは、次のような式で定義されます。
\[ D_f(P \| Q) = \int f\left(\frac{p(x)}{q(x)}\right) q(x) \, dx \]
ここで
- \( P \): 実際の確率分布
- \( Q \): 比較対象の確率分布
- \( p(x) \), \( q(x) \): \( P \) および \( Q \) の確率密度関数
- \( f: [0, \infty) \to \mathbb{R} \): $f$は0以上の定義域の凸関数の写像
\( f \) の形を変えることで、異なるF-divergenceが得られることから、多くの確率分布の距離の一般化であると考えられます。


2. 有名な例
F-divergenceの具体例として、次のような指標が挙げられます。
2.1. KLダイバージェンス(Kullback-Leibler (KL) divergence)
KLダイバージェンスは\( f(u) = u \log u \) の場合です。ここで、F-divergenceの式に \( f\left(\frac{p(x)}{q(x)}\right) = \frac{p(x)}{q(x)} \log \frac{p(x)}{q(x)} \) を代入します。
\[ \begin{align*} D_{\text{KL}}(P \| Q) &= \int \left(\frac{p(x)}{q(x)} \log \frac{p(x)}{q(x)}\right) q(x) \, dx \\ &= \int p(x) \log \frac{p(x)}{q(x)} \, dx \end{align*} \]
2.2. 確率分布間の全変動距離(Total Variation (TV) distance)
Total Variation (TV) distanceは\( f(u) = |u - 1| \) の場合です。 ここで、F-divergenceの式に\( f\left(\frac{p(x)}{q(x)}\right) = \left|\frac{p(x)}{q(x)} - 1\right| \) を代入します。
\[ \begin{align*}D_{\text{TV}}(P\| Q) &= \int \left|\frac{p(x)}{q(x)} - 1\right| q(x) \, dx \\ &= \int \left|p(x) - q(x)\right| \, dx \end{align*} \]
通常、この値を 2 で割るので、
\[ D_{\text{TV}}(P\|Q) = \frac{1}{2} \int \left|p(x) - q(x)\right| \, dx \]
2.3. へリンガー距離(Hellinger distance)
へリンガー距離は\( f(u) = (\sqrt{u} - 1)^2 \) の場合です。ここで F-divergenceの式に\( f\left(\frac{p(x)}{q(x)}\right) = \left(\sqrt{\frac{p(x)}{q(x)}} - 1\right)^2 \) を代入します。
\[ \begin{align*}D_{\text{Hellinger}}(P \|Q) &= \int \left(\sqrt{\frac{p(x)}{q(x)}} - 1\right)^2 q(x) \, dx \\ &= \int \left(\sqrt{p(x)} - \sqrt{q(x)}\right)^2 \, dx \end{align*}\]
2.4. Chi-squared divergence
Chi-squared divergenceは\( f(u) = (u - 1)^2 \) の場合です。ここで F-divergenceの式に、\( f\left(\frac{p(x)}{q(x)}\right) = \left(\frac{p(x)}{q(x)} - 1\right)^2 \) を代入します
\[\begin{align*} D_{\chi^2}(P \| Q) &= \int \left(\left(\frac{p(x)}{q(x)} - 1\right)^2\right) q(x) \, dx \\ & = \int \frac{(p(x) - q(x))^2}{q(x)} \, dx \end{align*}\]