更新:2024/11/27

Fダイバージェンス(F-divergence)の意味と性質、具体例について

はるか
はるか
F-divergenceって聞いたことある?
ふゅか
ふゅか
あるよ!確率分布の違いを測る指標だよね。

1. F-divergenceとは?

F-divergenceは、確率分布の間の違い(差異)を測るために用いられる数理的な尺度の一つです。これは、2つの確率分布 \( P \) と \( Q \) がどれだけ異なるかを定量的に評価する枠組みで、情報理論機械学習、統計学など幅広い分野で使用されます。

1.1. 定義

F-divergenceは、次のような式で定義されます。

\[ D_f(P \| Q) = \int f\left(\frac{p(x)}{q(x)}\right) q(x) \, dx \]

ここで

  • \( P \): 実際の確率分布
  • \( Q \): 比較対象の確率分布
  • \( p(x) \), \( q(x) \): \( P \) および \( Q \) の確率密度関数
  • \( f: [0, \infty) \to \mathbb{R} \): $f$は0以上の定義域の凸関数の写像

\( f \) の形を変えることで、異なるF-divergenceが得られることから、多くの確率分布の距離の一般化であると考えられます。

はるか
はるか
うん。f の形を変えるといろんな種類のダイバージェンスになる。
ふゅか
ふゅか
例えばKLダイバージェンスとかね!じゃあ次、それぞれの例を詳しく見てみよう!

2. 有名な例

F-divergenceの具体例として、次のような指標が挙げられます。

2.1. KLダイバージェンス(Kullback-Leibler (KL) divergence)

\[ D_{\text{KL}}(P \| Q) = \int p(x) \log \frac{p(x)}{q(x)} \, dx \]

KLダイバージェンスは\( f(u) = u \log u \) の場合です。ここで、F-divergenceの式に \( f\left(\frac{p(x)}{q(x)}\right) = \frac{p(x)}{q(x)} \log \frac{p(x)}{q(x)} \) を代入します。

\[ \begin{align*} D_{\text{KL}}(P \| Q) &= \int \left(\frac{p(x)}{q(x)} \log \frac{p(x)}{q(x)}\right) q(x) \, dx \\ &= \int p(x) \log \frac{p(x)}{q(x)} \, dx \end{align*} \]

2.2. 確率分布間の全変動距離(Total Variation (TV) distance)

\[ D_{\text{TV}}(P, Q) = \frac{1}{2} \int |p(x) - q(x)| \, dx \]

Total Variation (TV) distanceは\( f(u) = |u - 1| \) の場合です。 ここで、F-divergenceの式に\( f\left(\frac{p(x)}{q(x)}\right) = \left|\frac{p(x)}{q(x)} - 1\right| \) を代入します。

\[ \begin{align*}D_{\text{TV}}(P\| Q) &= \int \left|\frac{p(x)}{q(x)} - 1\right| q(x) \, dx \\ &= \int \left|p(x) - q(x)\right| \, dx \end{align*} \]

通常、この値を 2 で割るので、

\[ D_{\text{TV}}(P\|Q) = \frac{1}{2} \int \left|p(x) - q(x)\right| \, dx \]

2.3. へリンガー距離(Hellinger distance)

\[ D_{\text{Hellinger}}(P\| Q) = \int \left(\sqrt{p(x)} - \sqrt{q(x)}\right)^2 \, dx \]

へリンガー距離は\( f(u) = (\sqrt{u} - 1)^2 \) の場合です。ここで F-divergenceの式に\( f\left(\frac{p(x)}{q(x)}\right) = \left(\sqrt{\frac{p(x)}{q(x)}} - 1\right)^2 \) を代入します。

\[ \begin{align*}D_{\text{Hellinger}}(P \|Q) &= \int \left(\sqrt{\frac{p(x)}{q(x)}} - 1\right)^2 q(x) \, dx \\ &= \int \left(\sqrt{p(x)} - \sqrt{q(x)}\right)^2 \, dx \end{align*}\]

2.4. Chi-squared divergence

\[ D_{\chi^2}(P \| Q) = \int \frac{(p(x) - q(x))^2}{q(x)} \, dx \]

Chi-squared divergenceは\( f(u) = (u - 1)^2 \) の場合です。ここで F-divergenceの式に、\( f\left(\frac{p(x)}{q(x)}\right) = \left(\frac{p(x)}{q(x)} - 1\right)^2 \) を代入します

\[\begin{align*} D_{\chi^2}(P \| Q) &= \int \left(\left(\frac{p(x)}{q(x)} - 1\right)^2\right) q(x) \, dx \\ & = \int \frac{(p(x) - q(x))^2}{q(x)} \, dx \end{align*}\]

PR