更新:2024/11/17

JSダイバージェンスの意味と性質について

$はるか$

はるか

JSダイバージェンス、知ってる？

$ふゅか$

ふゅか

あ、聞いたことある！確率分布間の類似度を測る方法だよね？特にKLダイバージェンスの対称性を持たせたっていう話だった！

1. JSダイバージェンス

JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェンス（KLダイバージェンス）の対称化されたバージョンです。

JSダイバージェンスは次のような式で書かれます。

$$ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) $$

ここで、$D_{KL}$はKLダイバージェンス、$M = \frac{1}{2}(P + Q)$です。

$ D_{KL}(P \| Q) $ はKullback-Leibler (KL) ダイバージェンスで、離散的な場合、以下のように定義されます。
\[ D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \]

$ふゅか$

ふゅか

そもそもKLダイバージェンスって何だっけ？

$はるか$

はるか

一言で言うと、ある分布が他の分布とどれだけ違うかを測る指標。

JSダイバージェンスは対称性があり、$D_{JS}(P || Q) = D_{JS}(Q || P)$が成り立ちます。

対称性を導いてみましょう。

$ D_{JS}(P \| Q) $ を定義に基づいて展開します。

\[ D_{JS}(P \| Q) = \frac{1}{2} D_{KL}(P \| M) + \frac{1}{2} D_{KL}(Q \| M) \]

同様に、$ JS(Q \| P) $は

\[ D_{JS}(Q \| P) = \frac{1}{2} D_{KL}(Q \| M) + \frac{1}{2} D_{KL}(P \| M) \]

ここで $ M = \frac{1}{2}(P + Q) $ です。したがって、 $D_{JS}(P \| Q)$と $D_{JS}(Q \| P)$ は同じ式であるので、$D_{JS}(P \| Q)=D_{JS}(Q \| P) $となり、対称性を持つ。