JSダイバージェンスの意味と性質について

はるか
はるか
JSダイバージェンス、知ってる?
ふゅか
ふゅか
あ、聞いたことある!確率分布間の類似度を測る方法だよね?特にKLダイバージェンスの対称性を持たせたっていう話だった!

1. JSダイバージェンス

JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェンス(KLダイバージェンス)の対称化されたバージョンです。

JSダイバージェンスは次のような式で書かれます。

$$  D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) $$

ここで、$D_{KL}$はKLダイバージェンス、$M = \frac{1}{2}(P + Q)$です。

1.1. KLダイバージェンスの式

\( D_{KL}(P \| Q) \) はKullback-Leibler (KL) ダイバージェンスで、離散的な場合、以下のように定義されます。
\[ D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \]
ふゅか
ふゅか
そもそもKLダイバージェンスって何だっけ?
はるか
はるか
一言で言うと、ある分布が他の分布とどれだけ違うかを測る指標。

2. JSダイバージェンスの性質

2.1. 対称性

JSダイバージェンスは対称性があり、$D_{JS}(P || Q) = D_{JS}(Q || P)$が成り立ちます。

対称性を導いてみましょう。

\(  D_{JS}(P \| Q) \) を定義に基づいて展開します。

\[  D_{JS}(P \| Q) = \frac{1}{2} D_{KL}(P \| M) + \frac{1}{2} D_{KL}(Q \| M) \]

同様に、\( JS(Q \| P) \)は

\[  D_{JS}(Q \| P) = \frac{1}{2} D_{KL}(Q \| M) + \frac{1}{2} D_{KL}(P \| M) \]

ここで \( M = \frac{1}{2}(P + Q) \) です。したがって、  $D_{JS}(P \| Q)$と $D_{JS}(Q \| P)$ は同じ式であるので、$D_{JS}(P \| Q)=D_{JS}(Q \| P) $となり、対称性を持つ。

PR