更新:2024/11/17
JSダイバージェンスの意味と性質について


はるか
JSダイバージェンス、知ってる?

ふゅか
あ、聞いたことある!確率分布間の類似度を測る方法だよね?特にKLダイバージェンスの対称性を持たせたっていう話だった!
1. JSダイバージェンス
JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェンス(KLダイバージェンス)の対称化されたバージョンです。
JSダイバージェンスは次のような式で書かれます。
$$ D_{JS}(P || Q) = \frac{1}{2} D_{KL}(P || M) + \frac{1}{2} D_{KL}(Q || M) $$
ここで、$D_{KL}$はKLダイバージェンス、$M = \frac{1}{2}(P + Q)$です。
1.1. KLダイバージェンスの式
\( D_{KL}(P \| Q) \) はKullback-Leibler (KL) ダイバージェンスで、離散的な場合、以下のように定義されます。
\[ D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \]
\[ D_{KL}(P \| Q) = \sum_x P(x) \log \frac{P(x)}{Q(x)} \]

ふゅか
そもそもKLダイバージェンスって何だっけ?

はるか
一言で言うと、ある分布が他の分布とどれだけ違うかを測る指標。
2. JSダイバージェンスの性質
2.1. 対称性
JSダイバージェンスは対称性があり、$D_{JS}(P || Q) = D_{JS}(Q || P)$が成り立ちます。
対称性を導いてみましょう。
\( D_{JS}(P \| Q) \) を定義に基づいて展開します。
\[ D_{JS}(P \| Q) = \frac{1}{2} D_{KL}(P \| M) + \frac{1}{2} D_{KL}(Q \| M) \]
同様に、\( JS(Q \| P) \)は
\[ D_{JS}(Q \| P) = \frac{1}{2} D_{KL}(Q \| M) + \frac{1}{2} D_{KL}(P \| M) \]
ここで \( M = \frac{1}{2}(P + Q) \) です。したがって、 $D_{JS}(P \| Q)$と $D_{JS}(Q \| P)$ は同じ式であるので、$D_{JS}(P \| Q)=D_{JS}(Q \| P) $となり、対称性を持つ。
PR