更新:2024/12/11
ワッサースタイン距離(Wasserstein distance)の意味と性質について


はるか
ワッサースタイン距離、知ってる?

ふゅか
えっと…たしか、確率分布の間の「距離」を測る方法よね?なんだか運ぶイメージがあるとか聞いたことある!
1. ワッサースタイン距離とは?
ワッサースタイン距離(Wasserstein distance)は、統計学や最適輸送理論で使われる指標で、2つの確率分布間の「距離」を測るための方法の一つです。この距離は「地形を移動するコスト」にたとえられることが多く、効率的に一方の分布をもう一方に変形するために必要な「作業量」を表します。そのため、「地形距離」や「最適輸送距離」とも呼ばれることがあります。機械学習の分野では、Wasserstein GANなどで使われます。
2. 最適輸送の基本的な考え方
2つの確率分布 \(P\) と \(Q\) があるとします。最適輸送は、この2つの分布を一致させるために必要な最小の「作業量」を計算します。そして、ワッサースタイン距離はこの最適輸送の一種です。
2.1. 最適輸送のイメージ
- 分布 \(P\) の「土」を分布 \(Q\) の「穴」に移動するとします。
- このとき、「移動する土の量」と「移動距離」を考え、移動にかかるコストを計算します。
- 全体のコストが最小になるように計算された値がワッサースタイン距離です。
3. 数式での表現
2つの確率分布 \( \mu \) と \( \nu \) が与えられたとき、ワッサースタイン距離は以下のように定義されます。
\[ W_p(\mu, \nu) = \left(\inf_{\gamma\in\Gamma(\mu, \nu)} \int_{M \times M} d(x, y)^p \, d\gamma(x, y) \right)^{\frac{1}{p}} \]
ここで、
- \( \mu \) と \( \nu \):確率分布。通常、\( \mu \) は「送る側」、\( \nu \) は「受け取る側」の分布を表します。
- \( p \):ワッサースタイン距離の次数を表すパラメータで、距離の計算における重み付けを調整します。例えば、\( p = 1 \) の場合は「平均距離」、\( p = 2 \) の場合は「二乗距離」に基づいた計算になります。
- \( d(x, y) \):空間 \( M \) 上で定義された距離関数。例えば、ユークリッド距離や他の適切な距離を使用します。
- \( \Gamma(\mu, \nu) \):\( \mu \) と \( \nu \) を結びつける輸送計画全体の集合。
- \( \inf_{\gamma\in\Gamma(\mu, \nu)} \):全ての可能な輸送計画 \( \gamma \) の中で、輸送コスト(距離の累積値)を最小化するものを探します。
- \( \int_{M \times M} d(x, y)^p \, d\gamma(x, y) \):輸送計画 \( \gamma \) に基づいて、距離 \( d(x, y) \) の \( p \) 乗を質量 \( \gamma(x, y) \) により重み付けして積分したもの。これが輸送コスト(総移動コスト)です。
- \( \left( \cdots \right)^{\frac{1}{p}} \):累積コストの \( p \) 乗根をとることで、実際のワッサースタイン距離を計算します。
PR