ワッサースタイン距離（Wasserstein distance）の意味と性質について

1. ワッサースタイン距離とは？

ワッサースタイン距離（Wasserstein distance）は、統計学や最適輸送理論で使われる指標で、2つの確率分布間の「距離」を測るための方法の一つです。この距離は「地形を移動するコスト」にたとえられることが多く、効率的に一方の分布をもう一方に変形するために必要な「作業量」を表します。そのため、「地形距離」や「最適輸送距離」とも呼ばれることがあります。機械学習の分野では、Wasserstein GANなどで使われます。

2. 最適輸送の基本的な考え方

2つの確率分布 \(P\) と \(Q\) があるとします。最適輸送は、この2つの分布を一致させるために必要な最小の「作業量」を計算します。そして、ワッサースタイン距離はこの最適輸送の一種です。

2.1. 最適輸送のイメージ

1. 分布 \(P\) の「土」を分布 \(Q\) の「穴」に移動するとします。
2. このとき、「移動する土の量」と「移動距離」を考え、移動にかかるコストを計算します。
3. 全体のコストが最小になるように計算された値がワッサースタイン距離です。

3. 数式での表現

ここで、

• \( \mu \) と \( \nu \):確率分布。通常、\( \mu \) は「送る側」、\( \nu \) は「受け取る側」の分布を表します。
• \( p \):ワッサースタイン距離の次数を表すパラメータで、距離の計算における重み付けを調整します。例えば、\( p = 1 \) の場合は「平均距離」、\( p = 2 \) の場合は「二乗距離」に基づいた計算になります。
• \( d(x, y) \):空間 \( M \) 上で定義された距離関数。例えば、ユークリッド距離や他の適切な距離を使用します。
• \( \Gamma(\mu, \nu) \):\( \mu \) と \( \nu \) を結びつける輸送計画全体の集合。
• \( \inf_{\gamma\in\Gamma(\mu, \nu)} \):全ての可能な輸送計画 \( \gamma \) の中で、輸送コスト（距離の累積値）を最小化するものを探します。
• \( \int_{M \times M} d(x, y)^p \, d\gamma(x, y) \):輸送計画 \( \gamma \) に基づいて、距離 \( d(x, y) \) の \( p \) 乗を質量 \( \gamma(x, y) \) により重み付けして積分したもの。これが輸送コスト（総移動コスト）です。
• \( \left( \cdots \right)^{\frac{1}{p}} \):累積コストの \( p \) 乗根をとることで、実際のワッサースタイン距離を計算します。