条件付き独立の意味と具体例について

1. 条件付き独立とは？

条件付き独立（conditionally independent）とは、「ある条件が与えられたときに、二つの確率変数が互いに独立であること」を意味します。この概念は、統計学や機械学習において重要であり、特にベイズ統計やマルコフモデルで広く活用されます。

2. 条件付き独立の定義

つまり、「変数 \( Z \) を知っているならば、\( X \) の値を知ることは \( Y \) の値を予測するうえで追加の情報を提供しない」ということを意味します。

2.1. 別の形

条件付き独立の定義より、

\[ P(X, Y | Z) = P(X | Z) P(Y | Z) \]

これを条件付き確率の定義を使って分解すると、

\[ \begin{align*} P(X | Y, Z) &=\frac{P(X, Y,Z)}{P(Y,Z)} \\ &=\frac{P(X, Y,Z)/P(Z)}{P(Y,Z)/P(Z)} \\ &= \frac{P(X, Y | Z)}{P(Y | Z)} \end{align*}\]

\[ \begin{align*} P(Y | X, Z) &=\frac{P(X, Y,Z)}{P(X,Z)}\\ &=\frac{P(X, Y,Z)/P(Z)}{P(X,Z)/P(Z)}\\ &=\frac{P(X, Y | Z)}{P(X | Z)} \end{align*}\]

ここで、条件付き独立より

\[ P(X, Y | Z) = P(X | Z) P(Y | Z) \]

を代入すると、

\[ P(X | Y, Z) = \frac{P(X | Z) P(Y | Z)}{P(Y | Z)} = P(X | Z) \]

\[ P(Y | X, Z) = \frac{P(X | Z) P(Y | Z)}{P(X | Z)} = P(Y | Z) \]

となるので、2つの式も成り立つことが示された。

3. 条件付き独立の例

3.1. 例 1: 試験の点数と学習時間

• \( X \) : 試験の点数
• \( Y \) : 学習時間
• \( Z \) : 生徒の学力レベル

試験の点数と学習時間には関係があるように思えますが、もし生徒の学力レベルを知っていれば、学習時間と点数の関係は弱まるかもしれません。つまり、学力レベル \( Z \) を考慮すれば、

\[ P(\text{試験の点数}, \text{学習時間} | \text{学力レベル}) = P(\text{試験の点数} | \text{学力レベル}) P(\text{学習時間} | \text{学力レベル}) \]

と分解できるならば、試験の点数と学習時間は「学力レベルのもとで条件付き独立」と言えます。

3.2. 例 2: 天気予報と降水量

• \( X \) : 朝の雲の有無
• \( Y \) : 夕方の降水量
• \( Z \) : 天気予報（降水確率）

通常、朝に雲が多いと雨が降る可能性が高くなります。しかし、すでに天気予報の降水確率を知っているなら、朝の雲を確認する必要はなくなります。すなわち、天気予報を条件にすれば、

\[ P(\text{降水量} | \text{朝の雲}, \text{天気予報}) = P(\text{降水量} | \text{天気予報}) \]

となり、降水量と朝の雲は天気予報のもとで条件付き独立になります。

4. 条件付き独立の応用

条件付き独立の概念は、多くの確率モデルで活用されています。

4.1. ベイズ統計

ベイズ統計では、観測データがパラメータに対して条件付き独立であると仮定することが多いです。例えば、確率変数 \( Y_1, Y_2, …, Y_n \) がパラメータ \( \theta \) に対して条件付き独立なら、

\[ P(Y_1, …, Y_n | \theta) = \prod_{i=1}^{n} P(Y_i | \theta) \]

となり、尤度関数（Likelihood）の計算が簡単になります。

4.2. ナイーブベイズ分類器

ナイーブベイズでは、特徴量 \( X_1, X_2, …, X_n \) がクラスラベル \( Y \) に対して条件付き独立であると仮定します。

\[ P(X_1, X_2, …, X_n | Y) = \prod_{i=1}^{n} P(X_i | Y) \]