条件付き独立の意味と具体例について
「試験の点数」と「学習時間」は関係があるように思えます。しかし、もし「学力」を知っているとしたらどうでしょう？同じ学力の生徒で比べれば、学習時間が長くても短くても点数にはあまり影響しないかもしれません。このように、「ある情報を知ることで、それまで関連があった2つの事象が独立である」ことを 条件付き独立 といいます。
これは統計学や機械学習のモデルをシンプルにし、計算を効率化するために不可欠な概念です。本記事では、 条件付き独立の数学的な定義や具体例を交えながら、どのように活用されているのかをわかりやすく解説 していきます。
[st-kaiwa1]これが「条件付き独立」。学力を条件にすると、試験の点数と学習時間は独立になる。[/st-kaiwa1]
1. 条件付き独立とは？
条件付き独立（conditionally independent）とは、「ある条件が与えられたときに、二つの確率変数が互いに独立であること」を意味します。この概念は、統計学や機械学習において重要であり、特にベイズ統計やマルコフモデルで広く活用されます。
2. 条件付き独立の定義
確率変数 \( X \) と \( Y \) が、ある変数 \( Z \) を知っている状態で独立である場合、次の式が成り立ちます。
\[ P(X, Y | Z) = P(X | Z) P(Y | Z) \]
つまり、「変数 \( Z \) を知っているならば、\( X \) の値を知ることは \( Y \) の値を予測するうえで追加の情報を提供しない」ということを意味します。
2.1. 別の形
\[ P(Y | X, Z) = P(Y | Z) \]
条件付き独立の定義より、
\[ P(X, Y | Z) = P(X | Z) P(Y | Z) \]
これを条件付き確率の定義を使って分解すると、
\[ \begin{align*} P(X | Y, Z) &=\frac{P(X, Y,Z)}{P(Y,Z)} \\ &=\frac{P(X, Y,Z)/P(Z)}{P(Y,Z)/P(Z)} \\ &= \frac{P(X, Y | Z)}{P(Y | Z)} \end{align*}\]
\[ \begin{align*} P(Y | X, Z) &=\frac{P(X, Y,Z)}{P(X,Z)}\\ &=\frac{P(X, Y,Z)/P(Z)}{P(X,Z)/P(Z)}\\ &=\frac{P(X, Y | Z)}{P(X | Z)} \end{align*}\]
ここで、条件付き独立より
\[ P(X, Y | Z) = P(X | Z) P(Y | Z) \]
を代入すると、
\[ P(X | Y, Z) = \frac{P(X | Z) P(Y | Z)}{P(Y | Z)} = P(X | Z) \]
\[ P(Y | X, Z) = \frac{P(X | Z) P(Y | Z)}{P(X | Z)} = P(Y | Z) \]
となるので、2つの式も成り立つことが示された。
3. 条件付き独立の例
3.1. 例 1: 試験の点数と学習時間
- \( X \) : 試験の点数
- \( Y \) : 学習時間
- \( Z \) : 生徒の学力レベル
試験の点数と学習時間には関係があるように思えますが、もし生徒の学力レベルを知っていれば、学習時間と点数の関係は弱まるかもしれません。つまり、学力レベル \( Z \) を考慮すれば、
\[ P(\text{試験の点数}, \text{学習時間} | \text{学力レベル}) = P(\text{試験の点数} | \text{学力レベル}) P(\text{学習時間} | \text{学力レベル}) \]
と分解できるならば、試験の点数と学習時間は「学力レベルのもとで条件付き独立」と言えます。
3.2. 例 2: 天気予報と降水量
- \( X \) : 朝の雲の有無
- \( Y \) : 夕方の降水量
- \( Z \) : 天気予報（降水確率）
通常、朝に雲が多いと雨が降る可能性が高くなります。しかし、すでに天気予報の降水確率を知っているなら、朝の雲を確認する必要はなくなります。すなわち、天気予報を条件にすれば、
\[ P(\text{降水量} | \text{朝の雲}, \text{天気予報}) = P(\text{降水量} | \text{天気予報}) \]
となり、降水量と朝の雲は天気予報のもとで条件付き独立になります。
4. 条件付き独立の応用
条件付き独立の概念は、多くの確率モデルで活用されています。
4.1. ベイズ統計
ベイズ統計では、観測データがパラメータに対して条件付き独立であると仮定することが多いです。例えば、確率変数 \( Y_1, Y_2, …, Y_n \) がパラメータ \( \theta \) に対して条件付き独立なら、
\[ P(Y_1, …, Y_n | \theta) = \prod_{i=1}^{n} P(Y_i | \theta) \]
となり、尤度関数（Likelihood）の計算が簡単になります。
4.2. ナイーブベイズ分類器
ナイーブベイズでは、特徴量 \( X_1, X_2, …, X_n \) がクラスラベル \( Y \) に対して条件付き独立であると仮定します。
\[ P(X_1, X_2, …, X_n | Y) = \prod_{i=1}^{n} P(X_i | Y) \]
