対数和不等式の証明・性質・具体例について
1. 対数和不等式とは
\[ \sum_{i=1}^n p_i \log \frac{p_i}{q_i} \geq \left(\sum_{i=1}^n p_i \right)\log \dfrac{\sum_{i=1}^n p_i}{\sum_{i=1}^n q_i} \]
1.1. 対数和不等式の計算例
\( n = 3 \)、\( p_1 = 0.2 \), \( p_2 = 0.3 \), \( p_3 = 0.5 \)、\( q_1 = 0.1 \)、\( q_2 = 0.4 \)、\( q_3 = 0.5 \) とします。
不等式の左辺を計算します。
\[ \sum_{i=1}^3 p_i \log \frac{p_i}{q_i} = 0.2 \log \frac{0.2}{0.1} + 0.3 \log \frac{0.3}{0.4} + 0.5 \log \frac{0.5}{0.5} \]
それぞれの項を計算すると、
\[ 0.2 \log 2 + 0.3 \log 0.75 + 0.5 \log 1 = 0.0523 \]
次に、右辺を計算します。
\[ \left(\sum_{i=1}^3 p_i\right) \log \frac{\sum_{i=1}^3 p_i}{\sum_{i=1}^3 q_i} = 1 \times \log \frac{1}{1} = 0 \]
したがって、この場合の対数和不等式は
\[ 0.0523 \geq 0 \]
となり、確かに成り立っています。
この例では、左辺が正の値 \(0.0523\) であり、右辺が 0 であることが確認されました。
2. 対数和不等式の証明
まず、関数 \( f(x) = x \log x \) を考えます。この関数は、2回微分して次のように書くことができます。
\[ f”(x) = \frac{1}{x} \]
このことから、\( f(x) = x \log x \) は凸関数であることがわかります。
凸関数の性質を利用して、Jensenの不等式をのちに適用します。
与えられた対数和不等式の左辺は次のように変形できます。
\[ \sum_{k=1}^n p_k \log \frac{p_k}{q_k} = \sum_{k=1}^n q_k \cdot \frac{p_k}{q_k} \log \frac{p_k}{q_k}\]
\[=\sum_{k=1}^n q_k f\left(\frac{p_k}{q_k}\right) \]
\[=\left( \sum_{j=1}^n q_j \right) \sum_{k=1}^n \frac{q_k}{\left( \sum_{j=1}^n q_j \right) } f\left(\frac{p_k}{q_k}\right) \]
\[\therefore \sum_{k=1}^n p_k \log \frac{p_k}{q_k} = \left( \sum_{j=1}^n q_j \right) \sum_{k=1}^n \lambda_k f\left(\frac{p_k}{q_k}\right) \]
ここで、\( \lambda_k = \frac{q_k}{\sum_{j=1}^n q_j} \) です。
関数 \( f(x) \) が凸であることを利用して、イェンゼンの不等式を適用します。すると、以下の不等式が得られます。
\[ \left( \sum_{j=1}^n q_j \right) \sum_{k=1}^n \lambda_k f\left(\frac{p_k}{q_k}\right) \geq \left( \sum_{j=1}^n q_j \right) f\left(\sum_{k=1}^n \lambda_k \frac{p_k}{q_k}\right) \]
この結果、得られた不等式の右辺を次のように変形できます。
$$\left( \sum_{j=1}^n q_j \right) f\left(\sum_{k=1}^n \lambda_k \frac{p_k}{q_k}\right)$$
$$=\left( \sum_{j=1}^n q_j \right) f\left(\sum_{k=1}^n \frac{q_k}{\sum_{j=1}^n q_j} \frac{p_k}{q_k}\right)$$
$$=\left( \sum_{j=1}^n q_j \right) f\left(\sum_{k=1}^n \frac{p_k}{\sum_{j=1}^n q_j}\right)$$
\[ =\left( \sum_{k=1}^n q_k \right) f\left(\frac{\sum_{k=1}^n p_k}{\sum_{k=1}^n q_k}\right) \]
\[ =\left( \sum_{k=1}^n q_k \right) \frac{\sum_{k=1}^n p_k}{\sum_{k=1}^n q_k}\log \frac{\sum_{k=1}^n p_k}{\sum_{k=1}^n q_k} \]
$$= \left( \sum_{k=1}^n p_k \right) \log \frac{\sum_{k=1}^n p_k}{\sum_{k=1}^n q_k}$$
以上より、対数和不等式が導かれます。
\[ \sum_{k=1}^n p_k \log \frac{p_k}{q_k} \geq \left( \sum_{k=1}^n p_k \right) \log \frac{\sum_{k=1}^n p_k}{\sum_{k=1}^n q_k} \]
3. 対数和不等式の性質
\[ \sum_{i=1}^n p_i \log \frac{p_i}{q_i} \geq 0\]
\( \displaystyle\sum_{i=1}^n p_i = 1 \) および \( \displaystyle\sum_{i=1}^n q_i = 1 \) であるため、不等式の右辺は次のように簡単になります。
\[ \left(\sum_{i=1}^n p_i \right)\log \dfrac{\sum_{i=1}^n p_i}{\sum_{i=1}^n q_i} = 1 \times \log \dfrac{1}{1} = \log 1 = 0 \]
したがって、不等式は次のようになります。
\[ \sum_{i=1}^n p_i \log \frac{p_i}{q_i} \geq 0 \]
