シグモイド関数と微分

はるか

シグモイド関数って何？

ふゅか

今回はシグモイド関数について解説するね。

シグモイド関数

シグモイド関数の微分

シグモイド関数 \(\sigma(x)\) の微分を商の微分の規則を使って計算します。まず、商の微分に従って微分します。商の微分の公式は以下の通りです。
\[ \left( \frac{g}{h} \right)' = \frac{g' \cdot h - g \cdot h'}{h^2} \]

商の微分を利用すると、
\[ \sigma'(x) = \frac{0 \cdot (1 + e^{-x}) - 1 \cdot (-e^{-x})}{(1 + e^{-x})^2} \]
\[ \sigma'(x) = \frac{e^{-x}}{(1 + e^{-x})^2} \]

シグモイド関数の形で表現

ふゅか

この形になるか計算してみましょう！

$ \sigma'(x) = \dfrac{e^{-x}}{(1 + e^{-x})^2}$より、

$\sigma'(x) = \sigma(x)\left(\dfrac{e^{-x}}{1 + e^{-x}}\right)$

$= \sigma(x)\left(\dfrac{1-1+e^{-x}}{1 + e^{-x}}\right)$

$= \sigma(x)\left(\dfrac{1+e^{-x}}{1 + e^{-x}}-\dfrac{e^{-x}}{1 + e^{-x}} \right)$

$= \sigma(x)\left(1-\dfrac{e^{-x}}{1 + e^{-x}} \right)$

$= \sigma(x)(1 - \sigma(x))$

シグモイド関数のグラフ

はるか

シグモイド関数って結局、何に使われる？

ふゅか

活性化関数として使われることがあるわ。ただ、勾配消失という問題があるの。