機械学習・ディープラーニング
-
【深層学習】Dying ReLU問題とReLU（Rectified Linear Unit）について
ReLU関数の特徴 この関数は、入力が正（0より大きい）であればその値を出力し、負であれば0を出力します。これにより、ニューラルネットワークの学習を高速化し、勾配消失問題（勾配がどんどん小さくなり、最 …
-
【深層学習】Leaky ReLU（Leaky Rectified Linear Unit）の意味と性質について
Leaky ReLUとは？ Leaky ReLU（LReLU、Leaky Rectified Linear Unit）は、標準のReLU（Rectified Linear Unit）を改良したものです …
-
ニューラルネットワークの信号の伝達と順伝播（行列計算）について
ニューラルネットワークとは？ ニューラルネットワーク（NN）は、人間の脳の神経細胞（ニューロン）の構造にヒントを得たアルゴリズムです。ニューラルネットワークは、複数の層で構成され、それぞれの層にニュー …
-
【深層学習】活性化関数と非線形関数の意味について
活性化関数 活性化関数は、ニューラルネットワークの「非線形性」を加えるために使われます。これがないと、どれだけ層（レイヤー）を重ねても、線形な計算しかできず、層を重ねる意味がありません。非線形な活性化 …
-
【Transformers】温度（temperature）の意味とは？ソフトマックス関数の調整について
temperature Transformersのtemperatureは、文章の生成タスクにおいて、モデルが生成する単語（トークン）の確率分布を調整するために使われるハイパーパラメータです。 確率分 …
-
【PyTorch】nn.Moduleとモデルの構築と使い方について
nn.Moduleとは nn.Moduleは、PyTorchにおけるニューラルネットワークモジュールの基底クラスです。レイヤー（層）やモデル全体を定義する際に使用され、パラメータの管理やモデルのシリア …
-
【PyTorch】MNISTを学習させて手書き文字認識、画像分類を行う方法
MNISTデータセットとは？ MNISTデータセットは、0から9までの手書き数字の画像を集めたデータセットで、機械学習を学ぶための教材として広く利用されています。各画像は28×28ピクセルのグレースケ …
-
【Transformers】LLMにおける文脈的なlogitの意味
ロジット（logit）とは？ ロジット（logit）は、統計や機械学習でよく使われる概念です。LLMにおける論文や本を読んでいると、ロジットという単語が出てきますが、このロジットは文脈によって意味が違 …