機械学習・ディープラーニング
-
【深層学習】Dying ReLU問題とReLU(Rectified Linear Unit)について
ReLU関数の特徴 この関数は、入力が正(0より大きい)であればその値を出力し、負であれば0を出力します。これにより、ニューラルネットワークの学習を高速化し、勾配消失問題(勾配がどんどん小さくなり、最 …
-
【深層学習】Leaky ReLU(Leaky Rectified Linear Unit)の意味と性質について
Leaky ReLUとは? Leaky ReLU(LReLU、Leaky Rectified Linear Unit)は、標準のReLU(Rectified Linear Unit)を改良したものです …
-
ニューラルネットワークの信号の伝達と順伝播(行列計算)について
ニューラルネットワークとは? ニューラルネットワーク(NN)は、人間の脳の神経細胞(ニューロン)の構造にヒントを得たアルゴリズムです。ニューラルネットワークは、複数の層で構成され、それぞれの層にニュー …
-
【深層学習】活性化関数と非線形関数の意味について
活性化関数 活性化関数は、ニューラルネットワークの「非線形性」を加えるために使われます。これがないと、どれだけ層(レイヤー)を重ねても、線形な計算しかできず、層を重ねる意味がありません。非線形な活性化 …
-
【Transformers】温度(temperature)の意味とは?ソフトマックス関数の調整について
temperature Transformersのtemperatureは、文章の生成タスクにおいて、モデルが生成する単語(トークン)の確率分布を調整するために使われるハイパーパラメータです。 確率分 …
-
【PyTorch】nn.Moduleとモデルの構築と使い方について
nn.Moduleとは nn.Moduleは、PyTorchにおけるニューラルネットワークモジュールの基底クラスです。レイヤー(層)やモデル全体を定義する際に使用され、パラメータの管理やモデルのシリア …
-
【PyTorch】MNISTを学習させて手書き文字認識、画像分類を行う方法
MNISTデータセットとは? MNISTデータセットは、0から9までの手書き数字の画像を集めたデータセットで、機械学習を学ぶための教材として広く利用されています。各画像は28×28ピクセルのグレースケ …
-
【Transformers】LLMにおける文脈的なlogitの意味
ロジット(logit)とは? ロジット(logit)は、統計や機械学習でよく使われる概念です。LLMにおける論文や本を読んでいると、ロジットという単語が出てきますが、このロジットは文脈によって意味が違 …