機械学習・ディープラーニング
-
JSダイバージェンスの意味と性質について
JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
-
大規模言語モデル(LLM)と語彙(vocabulary)の関係と意味について
語彙とは 「語彙」とは、特定の言語や文脈で使われる単語や記号などの集まりを指します。言語モデルにおける語彙は、モデルが理解し、処理できるすべての単語や記号、トークンの集合です。日常的な言葉とコンピュー …
-
【深層学習】活性化関数Parametric ReLU (PReLU)の意味と性質について
Parametric ReLU (PReLU)とは? Parametric ReLU(パラメトリックReLU、PReLU)は、活性化関数の一つです。ReLU(Rectified Linear Unit …
-
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法
エラーの内容 エラーの発生したコード モデルの読み込み モデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …
-
大規模言語モデルにおけるpadding_token[PAD]の意味について
pad_tokenとは? pad_token(パッドトークン)は、自然言語処理(NLP)やディープラーニングで使用される重要な要素です。主にテキストデータをモデルに入力する際に使われる特別なトークンで …
-
【深層学習】単純パーセプトロンと論理演算(AND、OR、XOR)について
単純パーセプトロン 単純パーセプトロン(Perceptron)は、機械学習の基本的なアルゴリズムで、簡単な二項分類(0または1、YesまたはNoのような2つのクラスへの分類)を行うモデルです。この単純 …
-
【図解】計算グラフと誤差逆伝播法について
計算グラフとは 計算グラフは、ニューラルネットワークの複雑な計算を視覚的に表現するための方法です。信号の伝播をノード(頂点)とエッジ(辺)で構成されるグラフとして表します。 ノード: 演算を表す。 エ …
-
【深層学習】単純パーセプトロンの意味と学習について
単純パーセプトロンとは? 単純パーセプトロン(Simple Perceptron)は、人工知能や機械学習において、分類問題のために提唱されたアルゴリズムの一つです。特に、二つのクラス(例:0と1やYe …