機械学習・ディープラーニング

JSダイバージェンスの意味と性質について

JSダイバージェンス JSダイバージェンスとは、Jensen-Shannonダイバージェンスの略で、2つの確率分布間の類似度を測るための指標です。これは、Kullback-Leiblerダイバージェン …
大規模言語モデル（LLM）と語彙（vocabulary）の関係と意味について

語彙とは「語彙」とは、特定の言語や文脈で使われる単語や記号などの集まりを指します。言語モデルにおける語彙は、モデルが理解し、処理できるすべての単語や記号、トークンの集合です。日常的な言葉とコンピュー …
【深層学習】活性化関数Parametric ReLU (PReLU)の意味と性質について

Parametric ReLU (PReLU)とは？ Parametric ReLU（パラメトリックReLU、PReLU）は、活性化関数の一つです。ReLU（Rectified Linear Unit …
【Transformers】エラーValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・・解決方法

エラーの内容エラーの発生したコードモデルの読み込みモデルとしてllama3を使用します。トークナイザーを読み込みます。モデルは今回の問題と直接的に関係ないので、読み込みません。 from tra …
大規模言語モデルにおけるpadding_token[PAD]の意味について

pad_tokenとは？ pad_token（パッドトークン）は、自然言語処理（NLP）やディープラーニングで使用される重要な要素です。主にテキストデータをモデルに入力する際に使われる特別なトークンで …
【深層学習】単純パーセプトロンと論理演算（AND、OR、XOR）について

単純パーセプトロン単純パーセプトロン（Perceptron）は、機械学習の基本的なアルゴリズムで、簡単な二項分類（0または1、YesまたはNoのような2つのクラスへの分類）を行うモデルです。この単純 …
【図解】計算グラフと誤差逆伝播法について

計算グラフとは計算グラフは、ニューラルネットワークの複雑な計算を視覚的に表現するための方法です。信号の伝播をノード（頂点）とエッジ（辺）で構成されるグラフとして表します。ノード: 演算を表す。エ …
【深層学習】単純パーセプトロンの意味と学習について

単純パーセプトロンとは？単純パーセプトロン（Simple Perceptron）は、人工知能や機械学習において、分類問題のために提唱されたアルゴリズムの一つです。特に、二つのクラス（例：0と1やYe …

前へ 1 2 3 4 5 6 ... 11 次へ