【入門・実践】Hugging Face、Transformersライブラリの使い方について

1. 概要・インストール

• Transformersとは
• Transformersのインストール方法
• LLMにおけるロジットとは

2. 基本的な使い方

• パイプラインの活用
• モデルの読み込み
  • AutoModelForCausalLM
• トークナイザの概要
  • 語彙
  • トークン化
  • pad_token
  • トークナイザのカスタマイズ

3. デコード手法

• generate
  • top_pサンプリング

4. テキスト分類

5. 名前付きエンティティ認識 (NER)

6. 文章生成

• GPT (Generative Pre-trained Transformer)

7. 文章要約

• BART
• T5

8. 質問応答(QA)

• bert-large-uncased-whole-word-masking-squad2について

9. マスク化言語モデル (MLM)

• BERT (Bidirectional Encoder Representations from Transformers)
• bert-base-japanese-v2について
• bert-large-uncasedについて
• bert-base-casedについて
• bert-base-uncasedについて

10. テキスト生成の言語モデル

• Llama3-8Bについて
• Llama-3.2-1Bについて
• Gemma-2-9Bについて
• Swallowについて
• Fugaku LLMについて

11. datasets

• mapメソッドの使い方について

12. Transformersの高速化・軽量化手法

• 軽量化手法
  • 知識蒸留について
  • 量子化について

13. よくある警告の解説

• 警告The attention mask and the pad token id were not set. As a consequence・・・

14. よくあるエラーメッセージの解説

• ValueError: The checkpoint you are trying to load has model type `gemma2` but Transformers does not recognize this architecture.
• ValueError: Asking to pad but the tokenizer does not have a padding token. Please select a token to use as `pad_token`・・・