自然言語処理（NLP）について

1. 自然言語処理の概要

• 分布仮設とは
• シソーラスとは
  • WordNetの使い方
• コーパスとは
• 言語モデルとは
• N-gram
• マルコフ連鎖
• Word2Vec
• GloVe
• FastText
• attention
• トランスフォーマーモデル（BERT, GPT, T5など）
• 言語モデルの評価指標

2. 基本的な自然言語処理のタスク

• 形態素解析
• 品詞タグ付け
• 文法解析（構文解析）
• 意味解析（語義曖昧性解消）
• 文書分類
• 感情分析
• 名前付きエンティティ認識（NER）
• 共参照解析

3. LLM

• 語彙
•  デコーディング手法
  • 貪欲法（greedy）
  • ビームサーチ
  • サンプリング
    • top_k
    • top_p