機械学習・ディープラーニング
-
自然言語処理とコーパス・具体例について
コーパスとは コーパス（corpus）は、自然言語処理（NLP）や言語学の分野で使用される用語で、言語データの大量の集合を指します。具体的には、文章や単語、文などのテキストデータが集められたもので、特 …
-
NLTKとWordNetの基本的な使い方・類義語について
NLTKとWordNet NLTK (Natural Language Toolkit) は、WordNet という辞書データベース（シソーラス）にアクセスするための便利なインターフェースを提供してい …
-
強化学習とバンディット問題・練習問題について
バンディット問題の問題設定 バンディット問題とは、画像のように複数のスロットマシンが並ぶ環境で、どのレバーを引けば最も多くの報酬を得られるかを探る問題です。プレイヤーは、各スロットマシンのレバーを引く …
-
自然言語処理とシソーラスについて
シソーラスとは シソーラスは、同義語や類義語・上位下位関係などの語の関係性を整理した辞書です。言葉が持つ意味の関連性を体系化しているため、単語の意味を理解したり、異なる言葉を使って表現を豊かにするため …
-
「Gemma-2-9B」の力を試す！アニメと数学についてGoogleのAIに質問してみた
モデルの概要 「Gemma」は、Googleによって開発された最新の言語モデルの一つであり、最初に発表されたのは2月で、その時点では20億パラメータと70億パラメータの2つのバージョンが提供されていま …
-
PythonでDatasetsのmapメソッドを使ったデータ整形の方法
Datasetsのmap datasetsライブラリのmapメソッドは、データセット内の各サンプルに関数を適用するために使用されます。これにより、データセットを前処理したり、特定の操作を実行することが …
-
交差エントロピーの数式解説！機械学習における重要性
交差エントロピーとは？ 交差エントロピー（cross-entropy）は、情報理論や機械学習において重要な概念です。これは、ある確率分布が他の確率分布とどれだけ異なるかを測定するために使用されます。 …
-
数学に特化した言語モデル！NuminaMath-7B-TIRグラフの表示や数学の問題を解く
モデルの概要 NuminaMath-7B-TIRは、AI-MOによって開発された数式と関連タスクに特化した大規模言語モデルです。このモデルは、特に数学的推論、問題解決、および数式の生成や理解に優れてい …