更新:2024/09/30
ValueError: The checkpoint you are trying to load has model type `gemma2` but Transformers does not recognize this architecture.の解決方法!gemma2の読み込み


はるか
gemma2が読み込めない…。

ふゅか
うーん、とりあえずエラーログを見てみよう!
目次
1. エラーの詳細
ValueError: The checkpoint you are trying to load has model type 'gemma2' but Transformers does not recognize this architecture.
This could be because of an issue with the checkpoint, or because your version of Transformers is out of date.
1.0.1. 訳
あなたが読み込もうとしたgemma2タイプのモデルタイプを持っているが、Transformersライブラリがそのアーキテクチャを認識しないことを示しています。この問題の原因としては、チェックポイント自体の問題、またはTransformersライブラリのバージョンが古い可能性があります。

ふゅか
このエラー、チェックポイントかTransformersのバージョンに問題があるみたいね。

はるか
なるほど、Transformersをアップデートしよう。
2. エラー解決のためのTransformersのアップデート
2.1. 解決方法
このエラーは、gemma2
アーキテクチャをサポートしていない古いバージョンのTransformersを使用していることが原因です。以下のコマンドを実行して、Transformersのバージョンをアップデートしてください。
pip install -U transformers

はるか
pipコマンドで簡単にアップデートできる。
2.2. バージョンの確認とアップデート
元のバージョンは4.41.2でしたが、アップデート後は4.42.4に変更されました。このバージョンで、gemma2
アーキテクチャが認識されるようになります。
2.3. 動作確認

ふゅか
ちゃんと、gemma2が動くか確認してみよう!
from transformers import AutoTokenizer, AutoModelForCausalLM
tokenizer = AutoTokenizer.from_pretrained("google/gemma-2-9b")
model = AutoModelForCausalLM.from_pretrained("google/gemma-2-9b",
device_map="auto",
load_in_4bit=True)
2.4. まとめ
Transformersのバージョンを最新に保つことで、新しいアーキテクチャのサポートやバグ修正が反映されます。定期的にアップデートを行い、エラーの発生を防ぎましょう。
3. Transformers・大規模言語モデルに関連する書籍
ブックオフ2号館 ヤフーショッピング店
bookfanプレミアム
大規模言語モデル入門II-生成型LLMの実装と評価 / 山田育矢 〔本〕
posted with カエレバ
HMV&BOOKS online Yahoo!店
PR