更新:2024/09/30

huggingfaceの.cacheの肥大化!シンボリックリンクで解決！

$ふゅか$

ふゅか

ねえ、Hugging Faceのキャッシュフォルダってどんどん大きくなるよね。解決方法はないかな？♪

$はるか$

はるか

あるよ。シンボリックリンクを使うといい。

1. Hugging Faceキャッシュフォルダのシンボリックリンク設定方法
1.1. 動作環境
1.2. キャッシュフォルダの削除
1.3. シンボリックリンクの作成
2. 容量の多いSSDやHDDの利用
2.1. おすすめのSSD
2.1.1. NVMe M.2対応SSD
2.1.2. SATA対応SSD
2.2. おすすめHDD

1. Hugging Faceキャッシュフォルダのシンボリックリンク設定方法

Hugging Faceのモデルやデータセットを利用する際、キャッシュフォルダが大きくなることがあります。特にSSDの容量が限られている場合、Dドライブなどの大容量ストレージにキャッシュを移動させるのが便利です。今回は、シンボリックリンクを使用してキャッシュフォルダを移動する方法を説明します。

1.1. 動作環境

Windows 11

1.2. キャッシュフォルダの削除

まず、現在のキャッシュフォルダを削除します。ここでは、C:\Users\[myuser]\.cache\huggingfaceを削除します。[myuser]はあなたの使用しているユーザー名を使用する。キャッシュフォルダを移動させないで削除する理由は、キャッシュフォルダのサイズが大きくなっている場合、移動させるの時間がかかるためです。私の場合はSSDを使っても2日以上かかるということがエクスプローラーかわかっていたため、あきらめて削除しました。
削除前のキャッシュフォルダサイズは147GBにもなっていることがあります。

$ふゅか$

ふゅか

まずはキャッシュフォルダの削除からだね。SSDの容量が少ないと大変だもんね。

$はるか$

はるか

あと、シンボリックリンクを使うためには、対象のフォルダが存在しないようにする必要がある。

1.3. シンボリックリンクの作成

シンボリックリンクを作成するために、管理者としてコマンドプロンプトを作成します。

次に、キャッシュフォルダをDドライブに移動し、シンボリックリンクを作成します。以下のコマンドを使用します。

mklink /D C:\Users\[myuser]\.cache\huggingface D:\model_data

このコマンドは、C:\Users\[myuser]\.cache\huggingfaceとD:\model_dataをリンクさせます。[myuser]はあなたの使用しているユーザー名にしてください。これにより、キャッシュデータがDドライブに保存されるようになります。

試しに、bertのモデルを使用して、キャッシュにダウンロードしてみたいと思います。

from transformers import pipeline,set_seed

set_seed(42)

pipe = pipeline('fill-mask', model='bert-large-cased',device=0)

out=pipe("The [MASK] is sleeping peacefully on the couch, curled up in a cozy ball, with the sunlight streaming through the window and warming its fur.")
out

Dドライブにモデルが配置されたことを確認できました。