ローカルLLM判定！whichllmの使い方と結果の見方

「ローカルLLMなら無料で情報漏えいの心配もないから使ってみたいなあ。」
「調べたら、ローカルLLMがメッチャあって、何が自分のPCで使えるか分からないよ。」
なんて思っている方はいませんか？

今回、「whichllm」という「ローカルLLM判定ツール」を使って、私のPCで使用できる「ローカルLLM」を調べてみましたので、その情報をみなさんと共有したいと思います。

ローカルLLMは、生成AIの核であるLLM（大規模言語モデル）を自分のPCにインストールして使います。
これにより、Chat-GPTやGeminiのように入力した内容を学習用に使われくなり、個人情報の漏洩の心配をする必要がなく、しかも無料で使用できるという特徴があります。

これだけ聞くと無条件で使いたくなりますが、ローカルLLMを使うには、PCに高いスペックが要求されます。
しかも、モデルによって求められるスペックが違い、これを手動で調べるのは困難を極めます。

そんな時に役に立つのが「ローカルLLM判定ツール」です。

この記事を読むと、
「ローカルLLM判定ツール」の選び方
「whichllm」の使い方
がわかります。

エンジニアでもない私が紹介しますので、普段使いのLinuxユーザーでも、わかりやすい内容となっています。
「自分のPCで「ローカルLLM」が使えるか知りたいなあ。」と思っている方は、ぜひ試してみてください。

ローカルLLM判定ツールで「whichllm」を使うことにした理由

自分のPCで使えるローカルLLMを調べる方法は、私が調べたところ「判定サイト」を利用する方法と「判定ツール」を使う方法の2種類がありました。

Can I Run AI locally? に代表される「判定サイト」は、そのサイトを開くと自動で使える「ローカルLLM」を判定してくれます。実際にCan I Run AI locally? を開いてみると、一瞬で「実際に実行できるAIモデル」のリストが表示され、とても簡単でした。

しかし、さらに調べてみると「判定ツール」の方が精度の高い判定が出るとのことだったので、「判定ツール」を使用することに決めました。
ただし、「判定ツール」には以下のような種類があり、どれを使うか決めなくてはなりません。

• LLM Checker
• whichllm
• llmfit

上記3つの「判定ツール」について調査し、比較してみました。

「LLM Checker」は、OllamaというローカルLLMを操作するアプリを使うことが前提の判定ツールです。

現時点で、ローカルLLMが使えるかどうかもわからない内に、ローカルLLMを操作するアプリをインストールするのは本末転倒ですし、どのローカルLLMが使えるかを調べるだけに色々インストールするのは気持ちの良いものではありません。

一方、「whichllm」と「llmfit」の本体以外の追加インストールは、判定ツール本体のインストールや実行で必要なuvコマンドの入っているastral-uvだけです。しかも、astral-uvをインストールすれば、判定ツール本体のインストールなしで判定できるというスグレモノ。

それならば「whichllm」と「llmfit」のどちらかを使いたいところですが、「whichllm」は「AI分野のGitHub」と言われる世界中の開発者がAIモデルなどを共有・公開している「Hugging Face」に登録されている2,900,000個以上のモデルのすべてを比較して判定するとのことで、最終的に「whichllm」を使うことに決めました。

なお、「llmfit」も実は「Hugging Face」も参照しているのですが、事前に数百個まで選別しており、選別した数百個のリストを使っています。元情報は同じなのですが、自分が調べるなら「目の前ですべてのモデルを検討してほしい。」と思ったのも「whichllm」を選んだ理由のひとつです。

「whichllm」をインストールしないで実行する方法

前述の通り「whichllm」は本体をインストールしなくても実行できます。
しかし、「whichllm」をインストールしないで実行するためには、uvxコマンドが入っているastral-uvをインストールしなくてはなりません。

astral-uvは、「whichllm」をインストールする場合にも必要なコマンドが入っているので、「whichllm」をインストールしても、しなくてもインストールする必要があります。
astral-uvのインストールには、以下のコマンドを使います。

sudo snap install astral-uv –classic

インストールの途中で、ログインパスワードの入力を求められるので入力。
インストール自体は、すぐに終わりました。

これで「whichllm」を実行する準備の完了です。
以下のコマンドで、「whichllm」を実行してみます。

uvx whichllm@latest

実行結果は、以下の通り。（一画面に入り切らなかったので、2枚続けて表示します。）

一番上の青い枠には、私のPC（HP製OMEN 35L）のスペックが表示されています。

GPU：NVIDIA GeForce RTX 4060 Ti — 8.0 GB
CPU：AMD Ryzen 5 8500G
メモリ：30.9GB
ディスクの空き容量：633.5GB
OS：Linux

このスペックを元に判定が行われ、中段の「Recommended Models」で判定結果が表示されています。
（表の見方は後述します。とりあえず今は、表示された概要を紹介します。）

下段には、英語で色々書かれています。
要点を翻訳すると、以下の通り。

速度に関する注意: 上位ランク（1位、3位）の速度推定値は信頼性が低い
警告 #1 gemma-4-26B-A4B-it: レイヤーの約39%がCPU RAMへオフロードされます
警告 #3 Qwen3-30B-A3B: レイヤーの約57%がCPU RAMへオフロードされます

1位と3位は、GPUメモリをオーバーして一部がCPU RAM（メモリ）を使用するので、その部分の処理速度が低下するため、速度推定の信頼性が低くなるということらしいです。

「whichllm」の判定結果（Recommended Models）の見方

上で「whichllm」の判定結果の表示の概要を紹介しましたが、肝心のランキングの表（Recommended Models）の内容を、もう少し掘り下げて見てみましょう。

表の項目と1位モデルの情報は以下の通り。

左の項目から順番に見ていきます。

「#」：順位の表示欄

「whichllm」は、判定結果をランキングで表示してくれます。「#」の欄は、その順位が記載されています。

「Model」：その順位のモデル名とサイズ

「Model」には、以下の4つの情報が書かれています。

・開発元：google
・モデル名：gemma-4-26B-A4B-it
・知識量や賢さ：26.5B
・ 処理スピード：(3.8Ba)

最初の2つは見たままなので分かりますが、残りの2つは難しいですよね。

26.5Bの「B」は10億という意味で、26.5Bは265億個の思考回路（パラメータ）を持っているということです。
さらに（3.8Ba ）は、「MoE」という仕組みが組み込まれていることを意味し、質問ごとに必要な思考回路を38億個だけ選んで処理することにより、計算スピードが劇的に早くなります。

まとめると、「26.5B(3.8Ba)」は、「265億個分の高い知識を持ちつつ、38億個分の軽さで動くAI」です。

ただし、265億個分のデータを読み込むため、メモリ（VRAM）消費量は減らない点に注意が必要です。

「Quant」：量子化（圧縮）の設定

「Quant（クアント／量子化）」は、ローカルLLMを動かすうえで最も重要と言える設定項目です。
画像にある「Q4_K_M」という表記は、下記のように、主に3つのパーツに分かれています。

Q4 _ K _ M
── ─ ─
① ② ③

① Q4（量子化ビット数：基本の圧縮レベル）

AIのパラメータ（記憶データ）1つあたりのデータ量を「何ビットで表現するか」を表しています。元のAIは16ビット（BF16/FP16）という高精度なデータで作られていますが、それを小さく圧縮します。

Q3（3ビット）： 「強め圧縮」 データサイズは約1/5。動作は軽くなりますが、賢さが少し落ちます。
Q4（4ビット）： 「標準圧縮」 データサイズは約1/4。賢さと軽さのバランスが最も良い定番です。
Q5（5ビット）： 「弱め圧縮」 データサイズは約1/3。元のAIの賢さをほぼ100%保ちますが、少し重いです。
Q6（6ビット）： 「最小圧縮」 ほぼ元データ通りで高精度ですが、ファイルサイズが大きくなります。

② K（K-quant：圧縮のやり方の種類）

データの圧縮方法のフォーマット名です。K（K-quant）と書かれているものは、「大事なデータ（重要な層）はあまり縮めず、あまり使わないデータだけ強く縮める」 という賢い圧縮テクニックが使われていることを意味します。

③ M（サイズ・バリエーション）

同じ Q4 や Q3 の中でも、どこをどれくらい削ったかのバリエーションです。

S (Small)： 重要な部分も含めて全体的に削り、容量を最小限にしたもの。
M (Medium)： 重要な部分は残しつつ、バランスよく削った標準的な設定。
L (Large)： あまり削らず、精度（賢さ）を重視したもの。

では、どういった組み合わせがいいのでしょうか？
調べてみたところ、以下の優先順位で決めるのが望ましいようです。

理想としては、「Q4_K_M」または「Q5_K_M」

元のAIと比べて賢さの低下が少なく、データ容量も劇的に小さくなりますため、「最もバランスが良い標準設定」と、コミュニティでも推奨されています。

メモリが厳しいときは、「Q3_K_M」

どうしてもVRAM容量（GB）に入り切らない場合、Q3 に落とすことで「Full GPU（100%VRAM動作）」にできるならアリです。ただし、複雑なプログラミングや難しい論理的思考をさせると、少しお馬鹿になる（誤字や変な日本語が増える）ことがあります。

Q2以下は、圧縮しすぎてAIの文章能力がガタガタになってしまう（回答が破綻しやすい）ため、基本的にはおすすめできないとのこと。

次に紹介する「Fit/VRAM」欄を見比べて判断する必要があります。

「Fit/VRAM」：GPUメモリへの収まり具合

ここには、GPUメモリへの収まり具合と、必要になるGPUメモリの容量が記載されています。
GPUメモリへの収まり具合は、以下のように分類されています。

Full GPU（緑色）
AIのデータがすべてVRAMに収まり、100%グラボが活用できるので、非常に高速に動く。

Partial（黄色）
VRAMに収まりきらないため、一部をPCメモリを使用。動くが、速度は遅くなる。

2行目の「〇〇GB」は、そのAIを動かすのに必要なVRAMの容量で、グラボのGPUメモリの容量よりも大きい数字が表示されている場合、収まりきらない分がCPUメモリ（メインメモリ）で処理されることになります。

このため、前述の「Quant」欄も見て、「この量子化設定でVRAMをこれくらい使うので、自分のPCで使える。」というふうに判断する材料に使います。

「Speed」：1秒あたりのテキスト生成速度（トークン数）

whichllmは、「賢さ」と「速度（tok/s）」のバランスを総合的にスコア化してくれます。
whichllmのREADME.ja.mdに分かりやすく説明されていたので、以下に、そのまま引用させていただきました。

速度表示:
赤: 4 tok/s 未満の遅い生成速度
黄: 4-10 tok/s のぎりぎり使える生成速度
緑: 10-30 tok/s の実用的な生成速度
明るい緑: 30 tok/s 以上の高速なローカル生成速度

~: 速度推定の幅がある通常の推定値
?: backend や runtime の影響が大きい低信頼の推定値

出典：README.ja.md

目指すべきは、「30.0前後 tok/s ~」というところでしょう。

「Published」：AIモデルがインターネット上に公開された年月日

ここには、AIモデルがインターネット上に公開された年月日が記載されています。
年月日が現在に近いほど、最新のバージョンということです。

「Score」：総合スコア

各モデルには 0 から 100 のスコアが付けられ、それが「Score」欄に記載されています。
点数が高ければ高いだけ、自分のPCに最適だということです。

総合スコア以外の項目の内容が満足のいく数値だったものの中で、一番高いスコアのものを選ぶのが無難です。

「whichllm」でオプションを使って判定してみる

先ほど判定したときに使った以下のコマンドを実行すると、使うのにギリギリの性能のモデルまでランキングに表示されてしまいます。

uvx whichllm@latest

しかし、whichllmのREADME.ja.mdにはオプションが紹介されており、判定条件を指定したり、逆に自分のPCで特定のローカルLLMを使うのに必要なGPUを逆算してくれたりします。

ここでは、ありがちなシチュエーションで使えるオプションと、実際に私のPCでの判定結果を紹介します。

LM Studioなどで余裕を持って操作したい場合

「LM Studio」は、ローカルLLMの操作を簡単かつ安全に実行するためのGUI（デスクトップ）管理ツールです。

みなさんがネットで生成AIを使っているときのような仕様で操作したいなら、ローカルLLMと管理ツールをセットで使う必要があり、管理ツールが使うメモリ領域も確保しておく必要があります。

そんな場合、whichllmのREADME.ja.mdでは、LM Studioなどで余裕を持って行動したい場合には、以下のコマンドで判定することが推奨されています。

uvx whichllm@latest --gpu-only --speed usable --vram-headroom 1GB

コマンドの意味は、「GPUのVRAMに全部載る候補だけの中で、使える速度で、実行時にGPUメモリに1GBの余裕を持たせられるモデルのランキングを表示する。」となり、最後のGBを調整すると、GPUメモリの余裕を調整することができます。

実際に試した結果は以下の通り。

スペースの関係で上位ランク5までしか表示できませんが、どれもだいたい1年以上前のモデルばかりのランキングになってしまいました。

設定なしで判定した結果の3位と5位がスライドして1位と2位になり、設定なしの判定の1位、2位、4位はGPUメモリをオーバーしていたので、それを外した順位にちゃんとなっていました。

しかし、ここで残ったモデルは、すべて2025年に公開されたものばかり。

生成AIは1年かからずに時代遅れなモデルになるという情報を何度か見たことがあったので、せめて今年（2026年）に公開されたものが良かったのですが、その希望は絶たれてしまいました。

メインメモリだけで操作したい場合

世の中のPCのほとんどにはGPUが搭載されていません。
私も今使用しているPCはGPU（グラボ）搭載ですが、それまでに使ったPCはすべてGPU非搭載でした。

そこで、以下のコマンドを使って、PCのメインメモリだけを使った場合のランキングを表示してみました。

uvx whichllm@latest --cpu-only --speed usable

すると、ランキングには3つしかモデルが表示されませんでした。

内容を見ると、3位のLFM2.5のQuant欄に「F16」という、これまで出てこなかった数値が記載されています。

調べたところ、「F16」は「量子化（圧縮）せずに、オリジナルに近い状態で動くモデル」とのこと。
これだけ見ると何だか早そうですが、ランキング下にある英文ではランキングにある3モデルとも「much slower（非常に遅い）」となっており、「Speed」欄も最高で16 tok/sと、出力スピードも低いと判定されしまいました。

ただ、3位のLFM2.5-8B-A1Bは、GPUが要らずスマートフォンでも使えて日本語にも高品質で対応している「小型言語モデル」であり、2026年5月に公開されたばかりのモデルで、ネットでの感想では「受け答えが速い」という評価もあり、ちょっと気になるモデルではあります。

指定したモデルを使うのに必要なGPUの候補をランキング

ここまでのオプション付き判定で、GPUなら時代遅れのモデル、PCのメインメモリだけなら「非常に遅い」という評価のモデルが並ぶ結果となりました。

「じゃあ、どんなGPUを積んだら良いの？」と思い、判定することにしました。

「whichllm」にはローカルLLMのモデルを指定して、現在のPCスペックとの組み合わせに最適なGPUを教えてくれるというオプションがあるので、それを試します。

そうなると、判定の元になるローカルLLMを選ばなくてはなりません。

オプション無しの判定で1位を取った「gemma-4-26B-a4B-it」をターゲットにします。

コマンドは以下の通り。

uvx whichllm@latest plan ''gemma-4-26B-a4B-it''

判定結果には「今回指定したモデルの情報」「どのレベルのQuantで判定したか」の情報が記載されていました。

Quantの「Q4_K_M」で動かすとVRAMは15.4GB必要となり、クオリティーロスが-5%になると記載されています。

次に「GPUの互換性」の一覧が記載されていました。

一番上が私のPCに現在搭載されているGPUで、下に表示されているほど高性能なGPUになっています。

上段の表でgemma-4-26B-a4B-itはVRAMを15.4GB使用することが分かっていますので、余裕を持って使うには16GBでは力不足です。VRAMを24GB搭載している「RTX 4090」か「RTX 7900 XTX」が余裕があり、オーバースペックすぎないGPUということが分かりました。

私のPCのグラボを、この2つの内のどちらかに交換するとしたら、いくらかかるでしょう？

調べたところ、2026年8月時点で「RTX4090」は70万円前後。

「RTX 7900 XTX」は30万円前後で出品されており、RTX4090の半額以下ですが私の財布の中にはありません。

普段はGeminiを使っているのでGemmaを使いたかったのですが、GPU買い替えは「叶わぬ夢」となりました。

ちなみに、PCのメインメモリだけで使用した場合の判定結果で気になった「LFM2.5-8B-A1B-GGUF」も、GPUありだとどういう結果になるか調べてみました。

uvx whichllm@latest plan ''LFM2.5-8B-A1B-GGUF''

判定結果は以下の通り。

LFM2.5を「Q4_K_M」で動かすとVRAMは5.5GB必要となり、クオリティーロスは-5%。

私のPCに搭載されているGPU（RTX4060 Ti）のVRAMは8GBあるので、2.5GBの余裕があります。
Speedも266.0tok/sと高速です。

ネットでの評判もあり、LFM2.5、チョット使ってみたくなってきました。

まとめ｜結局、ローカルLLMはインストールするの？

今回は、自分のPCにローカルLLMをインストールして使えるかが分かる判定ツール「whichllm」について、

• インストール方法
• 判定結果の見方
• オプションを付けた色々な判定方法

を、実際に私が行ったままに紹介しました。ここで気になったローカルLLMは以下の2つ。

「gemma」は、Geminiをベースとして作られており、現在私が使用しているのがGeminiなので、受け答えへの違和感は少ないのではないかと考えています。ただ、VRAMが全然足りず、一部をPCのメインメモリで補完しなくてはならないのですが、メインメモリを使うとどれだけ遅いのか興味があります。

一方の「LFM」は、GPUが要らずスマートフォンでも使える「小型言語モデル」ということで、まったく毛色の違うモデルに興味が尽きません。

やっぱり、とりあえずは安全を見て、「LFM」を使ってみようかなと思います。

もし、この記事を見て「ローカルLLMが自分のPCにインストールできるか判定してみようかな。」と思った方は、全てを真似しなくても良いので、気になるオプションを付けて「whichllm」を試してみてください。