Linuxで簡単AI!LM StudioとLFM2.5の使い方と感想

当ページのリンクには広告が含まれています。
Linuxで簡単AI!LM StudioとLFM2.5の使い方と感想

別の記事で、ローカルLLM判定ツール「whichllm」を使って自分のPCで使えるローカルLLMを探したところ、「LFM2.5」を使ってみたいと思い、導入してみました!

「コマンドでローカルLLMを操作するのは難しそう…」という方も安心。今回はGUI(マウス操作)でローカルLLMを操作できる「LM Studio」を使った導入手順と、実際に動かしてみた正直な感想を紹介します。

この記事を読むと、
・ローカルLLM「LFM2.5」のインストールと基本的な使い方
・「LFM2.5」を使ってローカルLLMをインストールする方法
・「LFM2.5」の使用感
がわかります。

「ローカルLLMをLinuxで簡単に使えないかなあ…」
「『LFM2.5』は気になるけど、どんな感じなんだろう?」

という方は、ぜひ最後まで読んでみてください。

目次

なぜ「LM Studio」なのか?コマンド不要のGUI管理ツール

「LM Studio」は、ローカルLLMの操作を簡単かつ安全に実行するためのGUI(マウス操作)管理ツールで、みなさんがネットで生成AIを使っているときのような仕様で操作したいなら、ローカルLLMとGUI管理ツールをセットで使う必要があります。

そして「LM Studio」には、以下のような特徴があります。

  • GUI(マウス操作)で実行可能
  • Linuxのアプリストアからインストール可能
  • オフライン実行で機密データを保護できる
  • 長文や外部データも取り込み可能
  • コストを抑えながら使える(基本的に個人も企業も無料)
  • モデルの検索とダウンロード、モデル切り替え機能がある
  • 見た目が「Google AI Studio」に似ている

これまでWebブラウザで生成AIを操作していたので、同じような画面で使えると便利です。

しかも、普段私が使用している「Google AI Studio」に見た目が似ており、違和感なく使えるだろうと、今回使うGUI管理ツールを、「LM Studio」にすることに決めました。

【事前準備】ローカルLLMをインストールする前の「PCの状況」をチェック!

「LM Studio」と「LFM2.5」をインストールする前に、現在のシステムの状況を確認しておきます。

nvidia-smiコマンドで、GPUの使用状況を確認

nvidia-smiコマンドは、NVIDIAのGPUドライバをインストールすると標準でインストールされるコマンドで、現在のGPUの状況を表示してくれます。

以下のコマンドを実行すると、実行した時点でのGPUの状況を表示してくれます。

nvidia-smi

また、以下の通りオプションを付けて実行すると、1秒ごとに情報を更新して表示してくれます。(終了する時は、Ctrl+C)

nvidia-smi -l 1

実際に私のPCで実行した結果は、以下の画像の通り。

nvidia-smi -l 1コマンドを実行した結果の画像


デスクトップでいつも使っている
・画像編集アプリのGIMP(画像1枚開いた状態)
・WebブラウザのVivaldi(タブを5枚開いて、Youtubeで動画を再生)
・WebブラウザのChrome(タブを5枚開いてそのまま)
を表示して実行したのが先程の画像ですが、GPUの使用は約300MBでした。

btopコマンドでCPUとメモリの使用状況を確認

次に、btopコマンドを使ってCPUとメモリの使用状況を確認しました。

btopコマンドは、CUI(コマンド操作)のシステムモニターですが、標準搭載のGUI(マウス操作)のシステムモニターよりも情報の視認性が高く、今回のような実験でシステムの状態を確認するには最適なコマンドです。

btop

btopコマンドについては、以下の記事で詳しく紹介していますので、ぜひ試してみてください。

先ほどと同じ条件での実行結果が、以下の画像です。

btopコマンドの実行結果画像


CPUの使用率は14%、メモリは約8GB。

ちなみに、さらにVirtual BoxでZorin OSを起動すると、CPU29%、メモリ14GBの使用率になりました。
これらの情報をまとめると、以下のようになります。

GPU:300MB
CPU:14%(Virtual Box使用時29%)
メモリ:8GB(Virtual Box使用時14GB)


今回の実験では余計なデスクトップアプリは起動せずに、端末を2つ開いて、1つはnvidia-smiコマンドを実行し、もう1つはbtopコマンドを実行した状態でLM Studioを起動してプロンプトを実行し、端末の表示をスクリーンショットで記録。

通常使用時の状況とどれだけ違うかを確認する予定です。

LM Studioの導入と「LFM2.5」のセットアップ手順

現状確認も完了したので、LM Studioをインストールして、LM Studioから「LFM2.5 」をインストールします。
「LFM2.5」以外のローカルLLMをインストールする予定の方も、操作は同じなので、参考にしてみてください。

LM Studioのインストール

まずは、LM Studioのインストールです。

STEP
アプリストアを起動

STEP
アプリストアの検索窓に「LM Studio」と入力して検索

STEP
「インストール」をクリック
アプリストアのLM Studio

LM Studioのインストールはこれで完了です。

アプリケーション一覧の中から、LM Studioを起動してみましょう。
LM Studioのアイコンは、以下の通り。

LM Studioのアイコン


STEP
LM Studioが起動したら以下の画面が表示されるので「Get Started」をクリック
LM Studioの起動画面
STEP
「Your first model」が開くので、「Skip for now」をクリック
「Your first model」画面
STEP
「Advanced settings」が開くので、「Continue to LM Studio」をクリック
「Advanced settings」画面



これで、やっとLM Studioが起動しました。

LM Studioの最初に起動したときの画面


なお、この起動手順はインストール直後だけです。
2回目以降はアイコンクリック直後に、上の画面が表示されます。

LM Studioを日本語化する方法

この時点で、表示されている項目はすべて英語です。
以下の設定で、完全ではありませんが、日本語化することができます。

STEP
LM Studio画面の左下にある歯車アイコンをクリック

STEP
Settings画面が開くので、「General」の「User Interface」の「App Language」の「English」をクリック

STEP
言語の一覧が表示されるので、「日本語(Beta)」をクリック
Setting画面で日本語に設定

これで、一部ではありますが、項目が日本語表示になりました。

どうやらベータ版のようなので、今後のアップデートで日本語化が進むことを祈っています。

LM StudioにLFM2.5をインストールする方法

それでは、LFM2.5をインストールしていきましょう。
今回インストールするのは「LiquidAI/LFM2.5-8B-A1B-GGUF」です。

STEP
画面左側のロボットの頭と虫眼鏡のアイコンをクリック

STEP
ローカルLLMのリストが開くので、検索窓に「lfm2.5-8b」と入力

リストの先頭にLiquidAIの「LFM2.5-8B-A1B-GGUF」が表示され、右側にその詳細が表示されました。
ここで注意がひとつ。検索窓には半角小文字で入力してください。半角大文字だと何もヒットしません。

ローカルLLMリストでlfm2.5を検索
STEP
右側の「Download Options」でモデル名をクリックして、目的のQuant(圧縮)タイプをダウンロード

Quant(圧縮)タイプのリストが表示され、おすすめとして「Q4_K_M」が選択されていました。

前回のwhichllmの判定で名前が出ていた非圧縮の「F16」もありましたが、前回の記事でも解説した通り、「Q4_K_M」は賢さを保ちつつ容量を小さくした『最もバランスが良い黄金設定』です。

私のグラボ(RTX 4060 Ti 8GB)のVRAMにも余裕で収まるサイズ(約5GB)ですので、LM Studioおすすめの「Q4_K_M」を選択したままにしました。

lfm2.5のQuantタイプを選択してダウンロード
STEP
LFM2.5をダウンロード

「Download Options」のモデル名のすぐ下にある「Download」ボタンをクリックしてダウンロードします。

「Download Options」の「Download」ボタン



ダウンロードが完了すると、画面右下に「ダウンロード完了!」と表示されます。

「ダウンロード完了!」の表示


モデルのリスト画面を「☓」で消すと、LM Studioの画面には「無名チャット」(新しいチャット)が表示されていて、プロンプト入力窓に「LFM2.5-8B-A1B-G…」と表示されていました。

ただし、LM Studioを一度終了して再起動すると、チャット画面の上部が「Pick a model(モデルを選択)」に戻ってしまい、再度モデルを選び直す必要があります。

その場合、プロンプト入力欄の上に書かれている通り、「Ctrl + R」で前回使用したモデルを読み込むか、プロンプト入力欄の中のハンマーのアイコンをクリックして、モデルを選択してください。

新しい「無名チャット」が表示されたところ。

 

【参考】数値の変化を見逃さない!一括計測の便利テク

実際のテストの前に、nvidia-smi や btop を別ウィンドウで動かしていても、LM Studioの応答が速すぎて、画面を切り替えている間に「最高でどれくらいVRAMやメモリを使ったのか」を見逃してしまう可能性が心配になりました。

そこで、Geminiに相談して、2秒ごとにシステムの使用状況を端末上に1行で表示し続けるコマンドを作成(アレンジ)してもらいました。(1分間を1画面で見られるのが2秒間隔だったので、2秒で設定しました。)

AIの動作テスト中にシステムの変化を正確に記録したい方は、ターミナル(端末)を開いて以下のコマンドをそのままコピー&ペーストして実行してみてください。

※この検証コマンドの使用は必須ではありませんので、興味のある方だけ試してみてください。(※NVIDIA製GPU搭載PC用です)

echo "Timestamp | CPU | GPU_Mem | Main_Mem" && while true; do echo "$(date '+%H:%M:%S') | CPU_$(vmstat 1 2 | tail -n 1 | awk '{print 100 - $15}')% | GPU_$(nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits | awk '{printf "%.2f", $1/1024}')GB | メモリ_$(free -g | awk '/^Mem:/{print $3}')GB"; sleep 1; done

使い方: 端末を開いて上のコマンドを貼り付けて Enter を押すだけです。
止め方: 計測を終了したい時は Ctrl + C を押します。

コマンドを実行して、1秒ごとに1行ずつ数値が記録されている端末の画面


※ ファイルとしてログを保存したい場合は、コマンドの末尾に | tee -a resource_log.txt を追加することで、テキストファイルに保存することも可能です。

【検証】LFM2.5の実力は?実際に使ってみた正直な感想

やっとLFM2.5 の検証ができる状態になりました。
ここでは、以下の検証テストを実施します。

テスト1:日本語の自然さ(日常の挨拶や世間話)
テスト2:実用性チェック(メールの下書き作成)
テスト3:実用性チェック(文章の要約)
テスト4:出力スピードとレスポンスの快適さ

前述のコマンドを端末(ターミナル)で実行してから、以下のテストを実施しました。

テスト1:日本語の自然さ(日常の挨拶や世間話)

最初のテストでは、日本語特有のニュアンスや、丁寧で自然な文章が書けるかチェックします。
入力するプロンプトは、以下の通り。

こんにちは!最近、休日にパソコンで新しいことを始めるのが楽しみなのですが、初心者でも楽しめるおすすめの趣味や過ごし方を3つ、親しみやすい文章で教えてください。

以下のように回答がありました。

テスト1プロンプトの実行結果


文章的には、とても自然で、わかりやすい文章が書けていました。

ただ、一番最後の「祝幸します!」という普段使わないような単語のチョイスがありました。
プロンプトで「丁寧に」と書いたのがいけなかったのかもしれません。

回答の先頭に「Thought for a brief moment(ほんの一瞬、考えた。)」と記載されている通り、回答の表示もキビキビとしており、早かったです。

テスト2:実用性チェック(メールの下書き作成)

次に、一般的によく使うであろう、「メールの下書き作成」能力のテストを行います。

取引先の担当者に対して、体調不良により明日の打ち合わせ日程の変更(延期)をお願いする、丁寧なビジネスメールの下書きを作成してください。件名と本文を含めてお願いします。

回答は下記の通り。

テストプロンプト2(メールの下書き作成)の実行結果


5行目の「何卒ご迷惑をおかけし誠に申し訳ございませんが、何卒ご理解・ご配慮のほどよろしくお願い申し上げます。」で、「何卒」が1文の中に2つあったのが気になりました。

6行目の「お都合の良い日時を〜」も、「ご都合」が一般的な表現です。

テスト1のカジュアルな文章よりも、フォーマル寄りの文章の方が苦手かもしれません。
ただ、あくまでも「下書き」なので、特に問題もないでしょう。

Copilotを私は会社でメールの下書き作成に使用していますが、作成された文章には、必ず修正を入れてから送信しています。それと似た感じなので、「下書きの修正」の範囲内だと思います。

こちらの回答の先頭には「Thought for 1.69 seconds(1.69秒の思考)」と記載されていますが、テスト1の時より「気持ち遅いかな」くらいの体感でした。

テスト3:実用性チェック(文章の要約)

さらに、文章の要約テストです。

以下の文章を読み、重要なポイントを3つの箇条書きで分かりやすく要約してください。

【文章】
Linuxは専門知識が必要な難しいOSだと思われがちですが、近年は初心者向けのディストリビューションが充実し、一般ユーザーでも簡単に扱えるようになりました。特にWeb閲覧、動画視聴、書類作成などの日常的な作業であれば、Windowsから切り替えても全く問題なく利用できます。さらに、OSや多くのソフトウェアが無料で利用できるため、余っている古いPCを再利用する用途としても注目されています。

回答は以下の通り。

テストプロンプト3(文章要約)の実行結果


プロンプトの指示通り、3つの箇条書きでまとめられています。

内容も、誤りはないのですが、箇条書きの2つ目の「Windowsと同等かそれ以上に問題なく実行可能」が気になりました。元の文章にはWindows以上に使えるとは書いていなかったはずです。

若干、ポジティブな方に話を盛る傾向があるのかもしれませんが、今回のテストでは、問題視するほどのレベルではないと思います。

思考時間も、1.61秒と早かったです。

テスト4:出力スピードとレスポンスの快適さ

ここまでのテストで、処理時間、出力スピードも早く、快適な受け答えだったのですが、念のため出力スピードとレスポンスの快適さをテストします。

Linuxを日常使いするメリットについて、パソコン初心者の友人にも伝わるように、分かりやすく5つの理由を挙げて説明してください。

回答は、以下の通り。

テストプロンプト4の実行結果


出力スピードは非常に早く、回答を読むスピードよりも速く回答が表示されていきました。
WebブラウザでChatGPTやGeminiとやりとりしている時よりも、はるかに速いと感じました。

内容についても、指示通り5つ理由をあげています。

ここでも、「Windowsと同等以上に簡単に行える。」とありますが、今回は元になる情報を与えていません。
ひょっとしたら、LFM2.5が「LinuxはWindowsと同等以上」という認識を持っている可能性があります。

思考時間も1.53秒と、テスト1には負けますが、他のテストより優秀な成績でした。

LM Studio稼働中のシステム状況の監視結果

前の章では、テスト用プロンプトによる回答の内容と思考時間、体感スピードについて紹介しました。
この裏では、CPU使用率、GPUメモリの使用量、メモリの使用量を、先ほど作成したコマンドで計測していましたので、その数値を紹介します。

その前に、
・PC通常使用時の状態(nvidia-smi、btopコマンドで確認)
・計測コマンド作成直後に実行したときの画像にあった数値
を見てみましょう。

状態CPUGPUメモリ
通常使用時14%0.3GB8GB
計測コマンド実行時1%前後0.24GB5GB

計測コマンド実行時には、コマンド実行用の端末(ターミナル)と、googleドキュメントで記録を取るためのGoogle Chromeの2つだけを実行していました。

この数値を差し引くと、LM Studio + LFM2.5 が使用した分が分かるという寸法です。

各テストプロンプト実行時のシステム状況

とりあえず、各テストプロンプト実行時の画像を一気にお見せし、後で総評を紹介します。
まずは、テスト1(日本語の自然さ)実行時。

テスト1プロンプト実行時のシステムモ状況

マックスの数値はCPUが19%、GPUが5.46GB、メモリが6GBでした。
次は、テスト2(メールの下書き作成)実行時。

テストプロンプト2-1実行時のシステム状況

マックスの数値はCPUが23%、GPUが5.46GB、メモリが6GB。
テスト3(文章の要約)実行時の結果は以下の通り。

テストプロンプト3実行時のシステム状況

マックスの数値はCPUが15%、GPUが5.50GB、メモリが6GBでした。
最後に、テスト4(出力スピードとレスポンスの快適さ)実行時の結果です。

テストプロンプト4実行時のシステム状況

マックスの数値はCPUが19%、GPUが5.47GB、メモリが6GBでした。

LM Studio + LFM2.5 実行パフォーマンスの総評

これで、データは全てそろいましたので、まとめてみます。
なお、表中の()は、テストプロンプトの結果から、計測コマンド実行時の数値を引いた、純粋なLM Studio + LFM2.5 のパフォーマンスの数値です。

状態CPUGPUメモリ思考スピード
通常使用時14%0.3GB8GB
計測コマンド実行時1%前後0.24GB5GB
日本語の自然さ19% (18%)5.46GB (5.22GB)6GB (1GB)一瞬
メールの下書き23% (22%)5.46GB (5.22GB)6GB (1GB)1.69秒
文章の要約15% (14%)5.50GB (5.26GB)6GB (1GB)1.61秒
出力スピード19%(18%)5.47GB (5.23GB)6GB (1GB)1.53秒

個人的には、「少し日本語は修正しないといけないが、レスポンスも良く、十分使えるレベル。」という結論になりました。

私のPCのスペックは以下の通り。

CPU:AMD Ryzen 5 8500G
メモリ:30.9GB
GPU:NVIDIA GeForce RTX 4060 Ti — 8.0 GB

CPUは「Ryzen5 8500G」で、ミドルクラスの部類に入るCPUです。そのCPUの20%程度で動作するなら他のアプリが起動していても、CPUがパンクすることは少ないでしょう。

メインメモリも単独で1GB程度の使用なら、通常の使い方をしつつLM StudioでLFM2.5を動かしても9GBしか消費しないので、十分軽いと言えます。

グラフィックボードのGPUは、最近は8Gが最低ラインのようで、私のPCも8GBなのですが、GPUのことを考えると別のアプリの同時起動は少し抑えた方が良いでしょう。

LM Studio + LFM2.5をメインメモリだけで動かしたらどうなる?

ノートPCは、グラボ非搭載のものが一般的です。

LM Studioには、GPUの使用を切る設定があるので、実際にGPUの使用を切って、メインメモリでの動作を確認してみました。設定→ Hardware→ GPUsの項目のグラボのところを「OFF」にすると、GPUの使用を切ることができます。

LM StudioでGPUの使用を切る設定

試してみるプロンプトは、テスト4(出力スピードとレスポンスの快適さ)のプロンプトです。

GPUを使用しないでテストプロンプト4を実行した結果


回答の先頭に「6.92秒の思考時間」と書かれており、GPUを使った時の思考時間の約4.5倍。実際、数秒かかっている体感でしたが、ガマンできないような遅さではありませんでした。

回答の内容ですが、間違っていることは言っていませんが、GPUを使っている時よりも精度は悪く感じます。
日本語の間違いは、GPUを使っている時と同じくらいですが、文章の体裁がイマイチでした。

多少の修正で実用に耐えるレベルになるので、内容についても、この程度のプロンプトなら問題ないでしょう。

システムの状況は、以下の通り。
ちょっと画像が長いですが、パフォーマンスの推移を見ていただくために、ノーカットでお見せします。

GPUなしでのシステムモニタ


冒頭の3行は、まだLM Studioを起動していない時で、CPU:1%、GPU:0.32GB、メモリ:4GB。
10〜17行目は、LM Studio起動後のアイドリング時で、CPU:0%、GPU:0.33GB、メモリ:9GB。
18〜26行目は、プロンプトの入力・実行時で、最大、CPU:52%、GPU:0.35GB、メモリ:9GB。

メインメモリでも9GBの使用量ですみますが、CPUはGPUありの時の約倍の使用率でした。
それでも、CPUの使用率は52%程度なので、特に問題ないでしょう。

このことから、「LM Studio + LFM2.5のセットは、ミドルクラスのCPUと、16GB以上のメモリを積んだノートPCでも、十分使える。」と言えます。

【おまけ】LM StudioをGoogle AI Studio風にカスタマイズ

ここまで読んでいただいた方の中で、「最初にGoogle AI Studioに似てるって書いてたけど、似てないじゃん。」と思った方もいると思います。

はい、その通りです。申し訳ありません。

最初のインストール時に選択を間違えたようで、ChatGPTやGeminiのような見た目になってしまいました。
しかし、以下の設定をすると、Google AI Studio風の見た目にカスタマイズできます。

  • ウィンドウ右上、閉じる(☓)の下にあるアイコン(Hide Slidebar)をクリックし、3ペイン表示に変更。
  • 設定画面の左メニューで「Appearance」を選択し、「カラーテーマ」を「ダーク」に変更。
  • 設定画面の左メニューで「<>Developer」を選択し、 「Developer mode」を「ON」に変更。

カスタマイズ後の画面は、以下の通り。

LFM2.5をGoogle AI Studio風にカスタマイズした画面

さらに、設定画面の左メニューで「<>Developer」を選択し、 「Developer mode」を「ON」に変更することで、画面左サイドメニューの下に「メモリ使用量」「CPU使用率」を表示できるので、システムの状態が分かるようになります。

まとめ:LM Studio + LFM2.5のセットは、ミドルクラスのPCなら使えます。

今回は、ローカルLLMのGUI管理ツール「LM Studio」に軽量AIモデル「LFM2.5」をインストールし、実際の動作パフォーマンスやシステム負荷を検証した結果を紹介しました。

結論として、LM Studio+LFM2.5のセットは、グラボの有無に関係なく、ミドルクラス以上のPCであれば普通に実用可能です。

もちろん、グラフィックボード(GPU)があった方が処理速度は約4.5倍も速く、回答のクオリティも高くなります。しかし、グラボなしのノートPCでも、多少の修正を前提とすれば十分に実用的なレスポンスを見せてくれました。

正直、もっと思考速度が遅くてイライラしたり、支離滅裂な日本語が返ってきて失望するのではないかと予想していたのですが、想像以上の出来栄えでした。

個人情報の漏洩を一切気にする必要のない、完全無料な自分専用のAIとして試してみる価値は十分あります。
「AIを自分のPCで安全に試してみたい」という方は、ぜひ本記事を参考にLM Studio+LFM2.5のセットを試してみてください!

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!
目次