the IT Hustle
ツール実践マニュアル概要

ローカル AI チェッカー

RAM と GPU を入力するだけで、お使いのマシンで実際に動かせるローカルモデルがわかります。3B〜70B、Q4〜FP16 に対応しています。

Apple Silicon では GPU がシステムメモリを共有するため、VRAM の入力は不要です。PC の場合は GPU モデルの VRAM を確認してください(例:RTX 4060 = 8 GB、RTX 4090 = 24 GB)。

モデルサイズQ4Q8FP16
3Bパラメータ低速(CPU)~3 GB低速(CPU)~5 GB低速(CPU)~8 GB
7Bパラメータ低速(CPU)~5 GB低速(CPU)~9 GBメモリ不足~17 GB
13Bパラメータ低速(CPU)~9 GBメモリ不足~16 GBメモリ不足~30 GB
34Bパラメータメモリ不足~20 GBメモリ不足~39 GBメモリ不足~76 GB
70Bパラメータメモリ不足~40 GBメモリ不足~79 GBメモリ不足~156 GB
結果の見方
  • 快適に動作 — GPU/ユニファイドメモリに収まります。Ollama や LM Studio などのランタイムで、対話に十分な速度で動作します。
  • 低速(CPU) — システム RAM にのみ収まります。CPU 実行で毎秒数トークン程度 — テスト用途には十分ですが、日常的に使うにはつらい速度です。
  • メモリ不足 — Q4 量子化でも、このマシンのメモリでは足りません。

llama.cpp 系のローカル推論を想定した目安値で、ランタイムのオーバーヘッドを含みます。実際の使用量はコンテキスト長やランタイムによって変わります。Q4/Q8/FP16 は量子化レベルを表し、数値が小さいほどモデルは小さくなり、精度はわずかに低下します。

お使いのマシンでローカルAIが動くか確認する方法

3Bから70Bパラメータまで、お使いのハードウェアで動かせるローカルモデルを確認しましょう。

  1. 1
    RAMを入力するシステムメモリの合計をGB単位で入力します。Windowsでは「タスクマネージャー → パフォーマンス」、macOSでは「このMacについて」で確認できます。
  2. 2
    GPUのVRAMを入力するGPU専用メモリをGB単位で入力します(例:RTX 4060 = 8 GB、RTX 4090 = 24 GB)。Apple Siliconの場合はこの欄を飛ばし、ユニファイドメモリのチェックボックスをオンにしてください。
  3. 3
    マトリクスを読む各モデルサイズ(3B〜70B)について、量子化レベルごとに「快適に動作」「CPUで低速」「メモリ不足」の判定と、必要メモリの目安が表示されます。
  4. 4
    ランタイムをインストールする緑のセルがあれば、OllamaやLM Studioをインストールし、収まるモデルをダウンロードするだけで、API費用ゼロでローカルAIを動かせます。

よくある質問

量子化レベルのことで、モデルの各重みを何ビットで保存するかを表します。Q4はわずかな品質低下と引き換えにモデルをフルサイズの約4分の1に圧縮し、FP16はフルサイズ・フル品質です。ローカル利用ではメモリ節約のため、Q4かQ8で動かすのが一般的です。

Apple SiliconのMacはCPUとGPUがユニファイドメモリを共有するため、32 GBのMacBookなら、PCでは24 GBの専用グラフィックカードが必要になるモデルもGPUアクセラレーションで動かせます。

いいえ。ホスト型のフロンティアモデルのほうが明らかに高性能です。ただし7B〜13Bのローカルモデルでも、要約、下書き、コーディング支援は十分こなせるうえ、トークン単価はゼロ、オフラインでも動き、機密データを手元のマシンに置いたままにできます。

llama.cpp系ランタイムを想定した、一般的なオーバーヘッドを含む計画用の目安です。長いコンテキスト、大きなバッチサイズ、ランタイムの違いによって実際の使用量は変わるため、ぎりぎり緑の判定は「動くかもしれない」程度に考えてください。

関連ツール

AI コストプランナートークンカウンターネットワークツール