2GBのVPSでローカルLLMは動くのか｜0.5B・1B・3Bを実測したら1Bで崖だった
「2GBのVPSでローカルLLMは動くのか」。動きます。ただし0.5Bまでです。 0.5Bから1Bに上げた瞬間、生成速度が 15.36 tokens/秒 → 0.07 tokens/秒 に落ちました。219分の1です。段階的に遅くなるのではなく、崖から落ちます。 3Bはサービスごと落ちました。 結論 モデル ファイル ディスク増 メモリピーク 生成速度 結果 qwen2.5:0.5b 397MB +380MB 930MB 15.36 tok/s 動く llama3.2:1b 1.3GB +1,260MB 1,201MB（上限） 0.07 tok/s 実用不可 qwen2.5:3b 1.9GB +1,840MB — — 落ちた 必要メモリの目安は「モデルファイルの約2.4倍」。 0.5B（380MB）で930MBでした。 測定条件 サーバー：さくらのVPS 2Gプラン / Ubuntu 24.04 LTS（GPUなし・CPUのみ） Ollama：0.33.3 枠：systemdの MemoryMax=1200M / MemorySwapMax=1024M でOllamaを隔離 同居：定期的にデータを取得して予測を回すバッチ処理と、静的サイト1本が動いている実運用サーバー プロンプト：「日本の首都はどこですか。一文で答えてください。」 同居しているものがあるので、free の全体値は他の処理の影響を受けます。そのため、Ollama単体の数字はすべてcgroup（memory.current）から取っています。 Ollama本体だけで、ディスク2.1GB・メモリ36MB モデルを1つも入れていない状態です。 値 ディスク +2,160MB 常駐メモリ（cgroup） 36MB 待ち受け 127.0.0.1:11434 メモリは驚くほど軽い。 比較すると位置づけが分かります。 常駐メモリ Ollama本体 36MB Docker（dockerd + containerd） 約49MB n8n 402MB Dify（16コンテナ） 2,076MB 「AIツールは重い」わけではありません。重いのはモデルです。 ...