ローカルLLM

2026年9月15日に、文章を生成しないAIモデルが出ました。TypeSafe AIの「Jev」です。返すのは型のついた値と、確率と、信頼度。人間が読むためではなく、ソフトウェアがそのまま使うための出力です。 このサイトは「自分のサーバーで動かした記録」を書いています。なので、最初に確認したのはこれを自前で動かせるのかでした。 確認できた範囲では、動かせません。 そして、その理由の書かれ方が少し特殊でした。 確認できたこと Jevのウェイトは公開されていない。 ライセンスはproprietary（専有）で、アーキテクチャも技術論文も公開されていないとされている セルフホストの選択肢について、公式サイト・Cloudflareのドキュメント・Wikipedia・技術メディアの4か所を見ても、記載が1つもなかった 提供はホスト型APIのみ。エンドポイントは api.typesafe.ai/v1/systemone 価格は入力100万トークンあたり$0.042。出力トークンは課金されない（2つの情報源で一致） コンテキスト長については、情報源が食い違っている（後述） 応答時間は70〜500ミリ秒とされている 私はJevを実際には叩いていません。 この記事は公開情報の確認と、自前で同じことをやる場合の計算です。そこは最後にはっきり書きます。 Jevが何を返すのか（最小限） 大規模言語モデルと違い、Jevは自然言語のテキストを返しません。用意されているのは3種類の問い方です。 プリミティブ 何をするか 返ってくるもの Choice 選択肢から1つ選ぶ（最大255個） 選択肢・確率・信頼度 Score 順序のある段階で評価する スコア・段階別の確率・信頼度 Noul はい／いいえを判定する 0〜1の確率 信頼度は確率分布の形から出しており、高信頼度は自動処理へ、中程度はレビューへ、低信頼度は人間へという振り分けが想定されています。 「判断だけを返す」というのは、つまりこういうことです。文章を読ませて要約させるのではなく、「この問い合わせは対応が必要か」に0〜1で答えさせる。 用途がはっきり分かれています。 自前サーバーで動かせるのか 4か所を確認しました。 確認先 セルフホストに関する記載 TypeSafe AI 公式サイト 記載なし（early accessの案内、コンソール、ドキュメントへのリンクのみ） Cloudflare AI のモデルドキュメント 記載なし（typesafe/jev として第三者製モデルを提供） Wikipedia ライセンスはproprietary。「アーキテクチャ、ウェイト、技術論文のいずれも公開していない」 MarkTechPost 「TypeSafe has not published weights, a parameter count, or a self-hosting option」 注意して書きます。「できない」と断定できるのは、公式が明示的に禁じている場合です。 ここで確認できたのは、そのための情報が公開されていないということです。ウェイトが無ければ動かしようがないので、実務上は「できない」と同じですが、書き方は分けておきます。 つまりJevを使うということは、判断を外部のAPIに投げるということです。自前サーバーの話とは、前提が逆になります。 情報が食い違っている点：コンテキスト長 ここは正直に書きます。2つの情報源で、記載が食い違っています。 Cloudflare AI のドキュメント：コンテキストウィンドウ 32,000トークン MarkTechPost：「Context length and model size remain undisclosed（コンテキスト長とモデルサイズは非公開のまま）」 TypeSafe自身が公開していない数字を、提供事業者であるCloudflareが自社ドキュメントに書いている、という形です。どちらが正しいのかは、私には判断できませんでした。 ...

Ollamaのコマンドは、覚えることがほとんどありません。pull して run するだけです。 詰まるのはコマンドではなく、その裏側です。 pullが何分かかるのか。1回目の応答だけ異常に遅いのはなぜか。使い終わったメモリはいつ返ってくるのか。このあたりは、動かしてみるまで分かりません。 さくらのVPS 2Gプラン（Ubuntu 24.04・GPUなし・CPUのみ）で測った数字と、公式ドキュメントの記載を突き合わせました。 確認できたこと pull は 0.5Bで38.6秒、1Bで2分4秒、3Bで2分56秒。ディスクはそれぞれ +380MB / +1,260MB / +1,840MB 増えた 1回目の応答が遅いのはモデルのロード時間。0.5Bで3.18秒、1Bでは43.6秒かかった モデルは既定で5分間メモリに保持され、そのあとアンロードされる（公式ドキュメントの記載） つまり5分以上間を空けると、あのロード時間がもう一度発生する ollama ps の Processor 列を見れば、CPUで動いているかGPUで動いているかが分かる（公式の記載。100% CPU のように出る） Ollama本体は常駐36MB。ディスクは2.1GB。モデルを3つ入れた時点で合計3.4GBだった 実測値は「実測」、公式ドキュメントの記載は「公式」と書き分けます。 基本のコマンドと、実際にかかった時間 コマンド 何をするか このサーバーでの実測 ollama pull <model> モデルを取得する 0.5B: 38.6秒 / 1B: 2分4秒 / 3B: 2分56秒 ollama run <model> "..." 1回だけ実行する 初回はロード時間が乗る（後述） ollama list 入っているモデルを見る 即時 ollama ps いま動いているモデルを見る 即時。Processor列が重要 ollama rm <model> モデルを消す 未測定 ollama serve サーバーとして起動する systemdに任せている 覚えるのはこれで足りました。 以下は、この表に書ききれない裏側です。 ...

本記事はプロモーションを含みます。 記事内の一部のリンクは広告リンクです。リンクの有無で内容を変えていません。 掲載している数値はすべて自分のサーバーで実際に測った値か、公式ドキュメントの記載です。 ローカルLLMの構築記事を探すと、出てくるのは自分のPC（WindowsやMac、自作機）か、自社サーバー（ハードウェアを買う話）のどちらかです。 VPSに立てる話が、ほとんど見つかりません。 私は、さくらのVPS 2Gプラン（GPUなし・CPUのみ）にOllamaを入れて動かしています。その過程で、PCに入れるのとは違う問題に2つぶつかりました。 どちらも、PCなら起きないか、起きても実害が出ないものです。 確認できたこと 公式のインストールスクリプトは、1.34GBを一発勝負で落とす構造。実測で89分かけて55.6%で切れた。途中から再開できない wget -c で落としてから展開すれば2分1秒で終わった 公式のアップグレード手順も、同じスクリプトの再実行。つまり更新のたびに同じ賭けをする Ollamaに認証はない。 公式ドキュメントには「公開のしかた」は書いてあるが、公開したあと誰が叩けるのかは書かれていない systemdでメモリ枠を切ると、モデルが暴れても同居しているサービスが巻き添えにならない PCに入れるのとVPSに入れるのは、前提が3つ違う 自分のPC VPS GPU 載っていることがある 基本的にない 稼働 使うときだけ 24時間動き続ける ネットワーク 家庭内LANの内側 グローバルIPで直結 3つ目が、この記事のいちばん重要な点です。 自分のPCで OLLAMA_HOST を広げても、届くのは家の中だけです。VPSで同じことをすると、インターネット全体から届きます。 GPUがないことの影響（どのモデルまで載るか）はGPUなしでローカルLLMは使えるのかに分けて書きました。この記事は構築の手順と、立てたあとの安全に絞ります。 公式の「3行」は、1.34GBの一発勝負 Ollamaの公式インストール手順はこれです。 curl -fsSL https://ollama.com/install.sh | sh これを実行したら、89分かけて55.6%で切れました。 curl: (92) HTTP/2 stream 1 was not closed cleanly: PROTOCOL_ERROR (err 1) tar: Unexpected EOF in archive tar: Error is not recoverable: exiting now やり直しです。 このスクリプトは curl | zstd -d | tar -x と直結していて、ダウンロードしながら展開しています。 そのため途中で切れても再開できません。 ...

「GPUがないパソコンやサーバーでローカルLLMは動くのか」。動きます。ただし、載せられるモデルの大きさは、ほぼ計算で決まります。 載せられるモデルファイル ≒ 空きメモリ ÷ 2.4 この2.4という倍率は、GPUなしのVPSで実際に測って出した値です。そしてこの計算を外れた瞬間、速度は段階的にではなく崖のように落ちます。 確認できたこと 必要メモリの目安はモデルファイルの約2.4倍。0.5Bのモデル（380MB）で実測930MBだった 0.5Bは15.36 tokens/秒で動き、1Bでは0.07 tokens/秒に落ちた。219分の1。段階的ではなく崖 Ollamaの公式ドキュメントには、必要メモリの記載がない。2026年9月13日に確認した 重いのはツールではなくモデル。Ollama本体の常駐メモリは36MBで、Dockerの49MBより軽い 先に埋まるのはメモリではなくディスクのことがある。Ollama本体だけで2.1GB 商用利用の可否はモデルごとに違う。同じQwen2.5でもサイズによってライセンスが分かれている この記事の数字には実測値と計算値が混ざっています。 どちらなのかは、その都度書きます。 載るモデルは「空きメモリ ÷ 2.4」で決まる 出発点は、GPUのないVPSで測った1本の実測値です。 モデルファイル 380MB → 実際のメモリピーク 930MB（2.4倍） さくらのVPS 2Gプラン、Ubuntu 24.04、GPUなし・CPUのみ。qwen2.5:0.5b を載せたときの値です。測定の詳細は2GBのVPSでローカルLLMは動くのかに書きました。 この倍率で逆算すると、載せられるモデルの上限が出ます。 載せられるモデルファイル ≒ 空きメモリ ÷ 2.4 同じ実測から、1Bのモデルが動かない理由も説明がつきます。 1Bのファイルは1,260MB。2.4倍すると約3,000MBが必要になります。そのときの枠は1,200MBでした。入るはずがありません。そして実際に入りませんでした。 倍率が1本のモデルからしか出ていない点は、そのまま弱点です。 0.5B以外では検証していません。 なお、この2.4倍はcgroupの memory.current から取った値で、モデルファイルのページキャッシュを含みます。 「アプリが確保した量」より大きめに出る数字です。余裕を見る方向に効くので、目安としては安全側ですが、そういう数字だという前提で読んでください。 公式のファイルサイズから逆算した早見表 ここから先は計算値です。 各モデルのファイルサイズは2026年9月13日にOllama公式ライブラリで確認した値、必要メモリはそれを2.4倍したものです。 モデル 公式のファイルサイズ 必要メモリの目安（×2.4） gemma3:270m 292MB 約700MB qwen2.5:0.5b 398MB 約960MB（実測930MB） gemma3:1b 815MB 約1,960MB qwen2.5:1.5b 986MB 約2,370MB llama3.2:1b 1.3GB 約3,120MB qwen2.5:3b 1.9GB 約4,560MB llama3.2:3b 2.0GB 約4,800MB gemma3:4b 3.3GB 約7,920MB 実測と一致しているのは2行目だけです。 他は倍率からの計算で、私は確かめていません。 ...

「2GBのVPSでローカルLLMは動くのか」。動きます。ただし0.5Bまでです。 0.5Bから1Bに上げた瞬間、生成速度が 15.36 tokens/秒 → 0.07 tokens/秒 に落ちました。219分の1です。段階的に遅くなるのではなく、崖から落ちます。 3Bはサービスごと落ちました。 結論 モデル ファイル ディスク増 メモリピーク 生成速度 結果 qwen2.5:0.5b 397MB +380MB 930MB 15.36 tok/s 動く llama3.2:1b 1.3GB +1,260MB 1,201MB（上限） 0.07 tok/s 実用不可 qwen2.5:3b 1.9GB +1,840MB — — 落ちた 必要メモリの目安は「モデルファイルの約2.4倍」。 0.5B（380MB）で930MBでした。 測定条件 サーバー：さくらのVPS 2Gプラン / Ubuntu 24.04 LTS（GPUなし・CPUのみ） Ollama：0.33.3 枠：systemdの MemoryMax=1200M / MemorySwapMax=1024M でOllamaを隔離 同居：定期的にデータを取得して予測を回すバッチ処理と、静的サイト1本が動いている実運用サーバー プロンプト：「日本の首都はどこですか。一文で答えてください。」 同居しているものがあるので、free の全体値は他の処理の影響を受けます。そのため、Ollama単体の数字はすべてcgroup（memory.current）から取っています。 Ollama本体だけで、ディスク2.1GB・メモリ36MB モデルを1つも入れていない状態です。 値 ディスク +2,160MB 常駐メモリ（cgroup） 36MB 待ち受け 127.0.0.1:11434 メモリは驚くほど軽い。 比較すると位置づけが分かります。 常駐メモリ Ollama本体 36MB Docker（dockerd + containerd） 約49MB n8n 402MB Dify（16コンテナ） 2,076MB 「AIツールは重い」わけではありません。重いのはモデルです。 ...