【2026年最新】顧客情報をクラウドAIに入れられない会社の方へ。メモリ16GBのMacBook Proで日本語ローカルLLM6種を実機テストし、要約・敬語メール・規程QAの速さと正確さを比較。DeepSeekなどがPCで動くかと、安全に使う設定も分かります。
面談のメモを記録にまとめる、取引先へのお詫びメールを書く。ChatGPTに貼れば数十秒で終わる仕事でも、顧客情報が入っていると貼れません。そこで候補になるのが、自社のPCの中で動かすローカルLLMです。
ただ、モデルの数が多すぎて、どれが手元のPCで動き、どれが日本語の業務に使えるのかが分かりにくいのが実情です。
この記事では、メモリ16GBのMacBook Proで日本語のローカルLLM6種を実際に動かした結果をもとに、次の3つを解説します。
16GBのPCで動き、業務に使える日本語モデル5選
面談メモの要約やメールの下書きにかかる秒数と、間違え方の違い
「ローカルなのにデータが外に出る」3つの落とし穴
書いたのは、これまで数十社にAIを導入してきた株式会社PLATINUM INTERACTION 代表取締役の佐藤圭達です。
この記事の結論
メモリ16GBのPCで日本語の業務に使うなら、まずGemma 4 12B。 当社のテストで正確さは6モデル中1位（4.70／5点）、面談メモの要約は1件約9秒でした。
速さを優先するならGemma 4 E4B（要約1件約5秒）。ただし訂正の聞き落としがあり、人の確認が前提です。
「ローカル＝安全」ではありません。クラウド実行のモデル、別の端末からつなぐ機能、ネットワークへの公開設定の3つを確認してから使いましょう。
目次
この記事を書いた人
【結論】ローカルLLMおすすめ5選｜16GBのMacで実測した比較表
メモリ16GBのPCで日本語の業務に使うなら、Gemma 4 12Bが最もバランスのよいモデルでした。 当社がMacBook Pro（Apple M5・メモリ16GB）で6モデルを同じ業務タスクで比べたところ、正確さ・指示の守り方・日本語の自然さで1位になり、面談メモの要約も1件約9秒で返ってきました。
ローカルLLMとは、インターネット上のサービスではなく、自社のPCやサーバーの中で動かす大規模言語モデル（文章を読み書きするAI）のことです。 入力した文章を社外のサーバーに送らずに処理できるため、顧客情報や社外秘の文書を扱う業務で注目されています。クラウドAIとの違いや企業が導入するメリットは、ローカルLLMとは？クラウドAIとの違いと導入メリットで解説しています。
6モデルの比較表（速さ・日本語の正確さ・ライセンス）
順位 | モデル（開発元） | ファイルサイズ | 正確さ（5点満点） | 要約1件 | 3書類の下書き | ライセンス |
|---|---|---|---|---|---|---|
1 | Gemma 4 12B（Google） | 8.0GB | 4.70 | 8.6秒 | 20.6秒 | Apache 2.0 |
2 | Gemma 4 E4B（Google） | 6.6GB | 4.12 | 5.0秒 | 6.6秒 | Apache 2.0 |
3 | Qwen3.5 9B（Alibaba） | 6.6GB | 3.84 | 12.5秒 | 27.4秒 | Apache 2.0 |
4 | Nemotron Nano 9B v2 Japanese（NVIDIA） | 6.5GB | 3.66 | 27.8秒 | 13.6秒※ | NVIDIA Nemotron Open Model License |
5 | Qwen3.5 4B（Alibaba） | 3.4GB | 3.60 | 7.2秒 | 14.2秒 | Apache 2.0 |
圏外 | Qwen3 Swallow 8B（tokyotech-llm） | 5.0GB | 2.07 | 46.3秒 | 未実施 | Apache 2.0 |
当社調べ（2026年10月3〜4日）。秒数はモデルを読み込んだ後の3回の中央値。条件は後述の「実機テストの方法」を参照
正確さは5つの業務タスクの平均（Qwen3 Swallow 8Bは3タスクの平均）。「要約1件」は約900字の面談メモを400字以内にまとめる時間、「3書類の下書き」は話し言葉の書き起こしから書類3つの下書きを作る時間
※Nemotronは3書類の下書きで中身が空の枠だけを返したため、短時間で終わっています
ファイルサイズは取得時（2026年10月3日）、ライセンスは2026年10月20日にHugging Faceで確認
目的別の早見表：どれを選べばいい？
こんなとき | おすすめ | 理由（当社のテスト結果） |
|---|---|---|
どれにするか迷ったら（間違いが一番少ない） | Gemma 4 12B | 6種類の中で正確さ1位。会話の途中の「言い直し」や「訂正」も、書類に正しく反映できた |
とにかく速く返してほしい | Gemma 4 E4B | 要約1件約5秒、生成速度は毎秒約60トークンで最速 |
社内規程などの文書から答えを探したい | Nemotron Nano 9B v2 Japanese | 規程QAで満点（5.0）。ただし下書き作成で空欄を返したことがある |
PCのメモリが8GBしかない | Qwen3.5 4B | ファイルサイズ3.4GBで最小。ただし8GBのPCでは測っていない |
ライセンスの確認を最小限にしたい | Gemma 4 / Qwen3.5 | Apache 2.0（後述） |
主要オープンモデル一覧｜Llama・DeepSeek・Kimiなど9系統の最新版とライセンス
よく名前を聞く9系統のうち、メモリ16GBのPCで動く現行モデルがそろっているのは、Gemma、Mistral（小型のMinistral 3）、Phi（Phi-4系）の3系統です。 DeepSeek・Kimi・GLMの最新版は数百GB〜1.5TB級で、一般的なPCでは動きません。
各社の公式ページで2026年10月21日に確認した内容です。当社が実測したのはGemma 4とQwen3.5だけで、それ以外は公式値とOllamaの配布サイズからの目安です。
系統（開発元） | 最新版（2026年10月21日時点） | ライセンス | 16GBのPCで動くか | 日本語 |
|---|---|---|---|---|
Gemma（Google） | Gemma 4（E2B／E4B／12B／26B／31B） | Apache 2.0 | 12B・E4Bは動く（当社実測）。26B・31Bは32GBが目安 | 140以上の言語で学習（公式）。当社テスト1位・2位 |
Qwen（Alibaba） | Qwen3.8（27B／Flash-Next／2.4T-A95B） | 27BはApache 2.0。他は独自 | 最新版は27Bでも32GBが目安（配布18GB）。16GBなら前世代のQwen3.5 9B・4B（当社実測） | Qwen3.5は201の言語・方言に対応（公式）。当社テスト3位・5位 |
Llama（Meta） | Llama 4 Scout／Maverick（2025年4月公開） | 独自（条件付きで商用可） | 動かない（Scoutでも配布67GB）。16GBなら前の世代のLlama 3.2 3B（配布2.0GB） | 公式の対応12言語に日本語は含まれない |
DeepSeek | DeepSeek-V4.1-Flash-1017（2026年10月17日公開） | MIT | 本体は動かない（重み約510GB）。V4系の小型版はなく、16GBに載るのは2025年1月公開の蒸留版R1-Distill（14B版で配布9.0GB） | 公式の記載なし |
Kimi（Moonshot AI） | Kimi K3（2026年6月公開） | 独自（MITを改変） | 本体は動かない（2.8兆パラメータ・重み約1.5TB）。16GBに載る公式の小型版もない | 公式の記載なし |
gpt-oss（OpenAI） | gpt-oss-20b／120b（2025年8月公開） | Apache 2.0 | 20bは公式に「16GBで動く」。ただし配布14GBで余裕は小さい（後述）。120bは64GB以上 | 公式の記載なし |
Mistral | Mistral Medium 3.5（128B）。小型はMinistral 3（3B／8B／14B） | Medium 3.5は独自。Ministral 3はApache 2.0 | Ministral 3 14B（配布9.1GB）・8B（6.0GB）が目安内。Medium 3.5は64GB以上 | 日本語を明記（公式） |
GLM（Z.ai） | GLM-5.3／GLM-5.3-Flash（2026年8月公開） | GLM-5.3は独自。FlashはMIT | 本体は動かない（GLM-5.3は約760GB）。小型のGLM-4.7-Flash（2026年1月公開）でも32GBが目安（配布19GB） | 英語・中国語（公式） |
Phi（Microsoft） | Phi-4-reasoning-vision-15B（Phi-4系の最新） | MIT | Phi-4 14B（配布9.1GB）、Phi-4-mini（2.5GB）が目安内 | 英語中心（公式）。Phi-4-miniは日本語を明記 |
「16GBのPCで動くか」は、配布サイズにOS・他のアプリ・会話の長さの分を足した目安です。当社実測と書いた行以外は、購入前に必ず手元で試してください
「日本語」は公式の記載と当社のテスト結果だけを書いています。記載がないことは「日本語が使えない」という意味ではありません。Gemma・Qwen以外は当社未測定です
Ollamaの一覧にある
deepseek-v4.1-flash・kimi-k3・glm-5.3は、手元のPCでは動かないクラウド実行版だけです。入力はOllamaのサーバーに送られます（後述の経路①）
ライセンスの注意：Llama・Kimi・GLM-5.3・Qwen3.8の一部・Mistral Medium 3.5は独自ライセンスで、ユーザー数や売上の大きい会社、他社にモデルを提供する事業などには追加の条件がかかります。本記事は法的な助言ではないため、導入前に各社の条文（末尾の出典）を自社で確認してください。
ローカルLLMの選び方｜業務で失敗しない5つの基準
ローカルLLMは「①手元のメモリに載るか → ②日本語の業務文書を正しく扱えるか → ③待てる速さか → ④商用で使えるライセンスか → ⑤誰がどこで使うか」の順に絞り込むと失敗しにくくなります。 当メディアの編集部が、今回のテストと競合記事の調査をもとに整理した順番です。
手元のメモリに載るか（モデル名と量子化の読み方）
ローカルLLMは、モデルのファイルをまるごとメモリに載せて動かすため、ファイルサイズより大きなメモリが必要です。MacはCPUとGPUが同じメモリを共有するので、16GBをOS・アプリ・AIで分け合います。当社のテストでは、ファイルサイズ8.0GBのGemma 4 12Bまで、6モデルすべてがGPU側に全部載った状態（ollama ps の表示が「100% GPU」）で動きました。
モデル名の数字は、AIの規模（パラメータ数）を表します。
12B：Bは10億。約120億パラメータという意味です
E4B：Eは「実効（effective）」。Gemma 4 E4Bは、計算に実際に使う部分が約40億パラメータです（公式）
26B-A4B：Aは「1回の処理で動く数（active）」。総数のうち一部だけを使う仕組み（MoE）で、Gemma 4 26B-A4Bは1回に約40億パラメータを使います（公式）
タグにある Q4_K_M は量子化（モデルを軽くするための圧縮）の種類で、数字を4ビット程度に丸めてファイルを小さくする代わりに、精度が少し落ちます。本記事は6モデルともQ4_K_Mで比べました。迷ったら同じQ4_K_Mのタグを選べば、記事の数字と比べやすくなります。
日本語の品質はベンチマークより「自社の業務文書」で見る
公開されているベンチマーク（AIの成績表）は目安になりますが、業務で困るのは別のところです。今回のテストで差がついたのは、次のような点でした。
言い直しの扱い：「月7,000円、あ、違う、8,000円以内」を、言い直す前の7,000円のまま書いた（Qwen3.5 9B）
訂正の聞き落とし：「がん保険は前向き」が「今日は医療だけで」に訂正されたのを反映しなかった（Gemma 4 E4B、Qwen3.5 9Bなど）
書かれていない情報の創作：日付に、元の文章にない「2024年」を付けた（Qwen3.5 4B）
また、日本語向けに強化されたQwen3 Swallow 8BとNemotron Nano 9B v2 Japaneseは、汎用のGemma 4 12Bより低い点数でした。候補を2〜3本に絞ったら、自社の実際の文書（個人情報を伏せたもの）で試すのが確実です。
実用速度の目安は「生成速度」と「最初の1文字までの時間」
速さは、1秒あたりに書き出す文字のかたまりの数（生成速度、トークン/秒。日本語ではおおむね1トークン＝1〜数文字）と、送信してから書き始めるまでの時間で見ます。当社のテストでは、6モデルとも最初の1文字が0.5秒以内に出ました。差がついたのは生成速度で、Gemma 4 E4Bの毎秒約60トークンから、Nemotronの毎秒約15トークンまで4倍ほどの開きがありました。
注意したいのは、電源を入れて最初の1回（モデルの読み込み）は遅いことです。Gemma 4 12Bは読み込みに約14秒かかり、要約1件の待ち時間は約9秒から約25秒に延びました。
商用利用できるライセンスか（Apache 2.0・独自ライセンス）
今回の6モデルのうち、Gemma 4・Qwen3.5・Qwen3 SwallowはApache 2.0（商用利用が認められた広く使われているライセンス）です。Nemotron Nano 9B v2 JapaneseはNVIDIAの独自ライセンスで、条文の冒頭で商用利用できると明記していますが、再配布時の表示などの条件があります（2026年10月20日確認）。SwallowとNemotronは、第三者（mmnga-o）が変換したファイルを使いました。本記事は法的な助言ではありません。
誰が・どこで使うか（1人で試す／社内で共有する）
1人で試すなら、手元のPCにOllama（コマンドで操作）かLM Studio（画面で操作）を入れるだけで始められます。複数人で使う場合は、社内に1台AI用の機械を置き、そこに社内からつなぐ形が一般的です。この場合、誰がアクセスできるか、どの業務で使うかを先に決めておきます（後述の「安全に使うための注意点」を参照）。
おすすめローカルLLM5選｜実機テストの結果と向いている業務
テストで推奨できた5モデルを、正確さの順に紹介します。
1位 Gemma 4 12B｜迷ったらこれ。間違いが一番少ない
多少待っても間違いの少ない下書きがほしい人に向いています。
開発元：Google／ライセンス：Apache 2.0／Ollamaのタグ：
gemma4:12b-it-q4_K_M（8.0GB）正確さ：4.70／5（1位）。要約4.9、メール4.9、規程QA4.8、3書類4.5、相談4.4
待ち時間：要約1件8.6秒、メール9.7秒、規程QA3.0秒、3書類20.6秒。生成速度は毎秒約30トークン
良かった点：面談メモの要約で、数字・日付・「がん保険と学資は今回検討しない」という訂正をすべて正しく書きました。お詫びメールは日時・曜日・字数の条件をすべて満たし、採点者2名とも「そのまま送れる」と評価しました。
気になった点：書き起こしに明示されていない欄（相談の目的など）は「記載なし」にしがちで、情報がやや薄くなります。「持ってくる」のような口語が残ることもありました。最初の読み込みは約14秒と、6モデルで最も時間がかかりました。
なお、当社の「保険BOX」でもGemma 4 12Bを採用していますが、本記事の順位はモデル名を伏せた採点の結果で決めています。
2位 Gemma 4 E4B｜速さ重視、人の確認とセットで
速さを優先し、出力を必ず人が確認する運用に向いています。
開発元：Google／ライセンス：Apache 2.0／Ollamaのタグ：
gemma4:e4b-it-q4_K_M（6.6GB）正確さ：4.12／5（2位）。要約3.4、メール4.2、規程QA4.8、3書類4.2、相談4.0
待ち時間：要約1件5.0秒、3書類6.6秒（6モデルで最速）。生成速度は毎秒約60トークン
良かった点：3書類の下書きが約7秒で出てきます。数字や言い直し（7,000円→8,000円）の反映は問題なく、規程QAも正確でした。
気になった点：面談メモの要約で、がん保険の訂正を落とし、本人の発言を「奥様より」と書く取り違えがありました。メールは約490字で、指定の400字を超えました。
3位 Qwen3.5 9B｜メールと規程QAは安定、言い直しに弱い
定型メールや文書からの抜き出しが中心の業務に向いています。
開発元：Alibaba（Qwen）／ライセンス：Apache 2.0／Ollamaのタグ：
qwen3.5:9b-q4_K_M（6.6GB）正確さ：3.84／5（3位）。要約3.6、メール4.6、規程QA4.6、3書類3.0、相談3.4
待ち時間：要約1件12.5秒、3書類27.4秒（5モデルで最も遅い）。生成速度は毎秒約22トークン
良かった点：メールは日時と所要時間が正確で、軽い手直しで送れる水準でした。規程QAも条文を引用して分かりやすく答えました。
気になった点：話し言葉の書き起こしでは、言い直す前の「7,000円」を予算として残しました。要約でもがん保険の訂正が抜け、「3,200 円」のように数字の後に不要な半角スペースが入る癖もありました。
4位 Nemotron Nano 9B v2 Japanese｜文書からの回答は満点、下書きは不安定
社内文書をもとに質問に答える用途に向いています。
開発元：NVIDIA／ライセンス：NVIDIA Nemotron Open Model License／今回使ったファイル：第三者（mmnga-o）が変換したGGUF（6.5GB）
正確さ：3.66／5（4位）。要約4.3、メール3.2、規程QA5.0、3書類1.2、相談4.6
待ち時間：要約1件27.8秒。生成速度は毎秒約15トークンで6モデル中最も遅い
良かった点：規程QAは3問とも正確で、根拠の条番号まで添えて満点でした。前回の面談記録から次回の注意点を挙げる相談タスクでも、5モデル中で最も高い点数でした。
気になった点：3書類の下書きでは、書式の枠だけを返して中身が空でした。メールでは「別の日時を提案してほしい」という条件が逆になり、こちらから別日程を提案する文になりました。
5位 Qwen3.5 4B｜8GBのPCでも候補になる最軽量
メモリに余裕のないPCで、まずローカルLLMを体験したい人に向いています。
開発元：Alibaba（Qwen）／ライセンス：Apache 2.0／Ollamaのタグ：
qwen3.5:4b-q4_K_M（取得時3.4GB）正確さ：3.60／5（5位）。要約3.5、メール3.1、規程QA4.4、3書類3.8、相談3.2
待ち時間：要約1件7.2秒、3書類14.2秒。生成速度は毎秒約39トークン
良かった点：ファイルが小さく、読み込みも約3秒と最短でした。規程QAは正確でした。
気になった点：元の文章にない「2024年」を日付に付け、書類を持ってくる人を奥様と取り違えました。メールでは「ご都合よろしくないと存じましたら」のように、相手の行為にへりくだった言葉を使う誤りがありました。顧客向けの文書には、そのまま使わない方が安全です。
実機テストの方法と結果の詳細
6モデルを同じ量子化・同じ業務タスク・同じ設定で比べました。
項目 | 条件 |
|---|---|
機材・ソフト | MacBook Pro（Apple M5・メモリ16GB）、macOS 26.2、Ollama 0.35.1 |
量子化 | 6モデルともQ4_K_M |
生成設定 | temperature 0.2、seed 42、コンテキスト長8,192、出力の上限1,024トークン（3書類のみ2,048）、思考モードはオフ |
回数 | 2026年10月3〜4日に合計174回。記事の数字は読み込み後3回の中央値 |
本体の状態 | ブラウザなど他のアプリが起動したまま。スワップが17〜26GB発生していた（条件を整えれば速くなる可能性がある） |
業務タスクは、①面談メモの要約、②敬語のお詫びメール、③社内規程からの回答（1問は規程に答えがない）、④話し言葉から3書類の下書き、⑤前回の記録だけを根拠にした次回面談の相談、の5つです。データはすべて架空です。採点は、モデル名を伏せた出力を、AIの採点者2名（Claude）が独立に5観点×5点で採点して平均しました。
規程に書かれていない質問には、6モデルすべてが「規程に記載なし」と正しく答えました。与えた文書の範囲で答える力は、16GBで動く小さなモデルでも十分でした。
一方、Qwen3 Swallow 8B（第三者が変換したファイル）は、当社の設定では日本語の回答の前に英語の考え事を長々と書き、出力の上限に達して途切れたため推奨から外しました（原因は切り分けていません）。gpt-oss-20bは、配布サイズ14GBを16GBのMacに載せる余地は小さいと考え、テストに含めていません。
ローカルLLMにおすすめのPC・スペック｜16GBで足りる？
1人で要約や下書きに使うなら、メモリ16GBのPCで足ります。 複数人で同時に使う、長い文書を読ませる、より大きいモデルを使う場合は、32GB以上のメモリか、GPUを積んだ専用機を検討してください。
メモリ容量別に動くモデルの目安（8GB／16GB／24〜32GB／64GB以上）
メモリ | 候補になるモデルの例（Ollamaの配布サイズ） | 根拠 |
|---|---|---|
8GB | Qwen3.5 4B（3.3GB）、Gemma 4 E2B（4.6GB） | 配布サイズからの目安（8GBのPCでは測っていない） |
16GB | Gemma 4 12B（8.0GB）、Gemma 4 E4B（6.6GB）、Qwen3.5 9B（6.6GB） | 当社の実測 |
24〜32GB | gpt-oss-20b（14GB）、Gemma 4 26B（16GB）、Qwen3.5 27B（17GB）、Gemma 4 31B（19GB） | 配布サイズからの目安 |
64GB以上 | gpt-oss-120b（65GB）、Qwen3.5 122B（81GB） | 配布サイズからの目安 |
（配布サイズは2026年10月20日にollama.comで確認。量子化の種類でサイズは変わります）
MacとWindows（GPU搭載PC）、どちらを選ぶか
Mac：CPUとGPUが同じメモリを共有するため、メモリ16GBなら16GBを全部で分け合います。静かで、買ってすぐ試せるのが利点です
GPU搭載のWindows PC：モデルはGPU専用のメモリ（VRAM）に載せます。VRAMの容量で動かせるモデルの大きさがほぼ決まり、後から増やせません
GPUのない一般的なWindowsノート：今回は試していないため、速さは分かりません。OllamaはWindowsにも対応しているので、まずは小さいモデルで試してみてください
当社では、保険代理店に置く保険BOXの機材を当初はMac miniで検討し、2026年9月にゲーミングPC（GPU：RTX 5060 Ti・VRAM 16GB、CPU：Ryzen 7、メモリ32GB、239,800円）に変更しました。
複数人で使う場合、Ollamaは1つのモデルで複数の依頼を同時に処理できますが、公式のFAQによると、同時に処理する数だけ会話の長さの分のメモリが増えます。1人で試したときよりメモリに余裕を持たせてください。
ローカルLLMは実用的？業務で任せられること・任せられないこと
面談メモの要約、定型メールの下書き、社内文書からの抜き出しは、16GBのローカルLLMでも実用的です。 一方で、最新の情報が必要な調べものや、長い企画書づくりは、クラウドAIの方が向いています。
16GBのローカルLLMで実用的だった業務
Gemma 4 12Bは、面談メモの要約を約9秒、話し言葉から3書類の下書きを約21秒で作りました。著者が支援した大分県の保険代理店では、面談の記録や証跡づくりに毎日1時間ほどかかっていましたが、いまは面談のあとにスマホかパソコンへ1分ほど話すだけで、募集の記録と意向把握帳票の下書きまで自動で作られ、担当者は確認して承認するだけになっています。
今回の規程QAは、短い規程を毎回そのまま貼って質問する形でした。社内マニュアルやPDFを大量に読ませたい場合は、質問に関係する部分を探してAIに渡す仕組み（RAG）が必要です。RAGは別の記事で扱います。
クラウドAIに任せたほうがいい業務
ローカルLLMは、与えた文章の範囲で読み書きする仕事は得意ですが、学習した時点より新しい情報は知りません。ネット上の情報を調べる、大量の資料から企画を組み立てる、といった仕事は、ChatGPTやClaudeのようなクラウドAIの方が向いています。なお、今回はChatGPTなどのクラウドAIと同じタスクで比べてはいないため、品質の差は数字でお示しできません。 小さいモデルほど訂正の聞き落としや人の取り違えが起きたので、判断を伴う内容は、どのモデルでも人が確認する前提で使いましょう。
「ローカルとクラウドの使い分け」を社内ルールにする
線引きの基準は「機密情報に触れるかどうか」です。
「面談記録や顧客情報のように機密情報に触れるものは、基本的にローカルで処理します。そのあとクラウドAIが必要になったら、匿名化した状態で渡す。この線引きをしています」（佐藤）
この考え方を会社全体に広げたものを、当メディアでは「全社AI」と呼んでいます。詳しくは全社AIとは？機密はローカル、他はクラウドで会社全体にAIを広げる方法で解説しています。
ローカルLLMでも顧客情報が外に出る？安全に使うための注意点
モデルを自分のPCで動かしていても、使い方によってはデータが外に出ます。 次の3つの経路を確認してから、業務のデータを入れましょう。
「ローカルなのに外に出る」3つの経路
クラウド実行のモデルを選んでしまう：Ollamaには、Ollamaのサーバーで動く「クラウドモデル」があり、
gemma4:cloudやgpt-oss:20b-cloudのように名前がcloudで終わります。公式の説明では、入力と回答は回答を返すためにOllama側で処理されます（学習には使わないとしています）。ローカルだけで使うなら、設定ファイル~/.ollama/server.jsonに"disable_ollama_cloud": trueを書くか、環境変数OLLAMA_NO_CLOUD=1を設定してオフにできます別の端末からつなぐ機能を使う：LM Studioの「LM Link」は、別の端末のモデルを外出先などからインターネット経由で使える機能です。通信はTailscaleによるエンドツーエンド暗号化で守られる（公式）ものの、データが手元のPCの外を通るため、社内ルールで使ってよいかを決めておきましょう
ネットワークに公開する設定にする：Ollamaは初期設定では自分のPCの中（127.0.0.1のポート11434）からしかつながりません。環境変数
OLLAMA_HOSTを変えると社内LANなど他の端末からつながるようになるので、変更する場合は誰がつなげるかを必ず管理してください
なお、Ollamaの公式FAQは、ローカルで動かしている間は入力やデータをOllama側は見ないと説明しています。インターネット接続が必要なのは、モデルを最初にダウンロードするときだけです。
導入前に決めておく社内ルール
モデルは公式、または配布元が分かるページから取得し、第三者が変換したファイルを使う場合は配布元を記録する
ソフトやモデルを更新する手順と担当者を決める
AIへの入力と出力の記録（ログ）をどこに残し、誰が見られるかを決める
ライセンスの条件をモデルごとに確認して記録しておく
保険代理店など個人情報を扱う業種で気をつけること
個人情報保護委員会は2023年6月2日に「生成AIサービスの利用に関する注意喚起等」を公表し、個人データを含む内容を生成AIサービスに入力する場合は、そのデータが機械学習に使われないことなどを十分に確認するよう求めています。自社の運用が法令や業界のガイドラインに合っているかは、自社の規程や専門家に確認してください。クラウドAIを使う場面も含めた社内の対策は、生成AIの情報漏洩対策｜社内データを守る3つの選択肢にまとめています。
著者が保険BOXの設計で決めているのは、AIの下書きは必ず人が承認してから反映すること、ローカルAIが止まったときにクラウドAIへ切り替えず、エラーで止めることです。
「ローカルAIが全部作ってしまうと、意図しない内容が反映される可能性もあります。だから必ず人が承認してから反映する形にしています」（佐藤）
導入先では、お客様から「解約したらデータを抜かれないか」と聞かれたこともあります。データをどこに置き、解約時にどう扱うかは、説明できるようにしておきましょう。
ローカルLLMの始め方｜Ollamaで試す3ステップ
手持ちのPCで1人で試すなら、ソフトもモデルも無料で、費用0円で始められます。 Ollamaを入れて、モデルを取得し、業務の文章を貼る。この3ステップです。
Ollamaをインストールする：公式サイト（https://ollama.com/download）から入手します。macOS・Windows・Linuxで使えます
モデルを取得して起動する：ターミナルで次のように入力します。Gemma 4 12B（8.0GB）のダウンロードは、当社の回線で約4分でした
ollama run gemma4:12b-it-q4_K_M業務の文章で試す：個人情報を伏せた自社の文書で試します
本記事の数字は、思考モードをオフにし、temperatureなどを固定して測りました（前述の表）。初期設定のままだと、速さや出力が記事と変わることがあります。画面で操作できるLM Studioもありますが、今回は試していないため手順は載せていません。
注意：業務のデータを入れるのは、前の章の3つの経路（クラウドモデル・端末間の接続・ネットワークへの公開）を確認してからにしてください。
著者の見解：モデル選びの前に「どの業務をローカルにするか」を決める
モデル選びは出発点ではありません。著者がローカルAIに取り組んだきっかけは、自社の経理でした。
「過去の入出金の記録や決算の情報をAIに読み込ませて、経理のAIを作ろうと思ったんです。でも、自分の会社のデータをクラウドに読み込ませるのは抵抗がありました。情報漏洩のリスクがあると思ったからです」（佐藤）
一方で、クラウドAIの便利さを手放す必要はありません。
「クラウドAIは、LPの作成やメールの送信、資料づくりにはとても便利です。でも機密情報は読み込ませられないので、そこに関わる業務はAIでできない状況になっていました」（佐藤）
まず自社の業務を「機密」と「機密以外」に分け、機密の業務の中身（要約か、書類の下書きか、文書からの回答か）に合わせてモデルを選ぶ。今回のテストで分かったとおり、モデルによって得意な業務ははっきり違います。
利益相反の開示：当社は保険代理店向けのAI「保険BOX」を提供しています。本記事のモデル評価は、モデル名を伏せた採点と実測の結果に基づいています。
よくある質問
Q. ローカルLLMで最強のモデルは？
A. 一般的なPCで動かせる範囲では、当社のテストではGemma 4 12Bが最もバランスがよく、正確さ4.70／5点でした。より大きいモデル（ファイルサイズ65GBのgpt-oss-120bなど）には、64GB以上のメモリが必要です。
Q. 日本語のローカルLLMはどれがいいですか？
A. メモリ16GBならGemma 4 12Bです。日本語向けに強化されたQwen3 Swallow 8B（2.07点）やNemotron Nano 9B v2 Japanese（3.66点）より、汎用のGemma 4 12B（4.70点）の方が業務文書の点数は高くなりました。
Q. ローカルLLMができるPCのおすすめは？
A. 1人で使うならメモリ16GB以上のPCかMacです。複数人で使うなら、32GB以上のメモリかGPUを積んだ専用機を検討してください。
Q. ローカルLLMなら情報漏えいの心配はないですか？
A. ローカルで動かしている間は入力内容をOllama側は見ない、と公式FAQは説明しています。ただし、クラウドで動くモデル（Ollamaなら名前が cloud で終わるもの）、別の端末からつなぐ機能、ネットワークへの公開設定を使うと、データが手元のPCの外に出ます。
Q. ローカルLLMは無料で商用利用できますか？
A. 今回紹介したモデルは無料で公開されており、Gemma 4とQwen3.5はApache 2.0、NemotronはNVIDIAの独自ライセンスで、いずれも商用利用が認められています（2026年10月20日確認）。条件はモデルごとに違うため、条文を確認してください。
Q. ChatGPTとローカルLLMはどう使い分ければいいですか？
A. 機密情報に触れるかどうかで分けます。顧客情報や社外秘を含む仕事はローカルLLM、調べものや一般的な資料づくりはChatGPTなどのクラウドAIが向いています。なお、今回はChatGPTと同じタスクでの品質比較はしていません。
Q. 社内マニュアルを読ませて答えさせられますか？
A. 短い規程なら、そのまま貼って質問できます（当社のテストでGemma 4 12Bは規程QA4.8点）。大量の文書を読ませるには、関係する部分を探して渡す仕組み（RAG）が必要で、別の記事で扱います。
Q. いくらかかりますか？
A. 手持ちのPCで1人で試すなら、ソフトもモデルも無料です。社内の複数人で使う場合の参考として、当社が保険代理店向けに用意した機材（GPU搭載PC・メモリ32GB）は239,800円でした。保険代理店向けの保険BOXは月3万円から導入できます。
まとめ｜まずは16GBのPCで1本試し、社内ルールとセットで広げる
16GBのPCで日本語の業務に使うなら、まずGemma 4 12B（正確さ4.70／5点、要約1件約9秒）
速さ優先ならGemma 4 E4B（要約1件約5秒）。ただし人の確認が前提
DeepSeek・Kimi・GLMの最新版は数百GB級で、一般的なPCでは動かない
「日本語特化」の看板より、自社の業務文書で試した結果を信じる
クラウドモデル、端末間の接続、ネットワークへの公開の3つを確認してから業務データを入れる
今日は手元のPCにOllamaとGemma 4 12Bを入れて、個人情報を伏せた文書で試してみてください。うまくいったら、どの業務をローカルにし、どの業務をクラウドに任せるかを社内で決めるのが次の一歩です。
参考
Ollama「Cloud」https://docs.ollama.com/cloud
Ollama「FAQ」（初期設定の待ち受けアドレス、OLLAMA_HOST、クラウド機能の無効化、同時処理） https://docs.ollama.com/faq
Ollama「Download」https://ollama.com/download
Ollama「gemma4」タグ一覧 https://ollama.com/library/gemma4/tags
Ollama「qwen3.5」タグ一覧 https://ollama.com/library/qwen3.5/tags
Ollama「gpt-oss」タグ一覧 https://ollama.com/library/gpt-oss/tags
LM Studio「LM Link」https://lmstudio.ai/docs/lmlink
Google「Gemma 4 License（Apache License 2.0）」https://ai.google.dev/gemma/docs/gemma_4_license
Hugging Face「google/gemma-4-12B-it」https://huggingface.co/google/gemma-4-12B-it
Hugging Face「google/gemma-4-E4B-it」https://huggingface.co/google/gemma-4-E4B-it
Hugging Face「Qwen/Qwen3.5-9B」https://huggingface.co/Qwen/Qwen3.5-9B
Hugging Face「Qwen/Qwen3.5-4B」https://huggingface.co/Qwen/Qwen3.5-4B
Hugging Face「tokyotech-llm/Qwen3-Swallow-8B-RL-v0.2」https://huggingface.co/tokyotech-llm/Qwen3-Swallow-8B-RL-v0.2
Hugging Face「nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese」https://huggingface.co/nvidia/NVIDIA-Nemotron-Nano-9B-v2-Japanese
NVIDIA「NVIDIA Nemotron Open Model License」https://www.nvidia.com/en-us/agreements/enterprise-software/nvidia-nemotron-open-model-license/
Hugging Face「mmnga-o/Qwen3-Swallow-8B-RL-v0.2-gguf」https://huggingface.co/mmnga-o/Qwen3-Swallow-8B-RL-v0.2-gguf
Hugging Face「mmnga-o/NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf」https://huggingface.co/mmnga-o/NVIDIA-Nemotron-Nano-9B-v2-Japanese-gguf
個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」（2023年6月2日）https://www.ppc.go.jp/files/pdf/230602_alert_generative_AI_service.pdf
（いずれも2026年10月20日確認）
主要オープンモデル一覧の出典
Hugging Face「meta-llama/Llama-4-Scout-17B-16E-Instruct」https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct
Meta「Llama 4 Community License Agreement」https://www.llama.com/llama4/license/
Hugging Face「deepseek-ai/DeepSeek-V4.1-Flash-1017」https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash-1017
Hugging Face「deepseek-ai/DeepSeek-V4.1-Flash」https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash
Hugging Face「deepseek-ai/DeepSeek-R1-Distill-Qwen-14B」https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-14B
Hugging Face「moonshotai/Kimi-K3」（ライセンス条文を含む）https://huggingface.co/moonshotai/Kimi-K3
Hugging Face「Qwen/Qwen3.8-27B」https://huggingface.co/Qwen/Qwen3.8-27B
Hugging Face「Qwen/Qwen3.8-Flash-Next」（Qwen Community License 1.0）https://huggingface.co/Qwen/Qwen3.8-Flash-Next
Hugging Face「google/gemma-4-12B-it」https://huggingface.co/google/gemma-4-12B-it
Hugging Face「openai/gpt-oss-20b」https://huggingface.co/openai/gpt-oss-20b
Hugging Face「mistralai/Mistral-Medium-3.5-128B」（Modified MIT License）https://huggingface.co/mistralai/Mistral-Medium-3.5-128B
Hugging Face「mistralai/Ministral-3-14B-Instruct-2512」https://huggingface.co/mistralai/Ministral-3-14B-Instruct-2512
Hugging Face「zai-org/GLM-5.3」（GLM-5.3 License）https://huggingface.co/zai-org/GLM-5.3
Hugging Face「zai-org/GLM-5.3-Flash」https://huggingface.co/zai-org/GLM-5.3-Flash
Hugging Face「zai-org/GLM-4.7-Flash」https://huggingface.co/zai-org/GLM-4.7-Flash
Hugging Face「microsoft/Phi-4-reasoning-vision-15B」https://huggingface.co/microsoft/Phi-4-reasoning-vision-15B
Hugging Face「microsoft/Phi-4-mini-instruct」https://huggingface.co/microsoft/Phi-4-mini-instruct
Ollama「llama4」「deepseek-r1」「deepseek-v4.1-flash」「kimi-k3」「qwen3.8」「ministral-3」「glm-4.7-flash」「glm-5.3」「phi4」「phi4-mini」タグ一覧 https://ollama.com/library
（いずれも2026年10月21日確認）
AUTHOR
この記事を書いた人
