面談の記録、見積もりの根拠、決算の数字。ChatGPTに貼れば数十秒で整理できる仕事でも、顧客情報や社外秘が入っていると貼れません。著者がこれまで相談を受けてきた会社でも、社員がクラウドAIを使い始めたところで、AIの活用が止まっている例が多くあります。

当社が支援した大分県の保険代理店でも、最初に挙がったのは「情報漏えいが一番怖い」という声でした。そこで選ばれたのが、AIを社内の機械の中だけで動かすローカルLLMです。

この記事では、ローカルLLMを初めて調べる経営者・AI導入担当者に向けて、次の3つを解説します。

• ローカルLLMの意味と仕組み、ChatGPTなどのクラウドAIとの違い（比較表）

• 企業が導入する5つのメリットと、導入前に知っておきたいデメリット

• 「ローカルなら安全」「Ollamaで動かせば全部ローカル」という誤解

書いたのは、これまで数十社にAIを導入してきた株式会社PLATINUM INTERACTION 代表取締役の佐藤圭達です。

この記事の結論

• ローカルLLMとは、自社のPCやサーバーの中で動かす文章生成AIのこと。 AIに読ませた情報が社外のサーバーに送られないため、顧客情報や決算の数字もAIで扱えます。

• クラウドAIの代わりではありません。 回答の質や最新情報の調べものはクラウドAIが上。機密に触れる業務はローカルLLM、それ以外はクラウドAIと使い分けるのが基本です。

• 「ローカル＝絶対安全」ではありません。 機械の盗難やバックアップ、クラウドで動くモデルを選んでしまう設定ミスのほうが、現実的なリスクです。

目次

1. ローカルLLMとは？ひとことで言うと「社内の機械の中だけで動くChatGPT」

2. ローカルLLMとクラウドAIの違い｜8項目の比較表

3. 企業がローカルLLMを導入する5つのメリット

4. ローカルLLMのデメリットと導入前の注意点

5. ローカルLLMのよくある誤解3つ｜「ローカルなら安全」は本当？

6. ローカルLLMに必要なPCスペックと費用の目安

7. 代表的なローカルLLMのモデルと、動かすツール

8. ローカルLLMが向いている会社・向いていない会社

9. ローカルLLMの導入手順｜検討を始めたら調べる順番

10. 著者の見解：ローカルLLMは、クラウドAIの代わりではない

11. よくある質問

12. まとめ｜機密に触れる業務があるならローカルLLM、なければクラウドAIで十分

13. 参考

この記事を書いた人

ローカルLLMとは？ひとことで言うと「社内の機械の中だけで動くChatGPT」

ローカルLLMとは、インターネット上のサービスではなく、自社のPCやサーバーの中で動かす大規模言語モデル（LLM＝文章を読み書きするAI）のことです。 AIの本体（モデル）を自分の機械にダウンロードして動かすため、入力した文章が社外のサーバーに送られません。クラウドには入れたくない顧客情報や社外秘の文書でも、AIに扱わせることができます。

著者は、初めて聞く取引先の社長には次のように説明しています。

「ひとことで言うと、会社の中に置いたパソコンの中だけで動くChatGPTのようなものです。ChatGPTは、質問した内容がインターネットの向こうの会社のサーバーに送られて、そこで答えが作られます。ローカルLLMは、AIの本体を自分の機械にダウンロードして動かすので、AIに読ませた情報が社外に出ていきません」（佐藤）

当社でも、メモリ16GBのノートパソコン（MacBook Pro）1台に6つのモデルを入れて、業務で使えるかを試しました。結果はローカルLLMおすすめ5選｜16GBのMacで実測にまとめています。

この記事では、AIを動かすPCやサーバーのことを、まとめて「機械」と呼びます。

ローカルLLMの仕組み｜「モデルのファイル」と「動かすソフト」の2つでできている

ローカルLLMは、次の2つを手元の機械に入れて動かします。

1. モデルのファイル：学習済みのAIの本体です。GoogleのGemmaやAlibabaのQwenのように、開発元が無料で公開しているモデル（オープンモデル）を、Hugging Faceなどの配布サイトや、動かすソフトの公式ライブラリからダウンロードします。大きさは数GB〜数百GBです

2. モデルを動かすソフト：ダウンロードしたモデルを読み込んで、質問に答えさせるソフトです。Ollama、LM Studio、llama.cppなどがあります（違いは後半の「動かすツール」の表で紹介します）

AIが答えを作るとき、モデルのファイルは丸ごと機械のメモリ（GPUを積んだPCならGPU専用のメモリ＝VRAM）に読み込まれます。そのため、どの大きさのモデルが動くかは、機械のメモリの容量でほぼ決まります。 目安は後半の「必要なPCスペックと費用の目安」で紹介します。

インターネットが必要なのは、モデルを最初にダウンロードするときと、ソフトやモデルを更新するときです。モデルを動かしている間の処理は、手元の機械の中で完結します（Ollamaの公式FAQ・2026年10月20日確認）。

オンプレミス・プライベートクラウド・エッジAIとの違い

似た言葉が多いので、「AIがどこで動き、誰が機械を管理するか」で整理します。

（当メディアの整理。言葉の使い方は記事や会社によって幅があります）

データが社外の設備に出るかどうかで見ると、ローカルLLM・オンプレミス・エッジAIは「出ない」、プライベートクラウドとクラウドAIは「出る」側です。プライベートクラウドは他社と設備を分けられますが、データは事業者の設備に置かれます。

なぜ今、ローカルLLMが注目されているのか

理由は大きく3つです。

• 無料で公開されるモデルの性能が上がった：GoogleのGemma 4やAlibabaのQwen3.5など、商用利用できるライセンス（Apache 2.0）で公開されたモデルが、一般的なPCで動く大きさでも日本語の業務文書を扱えるようになりました。当社のテストでは、メモリ16GBのMacBook ProでGemma 4 12Bが約900字の面談メモを1件約9秒で要約しています

• 動かすソフトが手軽になった：OllamaやLM Studioの登場で、専門のエンジニアがいなくても、インストールしてモデルを選ぶだけで試せるようになりました

• 機密情報をクラウドAIに入れることへの懸念：個人情報保護委員会は2023年6月2日に「生成AIサービスの利用に関する注意喚起等」を公表し、個人データを含む内容を生成AIサービスに入力する場合は、そのデータが機械学習に使われないことなどを十分に確認するよう求めています。社員がChatGPTを使い始めた会社ほど、「顧客データだけは入れられない」という壁に当たっています

ローカルLLMとクラウドAIの違い｜8項目の比較表

一番の違いは「AIがどこで文章を処理するか」です。 クラウドAIは社外のサーバー、ローカルLLMは自社の機械の中で処理します。その代わり、回答の質や調べものの得意さはクラウドAIの方が上です。

（各社の一般的な提供形態をもとにした当メディアの整理。料金体系はサービスごとに異なります）

よく聞かれる「インストール型のソフトと何が違うの？」

導入の相談では、こんな質問を受けます。

「代理店の代表には『（ローカルAIを入れた）箱は何の役に立つの？今もこのパソコンで見られているのに』とか、『弥生会計みたいなインストール型と何が違うの？』と聞かれました。データが外の会社に渡らないという点では、正直インストール型のソフトとほぼ差はない、と答えています。違いは、その手元のデータをAIが読んで、帳票の下書きまで作ってくれるところです」（佐藤）

つまり、ローカルLLMの価値は「データを外に出さない」ことそのものではなく、外に出せないデータにもAIを使えるようになることにあります。

ChatGPTの法人向けプランを使えば十分では？

クラウドAIにも、入力した内容をAIの学習に使わない設定や、法人向けのプランがあります。学習に使うかどうかの扱いはサービスやプランごとに違うため、利用規約で確認してください（本記事では各社の規約の条文までは確認していません）。

ただ、学習に使わない設定でも、入力した文章が回答を作るために事業者のサーバーへ送られ、そこで処理されることは変わりません。 顧客との契約や社内規程で「社外のサーバーに送ること」そのものを禁じている情報は、クラウドAIには入れられません。ローカルLLMが必要になるのは、こうした情報をAIで扱いたいときです。

クラウドAIとローカルLLMの使い分け｜基準は「機密情報に触れるかどうか」

どちらか一方を選ぶものではありません。当社の基準はシンプルです。

業種ごとに、ローカルLLMの候補になる業務の例を挙げます（当社が導入して結果を確認しているのは、保険代理店と自社の経理です）。

機密に触れる業務でクラウドAIの力が必要になったときは、名前や数字を伏せる（匿名化する）などしてから渡します。この「機密はローカル、それ以外はクラウド」という考え方を会社全体に広げたものを、当メディアでは「全社AI」と呼んでいます。詳しくは全社AIとは？機密はローカルAI、それ以外はクラウドAIで会社全体にAIを広げる方法で解説しています。

企業がローカルLLMを導入する5つのメリット

一番のメリットは、「機密情報があるからAIは使えない」と止まっていた業務にAIを使えるようになることです。 そのほかに、費用の読みやすさ、通信環境への強さ、社内向けの調整のしやすさ、外部サービスの変更に左右されにくいことが挙げられます。

1. 顧客情報や社外秘を扱う業務にもAIを使える

「多くの会社は、社員がChatGPTを使う段階まではいっていても、社内のデータとAIをつなぐ段階で止まっていると思っています。顧客データのような機密情報が含まれると、どうしてもAIとつなぎにくいからです。機密の部分をローカルLLMが受け持てば、一部の部署だけでなく会社全体でAIが使える状態に近づけます」（佐藤）

著者が支援した大分県の保険代理店では、面談の記録や証跡づくりに毎日1時間ほどかかっていました。いまは面談のあとに1分ほど話すだけで、募集の記録と意向把握帳票の下書きまで自動で作られ、担当者は内容を確認して承認するだけになっています（導入先の担当者の作業時間。著者への取材より）。面談の記録は、一番時間がかかるうえに個人情報の塊です。そこにAIを入れられたことが一番大きかった、と著者は話します。

2. 使った量で費用が増えない

クラウドAIは、月額の利用料や、使った量に応じた料金がかかります。ローカルLLMは、機械を買ったあとは電気代と保守が中心で、社員がどれだけ使っても利用料は増えません。モデルとソフト（OllamaやLM Studio）は無料で公開されています。

ただし、機械の購入費が最初にかかります。クラウドAIとローカルLLMのどちらが安くなるかは、使う人数と量によって変わり、当社では同じ条件で費用を比べた試算はしていません。

3. インターネットが遅い・使えない場所でも動く

モデルを一度ダウンロードすれば、処理は手元の機械の中で終わるため、通信が不安定な現場や、社外のネットワークにつながない環境でも使えます。通信の往復がない分、回線の混み具合に左右されません。

回答の速さは機械の性能で決まります。当社のテスト（メモリ16GBのMacBook Pro）では、面談メモの要約は小さいモデルで1件約5秒、精度を優先したモデルで約9秒でした。同じ作業をクラウドAIで行った場合との速さの比較はしていません。

4. 社内のデータに合わせて調整できる（RAG・追加学習）

ローカルLLMは、モデルを自由に選び、社内の仕組みと組み合わせられます。代表的な方法は2つです。

• RAG（検索拡張生成）：質問に関係する社内文書を探して、その部分をAIに渡して答えさせる仕組みです。社内マニュアルやFAQが大量にある会社に向いています

• 追加学習（ファインチューニング）：自社のデータでモデルを追加で学習させ、言い回しや判断の傾向を合わせる方法です

当社のテストでは、短い社内規程をそのまま貼って質問する形で、Gemma 4 12Bの回答が5点満点中4.8点でした（モデル名を伏せて採点）。大量の文書を読ませるRAGと、追加学習は、当社ではまだ試していません。

5. 外部サービスの料金改定や提供終了に左右されにくい

クラウドAIは、事業者の判断で料金や機能、使えるモデルが変わります。ローカルLLMは、自社の機械に入れたモデルを、自社が決めたタイミングまで使い続けられます。業務の手順をAIに合わせて組んだ後に、外の事情で作り直しになるリスクを減らせます。

ローカルLLMのデメリットと導入前の注意点

主なデメリットは、初期費用、性能の上限、更新と保守を自社で担う手間の3つです。 AIが間違えることもある点はクラウドAIと同じです（後述の誤解3）。 特に更新は見落とされやすく、「買って置いたら終わり」にはなりません。

機械を買う初期費用がかかる

社内の複数人で使う場合、当社はGPUを積んだ専用の機械を用意しています。保険代理店向けに用意した機械は、ゲーミングPC（GPU：RTX 5060 Ti・VRAM 16GB、CPU：Ryzen 7、メモリ32GB）で239,800円でした。1人で試すだけなら、手持ちのPCで始められます。

クラウドの最新AIほど賢いモデルは動かせない

機械のメモリで動かせるモデルの大きさが決まります。メモリ16GBなら、120億〜140億パラメータ級（12B〜14B）までが目安です。話題のDeepSeekの最新版（V4.1 Flash）やKimi K3は、モデルのファイルだけで数百GB〜1TB以上あり、一般的なPCでは動きません。調べものや長い企画書づくりのように、回答の質が大事な仕事はクラウドAIの方が向いています。

更新し続ける仕組みが必要

著者が一番大事だと考えているのが更新です。導入先の保険代理店でも、「安全でも、更新できなければすぐに古い道具になる」と念を押されました。実際に、導入先が使う帳票の様式は2026年3月に改訂されています。

モデル、動かすソフト、AIに読ませる書式やルールを、誰がどの頻度で更新するのかを、導入前に決めておきましょう。クラウドAIのように事業者が自動で更新してくれるわけではありません。

保守・故障時の対応を自社で決めておく

機械の故障、停電、ソフトの不具合が起きたときに、誰が対応するかを決めておく必要があります。社内に詳しい人がいなければ、導入した会社に保守を任せる契約にするのが現実的です。

著者が保険BOX（保険代理店向けのローカルAI）の設計で決めているのは、ローカルAIが止まったときに自動でクラウドAIへ切り替えず、エラーで止めることです。勝手にクラウドへ送られる経路を作らないためです。

ローカルLLMのよくある誤解3つ｜「ローカルなら安全」は本当？

「ローカルにすれば絶対安全」は誤解です。 データがクラウドに出ないのは確かですが、安全かどうかは機械の管理と設定で決まります。導入の現場でよく出会う誤解を3つ紹介します。

誤解1：ローカルにすれば情報漏えいはゼロになる

「データがクラウドに出ないのは確かですが、機械そのものが盗まれる、バックアップがない、パスワードが甘い、というほうが現実的なリスクです」（佐藤）

ローカルLLMの機械には、顧客情報がまとまって保存されます。次の対策はクラウドAI以上に自社の責任になります。

• 機械を置く場所と、持ち出しを防ぐ方法を決める

• 機械のディスクを暗号化し、ログインのパスワードを強くする

• データのバックアップを取り、どこに保管するかを決める

• 誰がAIを使えるかを決め、入力と出力の記録（ログ）の残し方を決める

• モデルは公式、または配布元が分かるページから入手する

導入先では、お客様から「解約したら、うちの情報を抜かれないか」と聞かれたこともあります。データをどこに置き、解約時にどう扱うかも、説明できるようにしておきましょう。クラウドAIを使う場面も含めた対策の全体像は、生成AIの情報漏洩対策｜社内データを守る3つの選択肢にまとめています。

誤解2：Ollamaで動かしていれば、すべてローカルで処理される

「大きなモデルの中にはクラウド版しかなくて、使った瞬間にデータが外に出るものもあります」（佐藤）

Ollamaには、Ollamaのサーバーで動く「クラウドモデル」があり、gpt-oss:20b-cloud のように名前が cloud で終わります。DeepSeekの最新版（V4.1 Flash）やKimi K3のように大きいモデルは、Ollamaではクラウド版だけが用意されています。ローカルだけで使うなら、PCの設定（環境変数）に OLLAMA_NO_CLOUD=1 を加えるなどしてクラウド機能をオフにできます（Ollama公式ドキュメント・2026年10月20日確認）。

ほかにも、別の端末からつなぐ機能や、社内ネットワークへの公開設定によって、データが手元のPCの外を通ることがあります。3つの経路と確認方法は、ローカルLLMおすすめ5選の記事の「ローカルLLMでも顧客情報が外に出る？」で詳しく解説しています。

誤解3：AIに任せきりにできる

「ローカルLLMは毎回まったく同じ答えを返すわけではないので、『AIに任せきり』にはできません。うちは必ず人が確認して承認してから反映する流れにしています」（佐藤）

ローカルかクラウドかに関係なく、AIは間違えたり、同じ質問に違う答えを返したりします。当社のテストでも、小さいモデルほど、面談中に言い直した内容を反映し忘れる、人を取り違えるといった間違いが起きました。特に顧客に渡す書類や記録は、人が承認する手順を業務の流れに組み込んでください。

ローカルLLMに必要なPCスペックと費用の目安

1人で試すならメモリ16GBのPCで足り、費用は0円から始められます。 社内の複数人で使うなら、メモリ32GB以上か、GPUを積んだ専用の機械を検討してください。

必要なメモリの見積もり方（モデルの大きさから計算する）

モデル名の「12B」「9B」は、パラメータ（AIの中の数値）の数を表します。Bは10億なので、12Bは120億です。ローカルで動かすモデルは、ファイルを小さくするために数値を4ビット程度に圧縮（量子化）したものが一般的です。

• 計算の目安：120億 × 4ビット ÷ 8 ＝ 約60億バイト（約6GB）

• 実際の例：Gemma 4 12Bの4ビット版（Q4_K_M）は8.0GB（Ollamaの配布サイズ）

• 実際のファイルは、計算より少し大きくなることが多くあります。さらに、会話の長さの分のメモリと、OSやほかのソフトが使う分が上乗せされます

• 目安の計算式：パラメータ数 × 圧縮後のビット数 ÷ 8 ＝ 必要なバイト数

量子化すると、元の16ビットの約4分の1の大きさになる代わりに、精度が少し下がることがあります。

メモリ容量別に動くモデルの目安

（ファイルの大きさはOllamaの配布ページで2026年10月20日に確認）

MacはCPUとGPUが同じメモリを共有するため、メモリの容量から、OSやほかのソフトが使う分を引いた残りが目安になります。GPUを積んだWindows PCでは、GPU専用のメモリ（VRAM）の容量で動かせる大きさがほぼ決まります。

社内の複数人で使うときの形

社員30人ほどの会社で使う場合、よくある形は、社内にAI専用の機械を1台置き、社員のPCからは社内のネットワーク経由でつなぐ方法です。社員は、ブラウザで開くチャット画面（Open WebUIなどの無料ソフト）や、業務の仕組みに組み込んだ画面からAIを使います。

この形では、機械を社内のネットワークに公開する設定が必要です。前述の誤解2のとおり、公開すると同じネットワーク上のほかの端末からつながるようになるため、社内ネットワークの外からはつながらないようにし、使える人を決めて管理することが前提です。

同時に使う人が増えるほど、必要なメモリも増えます（Ollamaの公式FAQ）。何人まで同時に快適に使えるかは、当社では測っていません。 Open WebUIも、今回は試していません。

費用の目安（1人で試す／社内で使う）

機械の購入費のほかに、電気代と、保守・更新を外部に任せる場合はその費用がかかります。電気代は当社では測っていないため、金額は載せていません。

代表的なローカルLLMのモデルと、動かすツール

モデルはGoogleのGemma、AlibabaのQwen、MetaのLlama、OpenAIのgpt-ossなどが代表的です。 動かすツールは、まずOllamaかLM Studioのどちらかを選べば十分です。

代表的なモデル（2026年10月時点）

（公式のモデルカードとOllamaの配布ページで確認。2026年10月20〜21日。ライセンスはモデルごとに異なるため、商用利用の前に条文を確認してください）

9系統のモデルの最新版・ライセンス・動くメモリの詳細は、ローカルLLMおすすめ5選の「主要オープンモデル一覧」にまとめています。

動かすツール

Ollamaで試す3ステップ（インストール→モデルの取得→業務の文章で試す）は、ローカルLLMおすすめ5選の記事の「始め方」で紹介しています。

ローカルLLMが向いている会社・向いていない会社

分かれ目は、AIに読ませたい情報に機密が含まれるかどうかです。 機密情報を扱わない会社は、無理に入れなくても、クラウドAIだけで十分に便利に使えます。

「保険代理店のように、年収や資産、健康情報といったお客様の情報を毎日扱う会社や、決算や入出金のデータをAIで分析したい会社には向いています。逆に、扱う情報がほとんど公開情報で、機密情報を使わない会社は、無理に入れなくてもいいと思います」（佐藤）

医療、金融、法律事務所のように、法令や守秘義務で外部への持ち出しが厳しく制限される情報を扱う業種も、同じ基準で検討の対象になります。ただし、当社が導入を支援して結果を確認しているのは、保険代理店と自社の経理の業務です。

ローカルLLMの導入手順｜検討を始めたら調べる順番

モデル選びから始めないことが大切です。 手元の機械に載らなかったり、そもそもクラウドAIで十分だったりするからです。次の順番で進めると、遠回りが少なくなります。

1. 業務を「機密」と「機密以外」に分ける：まず社内の担当者を1人決め、自社の業務を書き出して、顧客情報や社外秘に触れるものに印を付けます

2. クラウドAIで足りないかを確かめる：機密に触れる業務がなければ、ローカルLLMは不要です。クラウドAIの社内ルールづくりから始めましょう

3. 機械と費用を決める：1人で試すのか、社内で共有するのかで、必要なメモリと機械が変わります

4. モデルを選んで、業務の文章で試す：個人情報を伏せた自社の文書で、速さと正確さを確かめます

5. 社内ルールを決めて、対象の業務を広げる：クラウド機能のオフ、ログの残し方、人の承認、更新の担当者を決めてから、本番の業務データを入れます

最初は1つの業務、1台の機械で始め、うまくいったら対象を広げるのが安全です。

著者の見解：ローカルLLMは、クラウドAIの代わりではない

「ローカルLLMは、クラウドAIの代わりではないということです。ローカルLLMは機密情報を扱う業務のためのもので、調べものや資料づくりは今までどおりクラウドAIのほうが便利です。どちらか一方を選ぶのではなく、機密はローカル、それ以外はクラウドと使い分けることで、はじめて安全と便利を両立して、会社全体でAIを使えるようになると思っています」（佐藤）

著者がローカルAIに取り組んだきっかけは、自社の経理でした。過去の入出金や決算の情報をAIに読ませて経理のAIを作ろうとしたものの、自社のデータをクラウドに読み込ませることに抵抗があったといいます。

ローカルLLMを入れるかどうかは、「流行っているから」ではなく、「機密情報があるせいで止まっている業務があるか」で決めてください。

利益相反の開示：当社は保険代理店向けのローカルAI「保険BOX」を提供しています。

よくある質問

Q. ローカルLLMとは何ですか？簡単に教えてください。

A. 自社のPCやサーバーの中で動かす文章生成AIのことです。ChatGPTのように入力を社外のサーバーに送らないため、顧客情報や社外秘の文書もAIで扱えます。

Q. 普通のPCでもローカルLLMは動きますか？

A. メモリ16GBのPCなら、120億〜140億パラメータ級（12B〜14B）までのモデルが目安です。当社はメモリ16GBのMacBook ProでGemma 4 12Bを動かし、面談メモの要約が1件約9秒でした。メモリ8GBのPCは試していません。

Q. ローカルLLMは無料で使えますか？

A. OllamaやLM Studioなどのソフトと、GemmaやQwenなどのモデルは無料で公開されています。手持ちのPCで1人で試すなら0円です。社内で使う場合は機械の購入費と電気代、保守の費用がかかります（電気代は当社では測っていません）。

Q. ChatGPTと同じくらい賢いですか？

A. 一般的なPCで動く大きさのモデルは、クラウドの最新AIほど賢くはありません。当社のテストでは、要約や定型文の下書き、文書からの抜き出しは実用的な速さと正確さでした。ただし同じ作業でChatGPTと品質を比べてはいません。調べものや長い企画書づくりはクラウドAIの方が向いています。

Q. ローカルLLMなら情報漏えいの心配はありませんか？

A. 入力が社外のサーバーに送られない点は安心材料ですが、リスクはゼロにはなりません。機械の盗難、バックアップの不備、弱いパスワードに加え、クラウドで動くモデルや社内ネットワークへの公開設定を使うと、データが外に出ます。

Q. ChatGPTの法人向けプランとは何が違いますか？

A. 入力を学習に使わない設定でも、文章は回答を作るために事業者のサーバーへ送られます。ローカルLLMは社内の機械の中で処理するため、社外に送ること自体が許されない情報も扱えます。

Q. インターネットにつながなくても使えますか？

A. モデルをダウンロードした後は、インターネットなしで動きます。ただし、最初のダウンロードと、ソフトやモデルの更新には接続が必要です。

Q. 日本語は使えますか？

A. 使えます。当社のテストでは、汎用モデルのGemma 4 12Bが、日本語向けに強化したモデル（Qwen3 Swallow 8B、Nemotron Nano 9B v2 Japanese）より業務文書で高い点数でした。

Q. 社内の文書を読ませて質問に答えさせられますか？

A. 短い規程なら、そのまま貼って質問できます。大量の文書を読ませるには、関係する部分を探してAIに渡す仕組み（RAG）が必要です。当社はRAGをまだ試していません。

Q. オンプレミスやプライベートクラウドとは何が違いますか？

A. 社内のサーバーで動かすローカルLLMは、オンプレミスの一種です。プライベートクラウドは自社専用の区画ですが、クラウド事業者の設備で動くため、データは社外の設備に置かれます。

まとめ｜機密に触れる業務があるならローカルLLM、なければクラウドAIで十分

• ローカルLLMとは、自社のPCやサーバーの中で動かす文章生成AI。入力が社外に送られない

• クラウドAIとの一番の違いは「AIがどこで処理するか」。回答の質や調べものはクラウドAIが上

• 一番のメリットは、機密情報のせいで止まっていた業務にAIを使えること

• デメリットは初期費用、性能の上限、更新と保守の手間。特に更新の仕組みを先に決める

• 「ローカル＝絶対安全」ではない。機械の管理と、クラウドに出る設定の確認が必要

• 1人で試すならメモリ16GBのPCで0円から。社内で使うなら専用の機械を1台置き、使える人を管理する

まずは自社の業務を書き出し、顧客情報や社外秘に触れる業務がどれかを分けてみてください。そこにローカルLLMを使い、それ以外はクラウドAIに任せる。これが、会社全体でAIを安全に使う第一歩です。

参考

• Ollama「FAQ」（ローカル実行時のデータの扱い、待ち受けアドレス、クラウド機能の無効化、同時処理とメモリ） https://docs.ollama.com/faq

• Ollama「Cloud」 https://docs.ollama.com/cloud

• Ollama「Download」 https://ollama.com/download

• Ollama「macOS」「Windows」（アプリの導入） https://docs.ollama.com/macos ／ https://docs.ollama.com/windows

• Ollama「deepseek-v4.1-flash」「kimi-k3」タグ一覧 https://ollama.com/library/deepseek-v4.1-flash/tags ／ https://ollama.com/library/kimi-k3/tags

• Ollama「gemma4」タグ一覧 https://ollama.com/library/gemma4/tags

• Ollama「qwen3.5」タグ一覧 https://ollama.com/library/qwen3.5/tags

• Ollama「gpt-oss」タグ一覧 https://ollama.com/library/gpt-oss/tags

• LM Studio https://lmstudio.ai/

• llama.cpp（GitHub） https://github.com/ggml-org/llama.cpp

• Open WebUI https://openwebui.com/

• Google「Gemma 4 License（Apache License 2.0）」 https://ai.google.dev/gemma/docs/gemma_4_license

• Hugging Face「meta-llama/Llama-4-Scout-17B-16E-Instruct」 https://huggingface.co/meta-llama/Llama-4-Scout-17B-16E-Instruct

• Hugging Face「openai/gpt-oss-20b」 https://huggingface.co/openai/gpt-oss-20b

• 個人情報保護委員会「生成AIサービスの利用に関する注意喚起等」（2023年6月2日） https://www.ppc.go.jp/files/pdf/230602_alert_generative_AI_service.pdf

（いずれも2026年10月20〜21日確認）