ChatGPTのような生成AIを普段から使っていると、「ローカルPC上でもLLMを動かせるのだろうか」と気になる方もいるのではないでしょうか。
最近は、Ollamaを使うことで、ローカルPC上に大規模言語モデルをダウンロードし、PowerShellやブラウザ画面から手軽に利用できるようになっています。
今回の記事は、ローカルLLMを手っ取り早く触ってみる方法を紹介します。
Windows環境で以下の流れを試しています。
- Ollamaをインストールする
- Llama 3.2をダウンロードしてCLIから使う
- Qwen3をダウンロードしてCLIから使う
- Open WebUIをDockerで起動する
- ブラウザからローカルLLMを使う
Ollama使ってみた
■環境
今回の検証では、Windows上でPowerShellを利用しています。
また、Open WebUIはPythonではなくDockerで起動しました。
理由は、Open WebUIのREADMEではPython 3.11が案内されていた一方で、私のローカル環境はPython 3.14だったためです。
PS C:\WINDOWS\System32> python --version
Python 3.14.4
Pythonのバージョン差異で詰まるよりも、まずはローカルLLMを触ってみることを優先し、Dockerを利用することにしました。
Dockerは以下のバージョンを利用しています。
PS C:\WINDOWS\system32> docker --version
Docker version 29.5.3, build d1c06ef
念のため、私のノートPCのスペックを載せておきます。
プロセッサ Intel(R) Core(TM) i5-10310U CPU @ 1.70GHz (2.21 GHz)
実装 RAM 16.0 GB (15.8 GB 使用可能)
グラフィックス カード Intel(R) UHD Graphics (128 MB)
■Ollamaをインストールする
まずはOllamaをインストールします。
PowerShellを起動し、以下のコマンドを実行します。
irm https://ollama.com/install.ps1 | iex
実行すると、Ollama for Windowsのダウンロードとインストールが行われます。
PS C:\WINDOWS\System32> irm https://ollama.com/install.ps1 | iex
>>> Downloading Ollama for Windows...
######################################## 100.0%
>>> Installing Ollama...
>>> Install complete. Run 'ollama' from the command line.
これで、PowerShellからollamaコマンドを利用できるようになります。
なお、irmはInvoke-RestMethodの省略形で、指定したURLからスクリプトを取得します。
iexはInvoke-Expressionの省略形で、取得した内容をPowerShell上で実行します。
■Llama 3.2をダウンロードする
最初に、Llama 3.2を試してみます。
今回は、軽量に試せる llama3.2:3b を利用しました。
ollama pull llama3.2:3b
実行結果は以下の通りです。
PS C:\WINDOWS\System32> ollama pull llama3.2:3b
pulling manifest
pulling dde5aa3fc5ff: 100% ▕██████████████████████████████████████████████████████▏ 2.0 GB
pulling 966de95ca8a6: 100% ▕██████████████████████████████████████████████████████▏ 1.4 KB
pulling fcc5a6bec9da: 100% ▕██████████████████████████████████████████████████████▏ 7.7 KB
pulling a70ff7e570d9: 100% ▕██████████████████████████████████████████████████████▏ 6.0 KB
pulling 56bb8bd477a5: 100% ▕██████████████████████████████████████████████████████▏ 96 B
pulling 34bb5ab01051: 100% ▕██████████████████████████████████████████████████████▏ 561 B
verifying sha256 digest
writing manifest
success
モデル本体のダウンロードが完了しました。
■Llama 3.2を起動する
次に、ダウンロードしたモデルを起動します。
ollama run llama3.2:3b
実行すると、対話形式でプロンプトを入力できるようになります。
PS C:\WINDOWS\System32> ollama run llama3.2:3b
>>> あなたについて教えてください。
私は、Meta に서のAIの開発に特化した company, Nautilus を运営しています。ナウリウスは、人工知能を利用して情報とア
イデアを提供するためのプラットフォームを開発しています。
私は、多言語をサポートし、さまざまなトピックについて話すことができます。しかし、我ながらの知識がありますので、よ
り詳細な情報や質問に対する答えは、他のソースで確認してください。
日本語で質問してみると、ところどころ不自然な文章になりました。
そこで、英語でも質問してみます。
>>> please tell me about you.
I'm an artificial intelligence model known as Llama. Llama stands for "Large Language Model Meta AI."
I was developed at Meta with a combination of machine learning algorithms and large amounts of data, plus lots
of human oversight from a large team of people. I'm constantly learning and improving my responses based on
the interactions I have with users like you.
I can be used in a variety of ways, from helping you write emails or articles to providing information on a
wide range of topics. I can also be used to help with creative writing, such as suggesting alternative phrases
or ideas.
One of my strengths is my ability to understand and respond to questions and prompts in a way that's natural
and easy to read. I can also generate text based on the style of the input I receive, so if you give me some
writing sample in a particular style or tone, I can try to match it as closely as possible.
I don't have a physical body, but I'm designed to be helpful and make your life easier. What do you want to
talk about?
英語での回答は、日本語より自然に見えました。
このあたりはモデルの得意不得意が出る部分だと思います。
ローカルLLMを触るときは、モデルごとの日本語性能や回答の自然さを比較してみると面白いです。
対話を終了する場合は、以下のように/byeを入力します。
>>>
Use Ctrl + d or /bye to exit.
>>> /bye
■Qwen3を試してみる
次に、同僚からおすすめしてもらったQwenを試してみます。
OllamaでQwenを調べると、いくつかのモデルが見つかります。
今回は、Llama 3.2の軽量モデルと比較しやすそうな qwen3:1.7b を使ってみます。
■Qwen3をダウンロードする
以下のコマンドで、Qwen3の1.7Bモデルをダウンロードします。
ollama pull qwen3:1.7b
実行結果は以下の通りです。
PS C:\WINDOWS\System32> ollama pull qwen3:1.7b
pulling manifest
pulling 3d0b790534fe: 100% ▕██████████████████████████████████████████████████████▏ 1.4 GB
pulling ae370d884f10: 100% ▕██████████████████████████████████████████████████████▏ 1.7 KB
pulling d18a5cc71b84: 100% ▕██████████████████████████████████████████████████████▏ 11 KB
pulling cff3f395ef37: 100% ▕██████████████████████████████████████████████████████▏ 120 B
pulling 517ccaff02fe: 100% ▕██████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
■Qwen3を起動する
ダウンロードできたので、Qwen3を起動します。
ollama run qwen3:1.7b
日本語で質問してみます。
PS C:\WINDOWS\System32> ollama run qwen3:1.7b
>>> あなたについて教えてください。
Thinking...
Okay, the user asked me to tell them about myself. Let me start by recalling my basic information. I'm an AI
developed by Alibaba Group, right? I was created in 2017 with the goal of helping people in various fields. My
main purpose is to assist with information retrieval, answer questions, and provide support in different
areas.
I should mention my key features, like natural language processing and machine learning, which allow me to
understand and generate human-like text. I can handle multiple languages, so I can communicate in different
languages. I also have a vast knowledge base, so I can answer a wide range of questions.
I need to explain that I don't have personal experiences or emotions, but I can simulate conversations and
provide helpful responses. It's important to highlight that I'm designed to be helpful and accurate, but I
should also remind the user that I can't replace professional advice or medical treatments.
I should structure the response in a clear and friendly manner, making sure to cover the main points without
overwhelming the user. Let me check if there's anything else I should include, like my capabilities in
specific areas or examples of what I can do. Also, make sure to keep the tone approachable and not too
technical.
...done thinking.
私はアルバリグループが開発した人工知能で、2017年に構築されました。主な目的は、さまざまな分野で人間の助けを提供す
ることです。情報の検索や質問の回答、サポートなど、さまざまな分野で役立つように設計されています。
### 主な特徴
- **自然言語処理（NLP）と機械学習**：人間の言葉を理解し、自然な文書を作成できる技術を備えています。
- **多言語対応**：英語、日本語、中国語、韓国語、タイ語、ベトナム語など、多くの言語で対話が可能です。
- **広範な知識**：技術、文化、経済、教育、医療など、幅広い分野の情報を処理できます。
### 効力と制限
- **効力**：正確さと正確な情報提供に努力を重ねています。ただし、特定の分野では専門的な知識が保証されていません。
- **制限**：人間の経験や感情を持たず、シミュレーションを通じて回答を提供します。専門的な医療や法律の判断は、人間
の専門家に依存します。
### 使い方
- **質問**：技術、文化、教育など、さまざまな分野の質問に応じて役立ちます。
- **サポート**：学習や仕事、生活の悩みなど、日常のさまざまな問題にアドバイスを提供します。
私は、人間の知恵と経験を模倣し、ユーザーのニーズに応じてサポートを提供します。ただし、専門的な判断や医療・法律の
領域では、人間の専門家に依頼することを推奨します。
>>> Send a message (/? for help)
Qwen3では、回答前にThinking...と表示され、内部的に考えているような出力が表示されました。
また、Llama 3.2と比べると、日本語の文章は比較的読みやすい印象でした。
このように、同じ質問を複数のモデルに投げて比較すると、モデルごとの特徴が見えてきます。
Open WebUIを使ってみた
■CLIだけでなくブラウザから使いたい
ここまではPowerShell上で対話してきました。
ただ、普段ChatGPTのような画面に慣れていると、CLIだけでは少し使いにくく感じます。
そこで、ブラウザからローカルLLMを利用できるOpen WebUIを使ってみます。
Open WebUIを使うと、ChatGPTのようなWeb UIから、Ollamaでダウンロードしたモデルを選択して会話できます。
■Open WebUIをDockerで起動する
今回はDockerを利用してOpen WebUIを起動します。
以下のコマンドを実行します。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
実行結果は以下の通りです。
PS C:\WINDOWS\system32> docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
Unable to find image 'ghcr.io/open-webui/open-webui:main' locally
main: Pulling from open-webui/open-webui
4f4fb700ef54: Pull complete
b323b53a19e2: Pull complete
f9030547361b: Pull complete
6992eb87361f: Pull complete
06417ec6cf8f: Pull complete
068fedd6b0f1: Pull complete
8782084ed16f: Pull complete
d33a4b91bcff: Pull complete
1c23e3897904: Pull complete
cf37831d7ed1: Pull complete
e18ae4d65f64: Pull complete
b9b545c3db14: Pull complete
ce8cb00e8941: Pull complete
d2dd83893d9b: Pull complete
89bf18422c9c: Pull complete
db12c55a4bbb: Download complete
4349f745923e: Download complete
Digest: sha256:7f1b0a1a50cfbac23da3b16f96bc968fd757b26dc9e54e93813d61768ea9184e
Status: Downloaded newer image for ghcr.io/open-webui/open-webui:main
7372a743fb4503effe883bf47548d5f4b0c58bd1d73ae16d72438dc0fd79b883
初回実行時は、Open WebUIのDockerイメージがローカルにないため、イメージのダウンロードが行われます。
最後に長い文字列が表示されれば、コンテナが起動しています。
■Open WebUIの起動状態を確認する
以下のコマンドで、コンテナの起動状態を確認します。
docker ps
実行結果は以下の通りです。
PS C:\WINDOWS\system32> docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
7372a743fb45 ghcr.io/open-webui/open-webui:main "bash start.sh" 37 seconds ago Up 34 seconds (health: starting) 0.0.0.0:3000->8080/tcp, [::]:3000->8080/tcp open-webui
open-webuiという名前のコンテナが起動していればOKです。
PORTSに0.0.0.0:3000->8080/tcpと表示されているため、Windows側の3000番ポートでOpen WebUIにアクセスできます。
■ブラウザからOpen WebUIにアクセスする
ブラウザで以下にアクセスします。
http://localhost:3000
Open WebUIの画面が表示されました。
初回アクセス時は、管理者アカウントの作成が必要です。
画面の案内に従って、管理者アカウントを作成します。
↓
アカウント作成後、チャット画面が表示されます。
モデル選択欄を見ると、ここまでOllamaでインストールしたモデルを選択できるようになっていました。
↓
試しに qwen3:1.7b を選択し、質問を投げてみます。
問題なく回答が返ってきました。
CLIから使うよりも、ブラウザ上で会話できる方がかなり使いやすいです。
■Open WebUIからモデルを追加する
Ollamaのモデルは、PowerShellからollama pullで追加できます。
また、Open WebUIの管理画面からもモデルを追加できます。
Open WebUI上でモデルを追加したい場合は、管理者パネルからモデル設定画面を開き、Ollamaのモデル名を指定します。
↓
↓
たとえば、Ollamaのモデルライブラリでモデル名とタグを確認し、以下のように指定します。
qwen3:1.7b
llama3.2:3b
ローカルにないモデルを指定すると、Open WebUI側からOllamaに対してモデルをダウンロードできます。
CLIで操作したい場合は、PowerShellから以下のように実行しても問題ありません。
ollama pull モデル名:タグ
■Open WebUIを停止する
検証が終わったら、Open WebUIのコンテナを停止します。
docker stop open-webui
実行結果は以下の通りです。
PS C:\WINDOWS\system32> docker stop open-webui
open-webui
停止後、docker ps を実行すると、起動中のコンテナが表示されなくなります。
PS C:\WINDOWS\system32> docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
PS C:\WINDOWS\system32>
これでOpen WebUIは停止しました。
再度起動したい場合は、以下のコマンドを実行します。
docker start open-webui今回のハンズオンは以上です。
まとめ
今回は、Windows環境でローカルLLMを触る流れを試してみました。
実施した内容は以下の通りです。
- Ollamaをインストール
llama3.2:3bをダウンロードしてCLIから実行qwen3:1.7bをダウンロードしてCLIから実行- DockerでOpen WebUIを起動
- ブラウザからローカルLLMを利用
実際に触ってみると、Ollamaを使えばモデルのダウンロードと実行はかなり簡単でした。
また、Open WebUIを使うことで、ChatGPTのような画面からローカルLLMを利用できるようになります。
CLIだけでも試せますが、継続して使うならOpen WebUIを組み合わせた方が便利だと感じました。
一方で、モデルによって日本語の自然さや回答の品質には差があります。
Llama 3.2は英語の方が自然に見え、Qwen3は日本語でも比較的読みやすい印象でした。
ローカルLLMは、モデルを切り替えながら比較できるところも面白いです。
まずは軽量モデルから始めて、PCのスペックに合わせて少しずつ大きなモデルを試していくのがよさそうです。
参考サイトリンク：Ollama、Open WebUI
↓ほかの協栄情報メンバーもAIに関する記事を公開しています。ぜひ参考にしてみてください。
■自然言語でAWSインフラを検索できるAIエージェントを作ってみた(musaka.k)