量子化（Quantization）とは？ローカルLLMを軽量化する技術を初心者向けに解説

ローカルLLMを自分のPCで動かすには、通常数十GBにもなるモデルファイルをメモリに収める必要があります。しかし、一般的なPCのGPUメモリ（VRAM）は8〜24GB程度。このギャップを埋めるのが量子化（Quantization）という技術です。

量子化を使えば、モデルの性能をほとんど落とさずにサイズを1/2〜1/4に圧縮でき、一般的なPCでも快適にローカルLLMを利用できるようになります。本記事では、この量子化技術の仕組みと選び方を、専門知識がない方にもわかるように解説します。

量子化とは何か？基本的な考え方

量子化とは、モデルのパラメータ（数値データ）の精度を意図的に下げることで、ファイルサイズとメモリ使用量を削減する技術です。

身近な例で理解する量子化

量子化を理解するために、身近な例を考えてみましょう。

例1：体重計

病院で使う精密な体重計は0.01kg単位まで測れます（例：65.43kg）。一方、家庭用の体重計は0.1kg単位（例：65.4kg）です。日常生活では0.1kg単位で十分ですよね。この「精度を落としても実用上は問題ない」という考え方が量子化の本質です。

例2：デジタル写真

スマートフォンで撮った写真は1枚あたり5〜10MBですが、SNSにアップロードする際に自動的に圧縮され1〜2MBになります。画質の差はほとんど見分けがつきませんが、ファイルサイズは大幅に小さくなります。量子化もこれと同じ原理です。

LLMにおける量子化

LLMのパラメータは通常、FP16（16ビット浮動小数点数）という精度で保存されています。これは1つの数値に16ビット（2バイト）を使うことを意味します。量子化では、この精度を8ビット、4ビット、あるいはそれ以下に削減します。

具体的な数字で見てみましょう。7B（70億パラメータ）モデルの場合を考えます。

精度	1パラメータあたり	7Bモデルのサイズ	削減率
FP16（元のサイズ）	2バイト	約14GB	—
8bit量子化	1バイト	約7GB	50%
4bit量子化	0.5バイト	約3.5GB	75%
3bit量子化	0.375バイト	約2.6GB	81%

4bit量子化なら元の1/4のサイズになるため、14GBのモデルが約3.5GBに収まります。VRAM 8GBのGPUでも余裕を持って動かせるサイズです。

量子化の種類と手法

量子化にはいくつかの手法があり、それぞれ特徴が異なります。代表的なものを紹介します。

GPTQ（GPT Quantization）

GPTQは、モデルの重みを層ごとに最適化しながら量子化する手法です。少量のキャリブレーションデータを使って、量子化による品質低下を最小限に抑えます。GPU上での実行に最適化されており、推論速度が速いのが特徴です。

GGUF（旧GGML）

GGUF（GPT-Generated Unified Format）は、llama.cppプロジェクトで開発されたフォーマットです。CPU推論とGPU推論の両方に対応しており、最も広く使われている量子化フォーマットの一つです。OllamaやLM StudioでもGGUFフォーマットが標準的に使用されています。

GGUFフォーマットでは、量子化レベルが以下のような記号で表記されます。

• Q8_0：8bit量子化。最高品質だがサイズが大きい
• Q6_K：6bit量子化。高品質
• Q5_K_M：5bit量子化。品質とサイズのバランスが良い
• Q4_K_M：4bit量子化。最も人気のある設定
• Q3_K_M：3bit量子化。メモリが限られる場合に
• Q2_K：2bit量子化。実験的。品質低下が顕著

「K」は改良型アルゴリズムを、「M」は中間サイズ（Medium）を意味します。同じbit数でもK付きの方が品質が高いです。

AWQ（Activation-aware Weight Quantization）

AWQは比較的新しい手法で、モデルの出力に大きな影響を与える重要なパラメータを高精度で保持し、影響の少ないパラメータをより低い精度に量子化します。同じbit数でもGPTQより高い品質を実現できるケースがあります。

AQLM・QuIP#などの最新手法

2025〜2026年にかけて、2bit以下の超低精度量子化でも品質を維持できる新しい手法が登場しています。これらは研究段階のものも多いですが、将来的にはさらに小さなデバイスでLLMを動かすことを可能にします。

量子化レベルの選び方｜用途別ガイド

「どの量子化レベルを選べばいいのか」は、多くの方が迷うポイントです。用途と手持ちのハードウェアに応じた選び方をガイドします。

VRAM容量別のおすすめ設定

VRAM	おすすめモデル＋量子化	用途
8GB	7BモデルのQ4_K_M	基本的なテキスト生成、要約
12GB	13BモデルのQ4_K_Mまたは7BモデルのQ8_0	実務レベルの文書作成
16GB	13BモデルのQ5_K_Mまたは30BモデルのQ4_K_M	高品質な業務利用
24GB	70BモデルのQ4_K_Mまたは30BモデルのQ8_0	高度な推論、複雑なタスク

品質重視 vs サイズ重視の判断基準

品質重視（Q5以上を推奨）の場合：

• 日本語の文章生成が主な用途（微妙なニュアンスが重要）
• コーディング支援（コーディングアシスタントとしての利用）
• 論理的な推論が求められるタスク

サイズ重視（Q3〜Q4で十分）の場合：

• 簡単なFAQ対応（チャットボット用途）
• テキストの分類・タグ付け
• 定型的な文書の要約（議事録要約など）

量子化による品質への影響｜実際どの程度劣化するのか

量子化で最も気になるのは「品質がどれくらい落ちるのか」でしょう。結論から言うと、4bit量子化（Q4_K_M）であれば、実務利用でほとんど違いを感じないレベルです。

ベンチマークでの比較

一般的なベンチマークテスト（MMLU、HellaSwagなど）での品質低下率を見てみましょう。

量子化レベル	元モデルに対する精度維持率	体感上の違い
Q8_0	約99.5%	ほぼ区別不可能
Q5_K_M	約98.5%	ほぼ区別不可能
Q4_K_M	約97%	注意深く見れば稀に差がわかる
Q3_K_M	約94%	時折不自然な表現が出ることがある
Q2_K	約88%	品質低下が明確にわかる

Q4_K_Mの場合、元モデルの約97%の精度を維持しつつサイズを75%削減できるため、コストパフォーマンスが非常に高いと言えます。

日本語特有の注意点

日本語は英語と比較してトークン効率が低い（同じ内容を表現するのに多くのトークンが必要）ため、量子化の影響を受けやすい傾向があります。日本語品質を重視する場合は、Q4_K_Mよりも一段階上のQ5_K_Mを選ぶか、日本語に強いモデル（Qwen3など）を選択することをおすすめします。

量子化モデルの入手方法

量子化済みのモデルは、自分で量子化処理を行う必要はありません。すでに量子化されたモデルがコミュニティによって公開されています。

Hugging Face

AI モデルの共有プラットフォームであるHugging Faceには、膨大な量の量子化モデルが公開されています。特に「TheBloke」や「bartowski」といったユーザーが多くのモデルのGGUF量子化版を提供しており、信頼性の高いソースとして知られています。

Ollamaライブラリ

Ollamaの公式ライブラリには、主要モデルの量子化版がすぐに使える形で登録されています。コマンド一つでダウンロードから実行まで完了するため、最も手軽な入手方法です。

LM Studioのモデルブラウザ

LM Studioのアプリ内モデルブラウザからも、GGUFフォーマットの量子化モデルを検索・ダウンロードできます。GUI操作で完結するため、コマンドライン操作に慣れていない方におすすめです。

量子化と他の軽量化技術の比較

モデルを軽量化する技術は量子化だけではありません。関連する技術との違いを理解しておきましょう。

プルーニング（Pruning：枝刈り）

重要度の低いパラメータを完全に削除する手法です。量子化が「精度を下げる」のに対し、プルーニングは「不要な部分を取り除く」アプローチです。量子化と組み合わせることで、さらなる軽量化が可能になります。

蒸留（Knowledge Distillation）

大きなモデル（教師モデル）の知識を、小さなモデル（生徒モデル）に転移させる手法です。SLMの開発にもこの技術が使われています。量子化とは異なり、モデルのアーキテクチャ自体を小さくするアプローチです。

各技術の位置づけ

技術	アプローチ	実装の容易さ	品質維持度
量子化	精度を下げる	非常に簡単	高い
プルーニング	不要部分を削除	やや難しい	中程度
蒸留	小さなモデルに知識を移す	難しい	中程度

中小企業でローカルLLMを利用する場合、量子化だけで十分なケースがほとんどです。すでに量子化済みのモデルをダウンロードするだけなので、特別な技術知識は必要ありません。

量子化の今後の展望

量子化技術は日進月歩で進化しています。2026年以降のトレンドを展望します。

1.58bit量子化の実用化

MicrosoftのBitNet研究に代表される1〜2bit量子化の研究が進んでおり、将来的にはスマートフォンやタブレットでも実用的なLLMが動作する可能性があります。

ハードウェアレベルでのサポート

NVIDIAやAMDなどのGPUメーカーが、量子化モデルの推論に最適化したハードウェア命令セットを実装し始めています。これにより、量子化モデルの推論速度がさらに向上することが期待されます。

動的量子化の普及

モデル全体を均一に量子化するのではなく、層やパラメータの重要度に応じて量子化レベルを動的に調整する「混合精度量子化」の研究が進んでいます。同じファイルサイズでもより高い品質を実現できるようになるでしょう。

まとめ：量子化はローカルLLM活用の必須知識

量子化は、ローカルLLMを一般的なPCで実用的に動かすための核心技術です。ポイントをまとめます。

• 量子化とは、モデルの数値精度を下げてサイズを削減する技術
• Q4_K_Mが最も一般的で、品質とサイズのバランスに優れている
• 元モデルの約97%の精度を維持しつつ、サイズを75%削減可能
• 量子化済みモデルはOllamaやLM Studioから簡単に入手できる
• 日本語重視ならQ5_K_M以上を選ぶのがおすすめ

ローカルLLMの仕組み全体の中で量子化がどう位置づけられるかを理解しておくと、モデル選びやハードウェア選定がスムーズに進みます。メリット・デメリットも踏まえて、自社に最適なローカルLLM環境を構築してください。