LLM用語集：Transformerからマルチモーダルまで基礎50語

2026年7月20日

この記事の要点

【結論】LLMを実務で使いこなす人材は、Transformerアーキテクチャ・トレーニング手法・評価指標・マルチモーダル・ファインチューニングの5領域の用語を最低限押さえる必要がある。本記事はその基礎50語を一気に整理する。
【重要ポイント1】現代LLM（GPT-4o、Claude 3.5、Gemini 1.5、Llama 3等）はすべて2017年発表のTransformerを基盤としており、Attention/Self-Attention/Position Encodingが理解の起点になる。
【重要ポイント2】事前学習・Fine-tuning・RLHF・DPOの4段階の訓練プロセスと、Perplexity・MMLU・HumanEval・Chatbot Arenaの4種の評価軸が、LLM選定・比較の共通言語である。
【重要ポイント3】LoRA/QLoRA等のPEFT技術により、企業が自社データで大規模モデルをカスタマイズするコストは2023-2026年で1/10以下に低下した。
【対象読者】生成AIをコンサル案件・社内DXで活用する事業責任者、DX推進担当者、AI基盤の設計を担うエンジニア。

LLMアーキテクチャ用語にはどんなものがあるか？
Transformer構造の基本用語をどう押さえるべきか？
LLMのトレーニング用語には何があるか？
LLMの評価用語をどう理解すべきか？
マルチモーダル用語には何が含まれるか？
ファインチューニング関連用語をどう使い分けるか？
FAQ／参考文献

用語一覧表（50語）

#	カテゴリ	用語	一言定義
1-8	アーキテクチャ	LLM / Encoder / Decoder / Encoder-Decoder / GPT / BERT / T5 / MoE	モデル全体の設計
9-17	Transformer	Transformer / Attention / Self-Attention / Multi-Head / Cross-Attention / Position Encoding / Layer Norm / Residual / FFN	内部構造の部品
18-26	トレーニング	Pretraining / Fine-tuning / Instruction Tuning / RLHF / DPO / Constitutional AI / In-Context / Few-shot / Zero-shot	学習の工程と手法
27-34	評価	Perplexity / MMLU / HumanEval / HELM / GSM8K / BIG-Bench / Chatbot Arena / BLEU-ROUGE	精度・能力の計測
35-42	マルチモーダル	Multimodal / ViT / CLIP / VLM / Diffusion / Text-to-Image / Whisper / GPT-4V	テキスト以外の統合
43-50	ファインチューニング	PEFT / LoRA / QLoRA / Adapter / Prompt Tuning / Prefix Tuning / Quantization / Distillation	効率的なカスタマイズ

LLMアーキテクチャ用語にはどんなものがあるか？

結論： LLMの全体像を把握するには、まず「Encoder型／Decoder型／Encoder-Decoder型」の3系統と、代表的モデル（GPT・BERT・T5・MoE）の位置づけを整理することが起点になります。

1. LLM（大規模言語モデル）とは、 数十億から数兆パラメータを持つTransformerベースの言語モデルである。GPT-4、Claude、Geminiが該当する。使用例：ChatGPTはOpenAIのGPT-4o、Claude.aiはAnthropicのClaude 3.5 Sonnetを基盤LLMとして採用している。

2. Encoder（エンコーダ）とは、 入力テキストを内部表現（ベクトル）に変換するTransformerの構成要素である。双方向的に文脈を理解する。使用例：BERTはEncoderのみで構成され、文書分類・固有表現抽出・検索の意図理解に強い。

3. Decoder（デコーダ）とは、 内部表現から出力テキストを逐次生成するTransformerの構成要素である。左から右へ単方向に生成する。使用例：GPT系列はDecoder-only構成で、文章生成・対話・要約・コード生成に特化している。

4. Encoder-Decoder（エンコーダ・デコーダ）とは、 入力理解と出力生成を分離した2段構成である。翻訳・要約タスクに適する。使用例：GoogleのT5、MetaのBART、多言語翻訳のNLLBはこの型を採用している。

5. GPT（Generative Pre-trained Transformer）とは、 OpenAIが開発したDecoder-only型LLMシリーズである。GPT-1（2018）からGPT-4o（2024）まで進化してきた。使用例：ChatGPT、Microsoft Copilotの中核モデルとして商用利用されている。

6. BERT（Bidirectional Encoder Representations from Transformers）とは、 Googleが2018年に発表したEncoder-only型モデルである。双方向文脈理解でNLPを刷新した。使用例：Google検索の意図理解、日本語RoBERTa/DeBERTaに応用されている。

7. T5（Text-to-Text Transfer Transformer）とは、 Googleが2019年に発表した、すべてのNLPタスクを「テキスト→テキスト」で統一するモデルである。使用例：翻訳・要約・分類を同一フォーマットで処理する多目的モデルとして活用される。

8. MoE（Mixture of Experts）とは、 複数の「専門家」ネットワークを持ち、入力ごとに一部のみを活性化する省計算アーキテクチャである。使用例：Mixtral 8x7B、GPT-4、Gemini 1.5など2024年以降の最新モデルの多くがMoE構造を採用している。

Transformer構造の基本用語をどう押さえるべきか？

結論： Transformerの中核はSelf-Attentionです。Attention・Multi-Head・Position Encoding・Residual・Layer Normの各部品が組み合わさって「長距離依存を学べる汎用構造」を成しています。

9. Transformerとは、 2017年にGoogleが論文「Attention Is All You Need」（Vaswani et al.）で発表したニューラルネットワークアーキテクチャである。使用例：GPT・BERT・T5・Llama等の現代LLMはすべてTransformerを基盤としている。

10. Attention（注意機構）とは、 入力の中で重要な要素に重みを置いて処理する仕組みである。文脈内の関連単語を動的に参照できる。使用例：「私は昨日、寿司を食べた」で「食べた」の主語を「私」と結びつける計算処理。

11. Self-Attention（自己注意）とは、 入力系列内の各トークンが他のすべてのトークンとの関連度を計算する機構である。使用例：長文における主語と述語、代名詞と指示対象など、遠く離れた語同士の依存関係を捉えるコア技術。

12. Multi-Head Attention（マルチヘッド注意）とは、 Self-Attentionを複数のヘッドで並列実行し、異なる観点の関係性を同時に学習する仕組みである。使用例：GPT-4は96ヘッド級、Llama 3も各層に多数のヘッドを持ち、意味・構文を並列に学ぶ。

13. Cross-Attention（クロス注意）とは、 Encoder出力とDecoder入力の間で行う注意機構である。使用例：翻訳モデルで原文と訳文の対応を学習する際や、マルチモーダルで画像特徴とテキストを結合する際に用いられる。

14. Position Encoding（位置符号化）とは、 Transformerに単語の順序情報を与える仕組みである。Attentionは順序を持たないため必須となる。使用例：RoPE（Rotary Position Embedding）はLlama・Mistralが採用する回転型位置符号化。

15. Layer Normalization（レイヤー正規化）とは、 各層の出力を正規化して学習を安定させる技術である。使用例：Transformerの各ブロックに配置され、勾配爆発・消失を防ぐ標準実装。RMSNormも近年多用される。

16. Residual Connection（残差接続）とは、 ある層の出力に入力を直接加算する接続である。深いネットワークの学習を可能にする。使用例：ResNetで導入され、Transformerの各サブレイヤーにも必ず組み込まれている。

17. Feed-Forward Network（順伝播ネットワーク／FFN）とは、 Attention層の後に配置される全結合層である。トークンごとに独立して非線形変換を行う。使用例：Transformerブロック計算量の約半分を占め、知識の格納にも寄与する重要要素。

LLMのトレーニング用語には何があるか？

結論： LLMは「Pretraining（事前学習）→ Fine-tuning／Instruction Tuning → RLHF／DPO」という多段階で仕上げます。In-Context Learning／Few-shot／Zero-shotは「学習済みモデルの使い分け」を指す用語です。

18. Pretraining（事前学習）とは、 大規模テキストコーパスで次単語予測やマスク言語モデルを解かせ、基盤能力を獲得させる工程である。使用例：GPT-4は数兆トークン、Llama 3は約15兆トークンで事前学習された。

19. Fine-tuning（ファインチューニング）とは、 事前学習済みモデルを特定タスクや領域向けに追加学習する工程である。使用例：法務・医療・金融ドメインへのLLM適応、社内文書スタイル・自社FAQへの適応など。

20. Instruction Tuning（指示チューニング）とは、 「指示→回答」ペアのデータで学習させ、ユーザ指示に従う能力を獲得させる手法である。使用例：FLAN-T5、Alpaca、Vicunaは指示チューニングにより素のGPTから対話能力を獲得した。

21. RLHF（Reinforcement Learning from Human Feedback）とは、 人間の選好データを報酬モデル化し、強化学習で言語モデルを最適化する手法である。使用例：ChatGPTの品質向上、Claudeの安全性強化における中核技術。

22. DPO（Direct Preference Optimization）とは、 選好データを報酬モデルを介さず直接最適化する、RLHFの簡略化手法である。使用例：Zephyr-7B、Llama 3の一部モデルはDPOで学習され、実装容易性と性能を両立する。

23. Constitutional AI（憲法AI）とは、 Anthropicが提唱した、モデル自身に安全原則（憲法）を守らせるフィードバック手法である。使用例：Claudeシリーズはこの手法で有害出力を抑制し、安全性と有用性を両立している。

24. In-Context Learning（文脈内学習／ICL）とは、 モデルパラメータを更新せず、プロンプト内の例示から学習する能力である。使用例：数個の入出力例をプロンプトに含めるだけで新規タスクに対応できる、GPT-3以降の代表的能力。

25. Few-shot Learning（数例学習）とは、 数個の例を提示するだけでタスクを解かせる方法である。使用例：「英→日翻訳の例を3つ示す→未知の英文を訳させる」プロンプト設計。ICLの一形態。

26. Zero-shot Learning（ゼロショット学習）とは、 例示なしに指示のみでタスクを解かせる方法である。使用例：「以下の文を200字で要約してください」だけで要約させる、現代LLMで最も一般的な使い方。

LLMの評価用語をどう理解すべきか？

結論： LLM評価は「言語モデルとしての精度（Perplexity）」「学術知識（MMLU）」「コード生成（HumanEval）」「推論（GSM8K）」「人間評価（Chatbot Arena）」の5軸で見るのが実務標準です。

27. Perplexity（パープレキシティ）とは、 モデルが次の単語をどれだけ予測できるかを示す指標で、値が小さいほど良い。使用例：事前学習の進捗評価、独自コーパスでのモデル比較に用いられる基本指標。

28. MMLU（Massive Multitask Language Understanding）とは、 57分野の学術・専門知識を測る英語ベンチマークである。使用例：GPT-4は約86%、Claude 3 Opusは約87%、Gemini 1.5 Proは約85%を記録する主要指標。

29. HumanEval（ヒューマンイヴァル）とは、 OpenAIが提唱したPython関数生成のコーディング能力ベンチマークである。使用例：GPT-4は約85-90%、Claude 3.5 Sonnetは約92%を達成する、コード生成の標準評価。

30. HELM（Holistic Evaluation of Language Models）とは、 スタンフォード大学が提唱した包括的評価フレームである。精度・堅牢性・公平性など多面的に評価する。使用例：学術論文や大企業のモデル選定における参照フレーム。

31. GSM8K（Grade School Math 8K）とは、 小学校レベルの算数文章題8,500問からなる推論能力ベンチマークである。使用例：Chain-of-Thought推論の効果検証、数学的推論力の比較に頻繁に用いられる。

32. BIG-Bench（Beyond the Imitation Game Benchmark）とは、 Googleが公開した200以上の多様なタスクからなる大規模ベンチマークである。使用例：LLMの汎用性・弱点発見のスクリーニング用途、新モデル発表時の網羅評価。

33. Chatbot Arena（LMSYS Arena）とは、 ユーザ投票による人間評価型LLMランキングである。使用例：Claude 3.5 Sonnet、GPT-4o、Gemini 1.5 Proの相対的な人気・実用性を可視化する、業界標準ランキング。

34. BLEU／ROUGEとは、 生成テキストと正解テキストの一致度（n-gram重なり）を測る自動評価指標である。使用例：BLEUは機械翻訳、ROUGEは要約評価で長く標準的に使われてきた古典的指標。

マルチモーダル用語には何が含まれるか？

結論： マルチモーダルはテキスト以外（画像・音声・動画）を統合するLLM／モデルの総称です。ViT・CLIP・VLM・Diffusion・Whisperの5概念を押さえれば主要地図が掴めます。

35. マルチモーダル（Multimodal）とは、 テキスト・画像・音声・動画など複数モダリティを扱うモデル・技術である。使用例：GPT-4o、Claude 3、Gemini 1.5は画像入力・音声応答に対応する代表的なマルチモーダルLLM。

36. Vision Transformer（ViT）とは、 画像をパッチ分割してTransformerで処理する画像認識モデルである。使用例：Google Brainが2020年に発表し、CNN中心だった画像認識をTransformer中心へと刷新した基盤技術。

37. CLIP（Contrastive Language-Image Pre-training）とは、 OpenAIが2021年に発表した、画像とテキストを同じ空間に埋め込む対照学習モデルである。使用例：Stable Diffusion、DALL-Eの画像・テキスト対応の基盤技術。

38. VLM（Vision Language Model）とは、 画像とテキストを統合処理するマルチモーダルLLMの総称である。使用例：GPT-4V、Claude 3 Vision、LLaVAは画像を入力として説明・分析・OCR・グラフ読解が可能。

39. Diffusion Model（拡散モデル）とは、 ノイズ付加と除去を学習する画像生成モデルである。使用例：Stable Diffusion、DALL-E 3、Midjourneyの根幹アルゴリズムで、テキストから写実的画像を生成する。

40. Text-to-Image（テキスト画像生成）とは、 テキスト記述から画像を生成するタスクである。使用例：「夕焼けの富士山を油絵風に」というプロンプトから写実的・アート的画像を生成する2022年以降の主流応用。

41. Whisper（ウィスパー）とは、 OpenAIが2022年に公開した多言語音声認識モデルである。使用例：日本語を含む99言語の書き起こし、会議録音の文字化、動画字幕自動生成に幅広く活用される。

42. GPT-4V／Claude 3 Vision等（マルチモーダルLLM）とは、 テキスト・画像を統合的に入出力できる基盤モデルである。使用例：グラフ画像を読み込んで数値解釈、UIスクリーンショットからコード生成、手書きメモの要約が可能。

ファインチューニング関連用語をどう使い分けるか？

結論： 自社データでLLMをカスタマイズする際は、PEFT（LoRA／QLoRA／Adapter／Prompt Tuning）で「軽く速く安く」学習し、Quantizationで推論を軽量化するのが2024-2026年の実務標準です。

43. PEFT（Parameter-Efficient Fine-Tuning）とは、 モデル全体ではなく一部パラメータのみを更新する省リソースFine-tuning手法群である。使用例：LoRA、QLoRA、Adapter、Prompt Tuningを包含する上位概念。

44. LoRA（Low-Rank Adaptation）とは、 Microsoftが2021年に提唱した、低ランク行列を追加してFine-tuneする手法である。使用例：GPUメモリを1/10以下に減らし、消費者GPUでも70Bクラスの学習を可能にする代表的PEFT。

45. QLoRA（Quantized LoRA）とは、 4bit量子化とLoRAを組み合わせた、さらに省メモリなFine-tune手法である。使用例：Llama 2 70Bを単一の48GB GPUでFine-tune可能にした、2023年発表の画期的技術。

46. Adapter（アダプター）とは、 Transformer各層に小型ネットワークを挿入してFine-tuneする手法である。使用例：AdapterHubで多数のタスク別Adapterを再利用可能な形で共有し、切替えるだけでタスク変更が可能。

47. Prompt Tuning（プロンプトチューニング）とは、 モデル本体は凍結し、入力に「学習可能なベクトル（ソフトプロンプト）」を追加する手法である。使用例：数十MB程度でタスク切替えが可能で、多タスク提供SaaSに向く。

48. Prefix Tuning（プレフィックスチューニング）とは、 各層のKey/Valueに学習可能なベクトルを付加する手法である。使用例：Prompt Tuningの拡張版で、より深い制御が可能。生成タスクに強みを持つ。

49. Quantization（量子化）とは、 モデル重みを32bit→16bit→8bit→4bitと低精度化してメモリ・速度を最適化する技術である。使用例：GGUF、AWQ、GPTQ形式のモデルはローカルPC実行の標準フォーマット。

50. Distillation（蒸留）とは、 大型モデル（教師）の知識を小型モデル（生徒）に転写する手法である。使用例：DistilBERT、Phi-3-mini、Gemini Nanoなど、性能を保ちながらエッジ実行を可能にする軽量モデル群に応用される。

FAQ（よくある質問）

Q1：LLM用語をまず10語だけ覚えるなら何を選ぶべきですか？

A1：Transformer／Attention／Self-Attention／Pretraining／Fine-tuning／RLHF／In-Context Learning／MMLU／マルチモーダル／LoRAの10語です。これらでLLMの構造・学習・評価・応用の全景を俯瞰でき、ベンダー説明や論文タイトルの意味が概ね掴めます。

Q2：GPTとBERTは何が違うのですか？

A2：GPTはDecoder-only型で「次の単語を生成する」ことに特化し、BERTはEncoder-only型で「文全体の意味を理解する」ことに特化しています。用途はGPTが対話・生成、BERTが分類・検索・意図解析です。両者ともTransformerを基盤とする点は共通しています。

Q3：RLHFとDPOはどう使い分ければよいですか？

A3：RLHFは報酬モデルを学習してから強化学習を回す2段階手法で、細やかな調整が可能ですが実装が重い方式です。DPOは選好データから直接最適化する簡略版で、実装が軽く近い性能が出るため、2024年以降のオープンLLMではDPOが主流になりつつあります。

Q4：LoRAとQLoRAはどちらを選ぶべきですか？

A4：GPUメモリに余裕があればLoRA、メモリが厳しい（24GB以下、または70Bクラスを扱う）場合はQLoRAを選ぶのが基本です。QLoRAは4bit量子化で精度が僅かに下がる代わりに、必要メモリを1/4程度に圧縮できます。まず動かすならQLoRA、精度重視ならLoRAという判断基準になります。

Q5：マルチモーダルLLMの評価はどうすればよいですか？

A5：現時点でテキストほど標準化されておらず、MMMU（大学レベル画像推論）、MathVista（画像数学）、DocVQA（文書QA）等を組み合わせて評価するのが実務的です。加えて、自社ユースケース（例：業務スクリーンショットからの要約）で独自評価セットを100件規模で作り、モデル選定に用いることを推奨します。

参考文献・出典

Vaswani et al.「Attention Is All You Need」（NeurIPS 2017、arXiv:1706.03762）
Devlin et al.「BERT: Pre-training of Deep Bidirectional Transformers」（NAACL 2019、arXiv:1810.04805）
Brown et al.「Language Models are Few-Shot Learners」（GPT-3、NeurIPS 2020、arXiv:2005.14165）
Ouyang et al.「Training language models to follow instructions with human feedback」（InstructGPT/RLHF、NeurIPS 2022、arXiv:2203.02155）
Hu et al.「LoRA: Low-Rank Adaptation of Large Language Models」（ICLR 2022、arXiv:2106.09685）
Radford et al.「Learning Transferable Visual Models From Natural Language Supervision」（CLIP、ICML 2021、arXiv:2103.00020）
OpenAI「GPT-4 Technical Report」（2023）
Anthropic「Claude 3 Model Card」（2024）
経済産業省「デジタルスキル標準（DSS）」（2024年改訂版）
IPA「AI白書／DX白書」（2026年版）
Stanford CRFM「HELM：Holistic Evaluation of Language Models」（2022-2024）