作ってわかる大規模言語モデルの仕組み(ツクッテワカルダイキボゲンゴモデルノシクミ)
その他- 著者:
- 井上 顧基/下垣内 隆太/高島 直也/澤 風吹(イノウエコウキ/シモガウチリュウタ/タカシマナオヤ/サワフブキ)
- 出版社:
- 日経BP
- 出版日:
- 2026年03月20日頃
- ISBN:
- 9784296205257
- 価格:
- ¥3,630
- 在庫:
- 1
- 判型:
- 単行本
なぜ注目されているか
書籍紹介
ChatGPT が使う大規模言語モデル (LLM) 「 GPT 」を一から作りながら、 LLM の基本から実装まで体系的に学べます!
【本書の特徴】
● Transformer の基礎から GPT モデルまで一から作りながら学べる
●「人間の意図に沿った応答」を生成するアラインメント (SFT 、 DPO) の仕組みを実装で学べる
●最新の推論強化モデルまでカバー
【 LLM の仕組みを 3 段階で理解】
●図解や平易な解説で直感的に分かる
●実際に動く PyTorch コードで理解
●理論的な背景は数式で補足
Transformer モデルを作った後、 GPT-2 相当の LLM を実装。さらに GPT-2 だけでは実現できなかった「人間の意図に沿った応答」を生成するための技術 (SFT 、 DPO) を、実際のコードで体験します。多数の GPU を使った大規模学習をするための分散学習についてもコードを示しながら解説します。
現代の大規模言語モデルがどのように作られているのかー、その本質をこの 1 冊で理解できます。
第 1 章 大規模言語モデルの歴史と本書で得られること
1.1 大規模言語モデル (LLM) の変遷:2017 〜 2026
1.2 本書の構成
1.3 実行環境について
1.4 本書の読み方
第 2 章 Transformer モデルの作成
2.1 RNN から、 Transformer まで
2.2 アテンション機構
2.3 アテンション以外の部品
2.4 Transformer を作る
2.5 Transformer の学習と推論
第 3 章 GPT モデルの作成
3.1 GPT モデルの概要
3.2 トークナイザと入力処理
3.3 GPT モデルの学習
3.4 他の代表的な、 LLM
第 4 章 大規模言語モデルの学習
4.1 データセットと前処理
4.2 複数 GPU を用いた学習の並列実行
4.3 分散学習による事前学習
4.4 学習の効率化 (LoRA)
第 5 章 アラインメント
5.1 アラインメントの基礎
5.2 指示への追従性を向上させる学習
5.3 人間の好みのフィードバックによる学習
5.4 評価
第 6 章 推論モデル
6.1 推論モデルとは何か
6.2 Chain-of-Thought: 推論の基盤技術
6.3 強化学習による推論能力の学習
付録 NumPy 、 PyTorch 入門
この本に興味がある方におすすめ
この本に関連
関連記事
LLM / 生成 AI 本ガイド - 仕組み / 実装 / エージェント開発の 3 層で選ぶ (2026 年 8 月時点)
LLM (大規模言語モデル) / 生成 AI を学ぶ技術書の選び方を 3 層 (読み物で仕組みを掴む → 中身を実装で理解する → RAG / AI エージェント開発) で整理。2026 年 8 月時点の定番書と、変化の速い分野で本を選ぶときの注意点を解説します。
ゼロから作る Deep Learning シリーズの読む順番 - 全 6 巻の内容と選び方を整理
ゼロから作る Deep Learning シリーズ全 6 巻 (基礎 / 自然言語処理 / フレームワーク / 強化学習 / 生成モデル / LLM) の読む順番を解説。各巻の内容 / 発売年 / 前提知識を一覧表で整理し、目的別にどの巻から読むべきかを案内します。
機械学習 / ディープラーニング本ガイド - エンジニアが読むべき AI 技術書の選び方
機械学習の基礎から実践まで学べる技術書の選び方を紹介。「Python ではじめる機械学習」などのハンズオン本を軸に、数学が苦手な人向けの学習ルート、ディープラーニング本への進み方、ML 本の賞味期限の見極め方を解説します。