直感 LLM

LLM (大規模言語モデル) による自然言語処理をハンズオン形式で詳説!
急速に進化する大規模言語モデル (LLM) を、視覚的に理解しながら実践的に学べるハンズオンガイド。本書では、Jupyter Notebook やクラウド上で実際にモデルを動かしながら学ぶことができます。大規模言語モデルに欠かせない Transformer の仕組みをはじめ、要約、セマンティック検索、テキスト分類、クラスタリング、RAG (検索拡張生成) といった技術も、図解とともに直感的に理解できます。豊富なコード例と既存ライブラリの活用法を通じて、直感を重視したアプローチで LLM を学びたい読者に最適な一冊です。

『直感 LLM』 (Jay Alammar、Maarten Grootendorst 著、中山 光樹 訳、オライリー・ジャパン、2025 年 6 月刊) は、原書 Hands-On Large Language Models の日本語版で、大規模言語モデルの仕組みと使い方を図解とハンズオンで学ぶ入門書です。版元の書籍ページでは、書名に「ハンズオンで動かして学ぶ大規模言語モデル入門」が添えられています。版元の紹介文には、Jupyter Notebook やクラウド上で実際にモデルを動かしながら学べること、Transformer の仕組みをはじめ、要約、セマンティック検索、テキスト分類、クラスタリング、RAG (検索拡張生成) といった技術を図解とともに扱うことが書かれています。国立国会図書館の書誌では、出版者はオライリー・ジャパン、頒布はオーム社と記録されています。

全 3 部 12 章の構成、トークンから選好チューニングまで

本文は 3 部 12 章で、冒頭に訳者まえがきとまえがき、巻末にあとがきと索引が置かれています。第 I 部「言語モデルの理解」は第 1 章「入門大規模言語モデル」、第 2 章「トークンと埋め込み」、第 3 章「大規模言語モデルの仕組み」の 3 章です。第 II 部「事前学習済み言語モデルの活用」は第 4 章「テキスト分類」、第 5 章「テキストクラスタリングとトピックモデリング」、第 6 章「プロンプトエンジニアリング」、第 7 章「高度なテキスト生成のテクニックとツール」、第 8 章「セマンティック検索と RAG」、第 9 章「マルチモーダルな大規模言語モデル」の 6 章です。第 III 部「言語モデルの学習とファインチューニング」は第 10 章「テキスト埋め込みモデルの作成」、第 11 章「分類モデルのファインチューニング」、第 12 章「生成モデルのファインチューニング」の 3 章で、第 12 章は事前学習、教師ありファインチューニング、選好チューニングという学習の 3 つの段階を整理したうえで、QLoRA による指示チューニングと DPO による選好チューニングを扱います。

表現モデルと生成モデル、埋め込みと RAG という語

Transformer は、入力の各トークンが他のどのトークンにどれだけ注意を向けるかを計算する注意機構を中心に組まれたモデルです。この構造から、文章を読み取って数値の表現に変えることに特化したエンコーダーのみのモデル (BERT がその代表) と、次のトークンを予測して文章を書き出すことに特化したデコーダーのみのモデル (GPT の系統) が分かれました。本書は第 1 章で前者を表現モデル、後者を生成モデルと呼び分け、第 4 章ではテキスト分類を両方のモデルで行います。埋め込み は、意味の近い文章ほどベクトルが近くなるように作られた数値の列です。セマンティック検索は、意味の近さで文書を探す検索です。検索で集めた文書をプロンプトに添えて生成モデルに答えさせる仕組みが RAG です。本書では密検索、リランキング、検索の評価指標を扱ったあとで RAG に進み、LLM の API を使う実装とローカルモデルを使う実装の両方を載せています。

Python の環境と、手元で動かせる規模

目次に名前が出るライブラリだけでも LangChain、Sentence Transformers、BERTopic、SetFit があり、いずれも Python のライブラリです。第 1 章には「限られた計算資源で十分」という節があり、第 7 章は量子化されたモデルの読み込みから始まります。量子化は、モデルの重みを少ないビット数で表してメモリの使用量を減らす手法です。事前学習済みのモデルを追加で学習させる ファインチューニング は、全ての重みを更新すると大きなメモリを要します。LoRA は元の重みを固定したまま小さな行列だけを学習する方法で、量子化と組み合わせた方法が QLoRA です。版元の紹介文は、本書の進め方を「直感を重視したアプローチ」と表しています。

本書は、言語モデルの理解、事前学習済みモデルの活用、学習とファインチューニングという 3 部を、全 12 章に収めています。