大規模言語モデル入門 2〜生成型 LLM の実装と評価

「大規模言語モデル入門」の続編です。「大規模言語モデル入門」は理論と実装のバランスをとって構成しましたが、本書では実装部分で扱い切れなかった話題を取り上げ、特に大規模言語モデルの評価と生成 LLM に関連する解説を充実させます。「大規模言語モデル入門」の 9 章に続き、10 章から始まります。

10 章では、後続する章で行う言語モデルの評価方法について解説します。自動評価と人手評価の 2 つの側面から、ベンチマーク、評価指標、具体的な評価ツールやデータセットなどを取り上げます。11 から 13 章では、主に大規模言語モデルの性能を上げるためのトピックとして、指示チューニング、人間のフィードバックからの学習、RAG に焦点を当て、それぞれの実装方法、利用するデータセット、評価の方法について解説します。14 章では大規模言語モデルの学習における並列・分散処理について詳しく解説します。大規模なデータを限られた計算資源で学習させるノウハウは多くのエンジニアにとって有益な情報となるでしょう。

大規模言語モデルの性能を高めるための各トピックの実装とともに、それぞれの評価について理解できる一冊です。

『大規模言語モデル入門 Ⅱ 〜生成型 LLM の実装と評価』 (山田 育矢 監修 / 著、鈴木 正敏、西川 荘介、藤井 一喜、山田 康輔、李 凌寒 著、技術評論社、2024 年 9 月刊) は、前著『大規模言語モデル入門』の続編として、生成型の 大規模言語モデル を評価し、性能を引き上げるための手法を実装とともに学ぶ書籍です。版元の紹介文によれば、前著で理論と実装のバランスを取ったうえで扱い切れなかった話題を取り上げ、特に評価と生成 LLM に関する解説を充実させた一冊で、章番号は前著の 9 章に続いて 10 章から始まります。版元が想定する読者は、大規模言語モデルに興味のあるエンジニアと研究者です。

第 10 章から第 14 章、評価から分散並列学習までの構成

本書は 5 章構成です。第 10 章の性能評価では、評価指標を用いた自動評価として llm-jp-eval を、LLM を用いた自動評価として Japanese Vicuna QA Benchmark を取り上げ、後続の章で使う評価の土台を作ります。第 11 章の指示チューニングでは、データセットの準備やチャットテンプレート、トークン ID への変換から訓練、保存までを実装し、指示追従性能と安全性を評価します。第 12 章の選好チューニングでは RLHF と DPO を説明し、DPO の導出を示したうえで実装と評価を行います。第 13 章は RAG で、LangChain による基本的なシステムの実装、AI 王データセットを用いた RAG 向けの指示チューニング、RAG の性能評価の観点と自動評価の手法を扱います。第 14 章の分散並列学習では、データ並列、DeepSpeed ZeRO、パイプライン並列、テンソル並列、3 次元並列化を整理し、Megatron-LM の環境構築から Llama2 の分散並列学習までを解説します。各章の執筆は、それぞれの分野で研究や開発に携わってきた著者が分担しています。

生成 LLM の評価が難しい理由と、本書が評価を先に置く意味

分類や抽出のように正解が一つに決まるタスクと違い、生成型のモデルが出す文章は、正しい答え方が何通りもあります。そのため、正解データとの一致を測る自動評価だけでは品質を捉えきれず、人手による評価は信頼できる反面、費用と時間がかかります。LLM に別の LLM の出力を採点させる方法はその中間にあたり、手軽な一方で採点役のモデルの偏りを持ち込みます。本書が評価の章を最初に置き、指示チューニング、選好チューニング、RAG のそれぞれで評価までを一続きに扱っているのは、手法を適用した結果が本当に良くなったのかを確かめる手段なしには、改善の判断ができないためと読めます。追加学習 を試したものの効果を説明できずに止まっている人にとって、この順序はそのまま実務の進め方の手本になります。

選好チューニングと分散並列学習、前提となる知識

選好チューニングは、二つの応答のうちどちらが好ましいかという人の判断をモデルに反映させる手法です。RLHF は報酬モデルを別に学習して強化学習で方策を更新しますが、DPO は好ましい応答と好ましくない応答の組から直接モデルを更新するため、構成が簡素になります。本書は DPO の導出まで示すので、数式を追うには確率と最適化の基礎が要ります。また分散並列学習の章は、一台の GPU のメモリに収まらないモデルを複数の装置にどう分けるかという、規模が大きくなると避けて通れない問題を扱います。全体として Python と深層学習の実装経験、Transformer と前著で扱った事前学習済みモデルの基本が前提で、LLM を初めて学ぶ人には前著から読むほうが確実です。

前著との使い分けと、向いている読者

LLM の仕組みを読み物として知りたい人や、API を呼び出すアプリケーションの作り方を探している人には、本書は踏み込みが深すぎます。分野全体の本の地図から選び直したい場合は LLM 本の選び方 で層を確かめておくと迷いません。反対に、日本語の LLM を指示チューニングや選好チューニングで自社の用途に合わせたい人、検索拡張生成 の品質を数字で説明する必要がある人、学習の規模を広げる段階で分散並列学習の選択肢を理解しておきたい人には、評価と改善の手順を実装つきで一度に押さえられる本書は、手を動かした分だけ判断の根拠が増える一冊です。