機械学習エンジニアのための Transformers

Hugging Face の開発者による解説書!
「Hugging Face Transformers」を使った自然言語処理の解説書。2017 年の登場以来、Transformer と呼ばれるアーキテクチャを使った大規模なモデルが急速に普及しています。本書では、Hugging Face の開発者らが、「Hugging Face Transformers」を使って、これらの大規模モデルを学習しスケールする方法をわかりやすく紹介します。テキスト分類、固有表現認識、テキスト生成、要約、質問応答といったタスクだけでなく、蒸留、量子化、枝刈り、ONNX Runtime といったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、多言語転移やドメイン適応といった類書では扱っていない技術についても解説しています。

Transformer を論文として理解することと、実務のモデルとして学習し配備することの間には、データの用意、トークン化、ファインチューニング、推論コストの制御という実装上の段差があります。『機械学習エンジニアのための Transformers』 (Lewis Tunstall、Leandro von Werra、Thomas Wolf 著、中山 光樹 訳、オライリー・ジャパン、2022 年 8 月刊) は、その段差を「Hugging Face Transformers」ライブラリで埋めていく解説書です。原書は『Natural Language Processing with Transformers』で、日本語版は「最先端の自然言語処理ライブラリによるモデル開発」を副題に掲げ、版元は Hugging Face の開発者らによる本として紹介しています。

全 11 章の構成、テキスト分類から Transformer の未来まで

1 章でエンコーダ・デコーダの枠組み、アテンション機構、NLP における転移学習という前提を押さえ、Hub / Tokenizers / Datasets / Accelerate から成る Hugging Face のエコシステムを紹介します。2 章のテキスト分類でデータセットの読み込みからトークン化、ファインチューニングまでの一連の流れをつかんだ後、3 章でセルフアテンションや位置埋め込みといった Transformer の内部構造をコードで確認し、4 章から 7 章は XLM-RoBERTa をファインチューニングする多言語の固有表現認識、テキスト生成、GPT-2 / T5 / BART を比較する要約、質問応答へと進みます。8 章「Transformers の高速化」は知識蒸留、量子化、ONNX Runtime による推論の最適化、重みの枝刈りを扱い、9 章はラベルの無い、または少ない状況への対応方法として GitHub Issue タガーの構築を例に、ナイーブベイズのベースライン、データ拡張、プロンプトを使った少数事例学習を試します。10 章ではトークナイザーの学習からモデルの初期化、学習ループの定義までを通してモデルをゼロから学習し、11 章でスケーリング則やスパースアテンション、画像 / テーブル / 音声へのマルチモーダル展開を見渡します。サンプルコードは版元のページから公開リポジトリへ案内されています。

論文と本番の間を埋める、Hugging Face エコシステムという設計思想

2017 年に登場した Transformer は、再帰構造を捨てて自己注意だけで系列内の依存関係を捉える設計により学習を並列化しやすくし、大規模な事前学習と下流タスクへの転移学習という NLP の標準的な手順を生み出しました。ただし事前学習済みモデルを実務に載せるには、モデルごとに異なるトークナイザーと入力形式、数百 MB から数 GB に及ぶ重み、推論レイテンシとコスト、ラベル付きデータの不足といった課題が立ちはだかります。Hugging Face Transformers は、モデルの取得 / トークン化 / 学習 / 推論を統一的な API で扱えるようにし、Hub での共有まで含めてこの手順を標準化したライブラリです。本書の特徴は、ライブラリの使い方の説明で終わらず、蒸留と量子化で小さく速いモデルを作る 8 章や、ラベルの少なさという実務の制約に正面から向き合う 9 章のように、大規模言語モデル を現場で動かすときに本当に問われる工程へ紙面を割いている点にあります。版元も、多言語転移やドメイン適応を類書では扱っていない技術として挙げています。

前提知識は機械学習と Python、基準は 2022 年時点のライブラリ

書名どおり読者は機械学習エンジニアで、Python でのデータ処理と深層学習フレームワークの基本操作、そして学習と評価、過学習、損失関数といった機械学習の一般的な概念を理解していることが前提になります。深層学習の最初の一冊としては向きません。コードは Hugging Face Transformers を軸に進み、Keras でのファインチューニングやフレームワーク間の相互運用性はコラムで補われます。注意点として、コード例は 2022 年 8 月の刊行時点のライブラリとモデルを基準にしているため、実行環境によっては API の変更に対する読み替えが必要になります。一方で、トークン化の設計、ファインチューニング の判断、蒸留や量子化のトレードオフの考え方はバージョンに依存しにくく、本書の価値の中心はそこにあります。

類書との使い分けと、この本で元が取れる人

数式の導出を主とする理論書でも、NLP の古典手法から順に積み上げる教科書でもなく、事前学習済み Transformer を前提に「動くものを作り、速くし、データが足りない状況をしのぐ」順序で書かれた実践書です。生成 AI やモデルの仕組みを読み物として知りたい段階なら、LLM 本の選び方 で整理している入門寄りの本から入るほうが無理がありません。本書で元が取れるのは、テキスト分類や固有表現認識、要約のような具体的なタスクを業務で実装する必要があり、精度だけでなく推論速度やモデルサイズ、ラベル付けのコストまで責任を持つ立場の人です。Hugging Face のエコシステムを一度体系的に通しておくと、その後に登場するモデルへの追随は差分の理解で済むようになります。実務の自然言語処理で Transformer を「使える」から「運用できる」へ進めたい機械学習エンジニアにとって、投資に見合う一冊です。