機械学習エンジニアのための Transformers(キカイガクシュウエンジニアノタメノトランスフォーマーズ)

Hugging Face の開発者による解説書!
「 Hugging Face Transformers 」を使った自然言語処理の解説書。 2017 年の登場以来、 Transformer と呼ばれるアーキテクチャを使った大規模なモデルが急速に普及しています。本書では、 Hugging Face の開発者らが、「 Hugging Face Transformers 」を使って、これらの大規模モデルを学習しスケールする方法をわかりやすく紹介します。テキスト分類、固有表現認識、テキスト生成、要約、質問応答といったタスクだけでなく、蒸留、量子化、枝刈り、 ONNX Runtime といったモデルの高速化技術、ラベル付きデータが少ないときに使えるゼロショット学習や少数事例学習、その他、多言語転移やドメイン適応といった類書では扱っていない技術についても解説しています。

Transformer アーキテクチャを「論文で読む」のと「プロダクションで使う」のとでは、必要な知識の層が大きく異なります。本書は Hugging Face のエンジニアである Lewis Tunstall らが執筆した O'Reilly 原著の日本語版で、 Transformer を実務に載せるまでの工程 - テキスト分類、固有表現抽出、質問応答、要約、生成、そしてモデルの圧縮・蒸留・デプロイ - を一冊の中で縦断します。

Hugging Face Transformers ライブラリを主軸に据えているため、コード例がそのまま動く形で示されている点が大きな利点です。 Self-Attention の数式を追うだけでなく、トークナイザの選定からファインチューニング、推論の最適化まで、現場で直面する問題の順序に沿って章が進みます。 PyTorch の基礎と機械学習の一般的な概念を理解している読者を想定しており、深層学習の入門書を終えた次のステップとして位置づけられます。

注意すべきは、 NLP 分野はモデルの世代交代が速く、本書で扱われるモデルやライブラリの API は時間とともに更新される点です。しかし、 Transformer の内部構造の解説や、ファインチューニングの設計判断、モデル選定のフレームワークといった知識は特定のバージョンに依存しないため、基盤として長く活きます。自然言語処理を仕事にするエンジニアにとって、理論と実装の橋渡し役を担う一冊です。