Transformer による自然言語処理

機械翻訳, 音声テキスト変換といった技術の基となる自然言語処理。その最有力手法である深層学習モデル Transformer の利用について基礎から応用までを詳説。〔内容〕アーキテクチャの紹介 / 事前訓練 / 機械翻訳 / ニュースの分析。

機械翻訳や要約、テキスト生成を支える深層学習モデル Transformer を、仕組みの説明と Python のコードの両方から学ぶための本です。『Transformer による自然言語処理』 (Denis Rothman 著、黒川 利明 訳、朝倉書店、2022 年 4 月刊) は原書 Transformers for Natural Language Processing の日本語版で、版元は「機械翻訳, 音声テキスト変換といった技術の基となる自然言語処理。その最有力手法である深層学習モデル Transformer の利用について基礎から応用までを詳説」と紹介しています。編集部の案内によれば、Transformer の仕組みや理論に加えて、テキスト生成や要約、ニュース分析など 自然言語処理 のさまざまなタスクへの利用法を、コード付きで解説する実践的な一冊です。

全 3 部 12 章、アーキテクチャの紹介から応用の設計まで

目次は 3 部に分かれています。第 I 部「transformer アーキテクチャの紹介」は 1 章のモデルアーキテクチャ入門、2 章「BERT モデルの調整」、3 章「RoBERTa モデルのゼロからの事前訓練」の 3 章で、3 章ではトークナイザを訓練し、KantaiBERT と名付けたモデルをいちから作る流れが目次に見えます。第 II 部「自然言語理解とテキスト生成に transformer を適用する」は 4 章から 9 章で、下流タスクの実行、WMT データセットと BLEU による機械翻訳の評価、OpenAI の GPT-2 と GPT-3 によるテキスト生成、T5 による法律や企業文書の要約、トークナイザとデータセットの相性、BERT 系モデルによる意味役割付与を順に扱います。第 III 部「デザインソリューションの開発」は 10 章から 12 章で、質問応答、顧客の感情の検出、フェイクニュースの分析と、課題の側から組み立てる章が並びます。前半でモデルを作り、中盤でタスクごとに使い分け、後半で課題に当てはめる、という順に読める並びです。

事前訓練と調整を手元で確かめる意味

Transformer は、文中のどの語がどの語に注目すべきかを注意機構で計算し、再帰型のネットワークのように語を 1 つずつ順に処理しなくても文脈を捉えられるようにした構造です。この構造の上で、大量のテキストで汎用的な言語の知識を先に学ばせる事前訓練と、個別のタスクに合わせて重みを追加で学習させる ファインチューニング を分けて考える方法が広まりました。本書の第 I 部は、事前訓練済みの BERT を調整する 2 章と、RoBERTa を自分で事前訓練する 3 章を並べているので、既製のモデルを使う場合と最初から作る場合の違いを続けて確かめられる構成と読めます。8 章でトークナイザとデータセットの相性を独立した章として取り上げているのも、語の切り方がモデルの出来を左右するという実務上の論点を押さえる意味があります。

2022 年刊の時点と、前提になる知識

本書が扱うテキスト生成のモデルは、目次の上では GPT-2 と GPT-3 です。対話型の大規模言語モデルをアプリケーションに組み込む手順を学ぶ本ではなく、その手前にある Transformer の構造と、タスクごとの使い分けを押さえる本として位置づけると選び方を誤りません。コードを伴う本なので、刊行後にライブラリの版が変わり、手元で動かす際に書き換えが必要になる場面はあり得ます。版元の紹介は対象読者を明記していませんが、コード付きで理論から応用までを扱う構成から見ると、Python のコードを読めることと、深層学習の基本的な用語に一度触れていることが前提になると考えられます。

大規模言語モデルを使う側に回る前に、その土台にある Transformer がどのように訓練され、翻訳や要約、感情分析といった個別の課題にどう当てはめられるのかを、コードを追いながら一通り経験しておきたい人に向く一冊です。BERT 系と GPT 系の違いを、名前ではなく作り方と使い方の違いとして説明できるようになりたい人は、第 I 部から順に手を動かしてみてください。