BERT による自然言語処理入門

自然言語処理の標準モデル、BERT を使いこなせるようになる!
BERT は Google が 2018 年末に発表した自然言語処理モデルです。「文脈」を考慮した処理が特徴的であり、言語理解を評価する 11 個のタスクについて最高精度を達成し、今や標準的なモデルとしての地位を確立しています。

本書は、自然言語処理の近年における発展に大きな役割を果たし、かつ応用上も有用である BERT の入門書です。前半で自然言語処理や機械学習について概説したのち、BERT によって実際にさまざまなタスクを解いていきます。具体的には、文章分類・固有表現抽出・文章校正・類似文章検索・データの可視化を扱います。データセットの処理から、ファインチューニング (BERT を特定の言語タスクに特化させるための学習)、性能の評価までの一連の流れを体験することで、BERT を自分で使えるようになることを目標とします。

なお、BERT で処理を行うためのライブラリとして、深層学習の言語モデルを扱ううえでよく使用される Transformers を、学習や性能評価を効率的に行うためのライブラリとして PyTorch Lightning を用います。本書では Transformers や PyTorch Lightning を用いたことがない読者を想定して、その使い方を一から体系的かつ丁寧に解説します。

▼本書の環境
言語: Python
深層学習フレームワーク: PyTorch
ライブラリ: Transformers, PyTorch Lightning
計算環境: Google Colaboratory

▼本書の特徴
・BERT で実際にさまざまなタスクを解くことができます。
・使用するデータセットを日本語で統一しています。
・ライブラリの使い方を一から体系的に説明します。

正式な書名は『BERT による自然言語処理入門 Transformers を使った実践プログラミング』。ストックマーク株式会社の編、近江崇宏 / 金田健太郎 / 森長誠 / 江間見亜利の 4 名の著により、2021 年 6 月にオーム社から刊行されました。主題の BERT は Google が 2018 年に発表した言語モデルで、本書は「事前学習済みモデルを自分のタスクへファインチューニングして使う」という自然言語処理の定石を、日本語テキストを相手に 手を動かしながら学べる 入門書です。

構成と道具立て: 概説から 5 つのタスク実装へ

構成は、前半で自然言語処理と機械学習の基礎を概説したうえで、後半で文章分類 / 固有表現抽出 / 文章校正 / 類似文章検索 / データの可視化という具体的なタスクを順に解いていく流れです。各タスクでデータセットの処理からファインチューニング、性能評価までを一連の流れとして体験させる設計になっています。道具立ては Hugging Face の Transformers と、学習ループを整理する PyTorch Lightning。計算環境には Google Colaboratory を使うため、GPU を持たない読者でも試せます。版元は両ライブラリを使ったことがない読者を想定して使い方を一から解説するとうたっており、環境構築でつまずきがちな人にも間口が開かれています。

読む前の前提: ライブラリのバージョン注意

読む前に押さえておきたいのは時点の前提です。2021 年刊のため、掲載コードは刊行時点の Transformers / PyTorch Lightning のバージョンと API を前提にしています。この領域はライブラリの更新が速いので、コードを動かす際 は手元のバージョンと各ライブラリの公式ドキュメントを突き合わせる読み方が前提になります。

理論書ではなく実践書: 向いている読者

Attention 機構を数式から導出する理論書ではなく、BERT を道具として使えるようにすることに主眼を置いた実践書なので、理論の深掘りには別の本 が向きます。その割り切りを理解したうえでなら、日本語の文章分類や固有表現抽出を自分のデータで動かすところまで導いてくれる、実装の足場づくりに頼れる 1 冊です。