大規模言語モデル入門

ChatGPT に代表される大規模言語モデルが自然言語処理の幅広いタスクで高い性能を獲得し、大きな話題となっています。大規模言語モデルは、大規模なテキストデータで訓練された大規模なパラメータで構成されるニューラルネットワークです。 2020 年以降、自然言語処理や機械学習の知見をもとに、パラメータ数とテキストデータの拡大により、性能が飛躍的に向上しました。 Hugging Face 社の"transformers"という Python ライブラリを利用することで、プログラミングの経験があれば、モデルの操作やデータからの学習がかんたんにできます。モデルを訓練するための日本語もしくは日本語を含む多言語のデータセットも充実してきており、すぐに業務に使える実用的なモデルを作ることが可能な時代がやってきました。 本書は、大規模言語モデルの理論と実装の両方を解説した入門書です。大規模言語モデルの技術や自然言語処理の課題について理解し、実際の問題に対処できるようになることを目指しています。以下のような構成によって、理論とプログラミングの双方の側面から、大規模言語モデルに関する情報を提供します。 第 1 章 はじめに 第 2 章 Transformer 第 3 章 大規模言語モデルの基礎 第 4 章 大規模言語モデルの進展 第 5 章 大規模言語モデルのファインチューニング 第 6 章 固有表現認識 第 7 章 要約生成 第 8 章 文埋め込み 第 9 章 質問応答システム