深層学習による自然言語処理(シンソウガクシュウニヨルシゼンゲンゴショリ)

◆自然言語処理の応用 (機械翻訳、文書要約、対話、質問応答) に焦点を当て、深層学習の利用方法を解説。◆「実装上の工夫」など、本書でしか読めない実践的な内容が充実!

◆自然言語処理の応用 (機械翻訳、文書要約、対話、質問応答) に焦点を当て、深層学習の利用方法を解説。
◆「実装上の工夫」など、本書でしか読めない実践的な内容が充実!

■おもな内容
第 1 章 自然言語処理のアプローチ
第 2 章 ニューラルネットの基礎
第 3 章 言語処理における深層学習の基礎
第 4 章 言語処理特有の深層学習の発展
第 5 章 応用
第 6 章 汎化性能を向上させる技術
第 7 章 実装
第 8 章 おわりに

■機械学習プロフェッショナルシリーズ
本シリーズでは、発展著しい機械学習技術の数学的な基礎理論、実用的なアルゴリズム、それらの活用法を、全 29 巻にわたって刊行する。
ビッグデータ時代を牽引している若手・中堅の現役研究者が、入門的な内容から最先端の研究成果までをわかりやすく解説。
これからデータサイエンス分野で研究を始めようとしている大学生・大学院生、および、機械学習技術を基礎科学や産業に応用しようとしている研究者・技術者に向けた注目のシリーズである。

第 7 期として、以下の 3 点を刊行!

統計的因果探索 清水 昌平・著
画像認識 原田 達也・著
深層学習による自然言語処理 坪井 祐太/海野 裕也/鈴木 潤・著

■シリーズ編者
杉山 将 理化学研究所 革新知能統合研究センター センター長/東京大学大学院新領域創成科学研究科 教授
第 1 章 自然言語処理のアプローチ
伝統的な自然言語処理／深層学習への期待／テキストデータの特徴／他分野への広がり
第 2 章 ニューラルネットの基礎
教師あり学習／順伝播型ニューラルネット／活性化関数／勾配法／誤差逆伝播法／再帰ニューラルネット／ゲート付再帰ニューラルネット／木構造再帰ニューラルネット／畳み込みニューラルネット
第 3 章 言語処理における深層学習の基礎
準備:記号の世界とベクトルの世界の橋渡し／言語モデル／分散表現／系列変換モデル
第 4 章 言語処理特有の深層学習の発展
注意機構／記憶ネットワーク／出力層の高速化
第 5 章 応用
機械翻訳／文書要約／対話／質問応答
第 6 章 汎化性能を向上させる技術
汎化誤差の分解／推定誤差低減に効く手法／最適化誤差低減に効く手法／超パラメータ選択
第 7 章 実装
GPU と GPGPU ／ RNN におけるミニバッチ化／無作為抽出／メモリ使用量の削減／誤差逆伝播法の実装
第 8 章 おわりに

自然言語処理 (NLP) に深層学習が本格的に取り入れられて以降、 word2vec 、 RNN 、 Attention といった手法が次々と登場し、何を土台にして学べばよいか分かりにくくなっています。本書は講談社の機械学習プロフェッショナルシリーズの一冊として、深層学習を軸にした NLP の理論的な基盤を体系的に整理することを狙った書籍です。坪井祥太氏ら著者陣は NLP の研究・実務の双方に携わっており、単語の分散表現からシーケンスモデル、構文解析への応用までを数式を伴いながら一貫した流れで解説しています。

対象読者は、機械学習の基礎 (確率・線形代数・勾配降下法) をひととおり学んだうえで NLP の理論に踏み込みたい人です。数式の展開は省略せずに示されているため、数学的な記述に慣れていない段階ではハードルが高く感じられるかもしれません。その分、手を動かすチュートリアル本ではなく「なぜこの構造が機能するのか」を理解するための教科書としての骨格がしっかりしています。

NLP の進歩は速く、本書が刊行された後にも大規模言語モデルの台頭など大きな変化がありますが、分散表現や Attention の基礎原理は依然として有効な知識です。表層的な API の使い方ではなく、モデルの内部で何が起きているかを理論的に把握したい読者に向いています。