ゼロから作る Deep Learning 2

大ベストセラーの続編。さらに作る、さらに深く Deep Learning に迫る!
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作る Deep Learning』の続編。第二弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。word2vec や RNN (リカレントニューラルネットワーク)、LSTM や GRU、seq2seq や Attention……ディープラーニングを支えるこれら最先端の技術を実装レベルでマスターできます。前作同様、平坦な言葉で分かりやすくをモットーに、高度に見える技術の裏側をじっくり説明し、実際に作ることで理解を深めます。最後までコンセプトは変わらない。ゼロから作る!

『ゼロから作る Deep Learning ❷ 自然言語処理編』は、大ヒットした前作の続編として斎藤康毅氏がオライリー・ジャパンから 2018 年 7 月に刊行した一冊で、テーマを画像から言葉と時系列データへ移します。word2vec / RNN / LSTM / GRU / seq2seq / Attention という自然言語処理の中核技術を、前作と同じく既存フレームワークに頼らず Python と NumPy だけで実装していく方針は変わりません。432 ページと前作より一回り厚く、シリーズの中では「無印の次」に位置する第 2 巻です。

章構成の前半 word2vec までの道のり

自然言語処理の出発点にあるのは、「言葉をどうやって数値にするか」という問題です。画像は最初からピクセル値の並びですが、単語はそのままでは計算できません。本書はこの問題への人類の回答を歴史の順になぞる構成を取っており、人手で類語辞書を作るシソーラス (WordNet)、周辺に現れる単語を数えるカウントベースの手法 (共起行列と SVD による次元削減)、そしてニューラルネットワークで文脈から単語を予測させる推論ベースの手法 (word2vec) へと進みます。「単語の意味は周囲の単語が決める」という分布仮説がすべての土台にあることを、コードで確かめながら理解できるのがこの構成の効能です。word2vec の章では CBOW と skip-gram の両モデルを実装し、Embedding レイヤや Negative Sampling による高速化まで踏み込みます。

後半の読みどころ RNN から Attention まで

後半は時系列へ進みます。RNN を言語モデルとして定式化し、時間方向に展開したネットワークを逆伝播する BPTT、勾配消失に対する LSTM のゲート機構、そして文から文を生成する seq2seq と、それを強化する Attention 機構までを実装します。6 章と 7 章には版元サイトで学習済みの重みファイルが配布されており、手元の計算資源が貧弱でも動作確認から入れる配慮があります。

難易度と前提知識

前提としては無印 (第 1 巻) の内容、つまり誤差逆伝播法とミニバッチ学習を理解していることが想定されていますが、1 章がまるごとニューラルネットワークの復習にあてられているため、無印の記憶が薄れていても橋渡しが効きます。難易度は無印より一段上がります。RNN 以降はネットワークが時間方向に展開されるため追うべき次元が増え、写経だけで流すと確実に迷子になります。各レイヤの入出力の形状を紙に描きながら進める読み方が合っています。

大規模言語モデル時代に読む意義と読む順番

2018 年刊行のため、Transformer や BERT、そして 大規模言語モデル そのものは本書の範囲外です。しかしこの本の価値は 2026 年 8 月時点でもほとんど落ちていません。理由は 2 つあります。第 1 に、本書が終着点に置く Attention はまさに Transformer の心臓部であり、「Attention が何を計算しているか」を実装で知っていることが、その後の LLM 理解の最短経路になるからです。第 2 に、単語や文をベクトルにするという本書の主題 (分散表現) は、検索や RAG と呼ばれる検索拡張生成の基盤技術として現役だからです。シリーズの 読む順番 としては無印の直後が定石で、生成モデルに関心があればこの後 ❺ 生成モデル編 (2024 年) へ、フレームワークの内部構造に関心があれば ❸ フレームワーク編 (2020 年) へ進む分岐点になります。

LLM の API を今日から業務で呼びたいだけの人や、Hugging Face のライブラリで済む定型タスクだけが目的の人には、本書は遠回りです。逆に、埋め込みモデル の選定やファインチューニングの判断を「中で何が起きているか」から下せるようになりたいエンジニア、機械学習の面接や設計議論で word2vec から Attention までの系譜を自分の言葉で説明できるようになりたい人には、432 ページを費やす価値がはっきりある本です。無印を面白いと感じた人なら、続編として安心して手に取れます。