ゼロから作る Deep Learning 2(ゼロカラツクルディープラーニングツー)

大ベストセラーの続編。さらに作る、さらに深く Deep Learning に迫る!
コンピュータの専門書としては異例の大ヒットを記録した『ゼロから作る Deep Learning 』の続編。第二弾の本書では、自然言語処理や時系列データ処理に焦点を当て、ディープラーニングを使ってさまざまな問題に挑みます。 word2vec や RNN (リカレントニューラルネットワーク) 、 LSTM や GRU 、 seq2seq や Attention ……ディープラーニングを支えるこれら最先端の技術を実装レベルでマスターできます。前作同様、平坦な言葉で分かりやすくをモットーに、高度に見える技術の裏側をじっくり説明し、実際に作ることで理解を深めます。最後までコンセプトは変わらない。ゼロから作る!

シリーズ 1 巻がニューラルネットワークの「骨格」を組む本だとすれば、本書は言葉という非構造データにその骨格をどう適用するかを手で確かめる本です。扱うテーマは word2vec による単語の分散表現、 RNN と LSTM による系列モデリング、そして Attention 機構へと段階的に進みます。いずれもフレームワークを使わず Python と NumPy だけで実装するため、「なぜ単語を数百次元のベクトルに写すと意味の演算ができるのか」「なぜ勾配が消えるのか」という問いに、数式の暗記ではなくコードの動作で答えが得られます。

1 巻で画像分類を題材に逆伝播やミニバッチを体験した人が、次に「テキストを扱いたい」と思ったときに自然につながる構成です。ただし RNN 以降はネットワークの時間展開が絡むため、 1 巻より実装の複雑度は一段上がります。写経だけで飛ばさず、各ステップの次元変化をノートに描きながら進めると理解が安定します。

本書を通過しておくと、後に Transformer ベースのモデルを学ぶとき「 Attention とは何をしているか」の直感がすでに手元にある状態で入れます。自然言語処理の原理を「動かして理解する」最初の足がかりとして、長く参照できる一冊です。