ゼロから作る Deep Learning 3(ゼロカラツクルディープラーニングスリー)

超人気シリーズの第 3 弾ー令和の時代の新ドラゴンブック!
大ヒットを続ける超人気シリーズの第 3 弾。今回は「 DeZero 」というディープラーニングのフレームワークをゼロから作ります。 DeZero は本書オリジナルのフレームワークです。最小限のコードで、フレームワークのモダンな機能を実現します。本書では、この小さなーそれでいて十分にパワフルなーフレームワークを、全部で 60 ★のステップで完成させます。それによって、 PyTorch 、 TensorFlow 、 Chainer などの現代のフレームワークに通じる知識を深めます。キャッチフレーズはー作るからこそ、見えるモノ。

1 巻でニューラルネットワークの原理を、 2 巻で自然言語処理への応用を手作りしたシリーズの 3 巻は、視点をさらに一段引き上げます。本書のテーマは「深層学習フレームワークそのものを設計・実装すること」です。 Define-by-Run 方式の自動微分エンジンを DeZero と名づけ、変数・関数・計算グラフ・逆伝播のメカニズムをゼロから組み上げていきます。読者は最終的に、自分の手で作った小さなフレームワーク上でモデルを訓練できる状態に到達します。

対象となるのは、 PyTorch や TensorFlow を使っていて「`.backward () ` の裏で何が起きているのか」を正確に知りたい人です。 1 巻・ 2 巻はモデルのレイヤーの中身を追う本でしたが、本書はレイヤーの外側、つまり計算グラフの構築と勾配の伝搬という「フレームワークの仕事」を解体します。そのため、 1 巻の内容が前提にはなりますが、関心の軸は明確に異なります。

得られるのは「道具の設計思想を理解した上で道具を使う」という感覚です。自動微分やメモリ管理の仕組みを一度手で組んだ経験は、フレームワークのエラーメッセージを読み解く力や、カスタムオペレーションを書く際の判断力として長く残ります。