ディープラーニングを支える技術 --「正解」を導くメカニズム［技術基礎］(ディープラーニングヲササエルギジュツセイカイヲミチビクメカニズムギジュツキソ)

初学者の方々に向けた、ディープラーニングの技術解説書。
2012 年に一般画像分類コンテスト (ILSVRC) で衝撃的な性能を達成した AlexNet の登場以来、急速な進化を遂げているディープラーニング。現在の人工知能/AI の発展の中核を担っており、スマートフォンから IoT 、クラウドに至るまで幅広い領域で、画像、音声、言語処理をはじめとした多くの対象分野に浸透し、目覚ましい進展をもたらしています。一方、その成長の過程は決して一筋縄ではなく、無数の試行錯誤がありました。
本書では、ディープラーニングの「今」に焦点を当て、「基本機能」を中核に技術面から可能な限り正確にまとめ、どのようなしくみで動いているのか、どのような問題に使えるのか、何が難しいのかまで平易に解説。
多くの問題を一つのアプローチ、アルゴリズムで解ける驚異的な技術。ディープラーニングが一段とパワーアップしていく将来につながる、長く役立つ原理、原則、考え方を平易に紐解く 1 冊です。

ディープラーニング の「使い方」を教える本は数え切れないほどありますが、「なぜこの技術はこれほど成功しているのか」を技術の中身から正確に描く本は多くありません。『ディープラーニングを支える技術 「正解」を導くメカニズム［技術基礎］』 (技術評論社、 2022 年 1 月刊、 A5 判 304 ページ) は、その問いを正面から引き受けた解説書です。著者の岡野原大輔氏は、 2006 年に Preferred Infrastructure を共同創業し、 2014 年に深層学習で知られる Preferred Networks を立ち上げた研究者・経営者 (情報理工学博士) 。日本の深層学習研究開発の最前線を走り続けてきた当事者が、 2012 年の画像認識コンテスト ILSVRC で AlexNet が衝撃的な性能を出して以来の発展を、腰を据えて言葉にした一冊です。

全 5 章の構成と心臓部の表現学習

構成は 5 章です。第 1 章でディープラーニングがなぜ成功しているのかという問題設定と人工知能の中での位置づけを描き、第 2 章で「コンピュータが学習するとはどういうことか」を機械学習の入門としてほどきます。第 3 章が本書の心臓部で、データ変換の「層」を組み合わせて表現学習を実現するという、深層学習の基本メカニズムを説明します。第 4 章は学習と予測を実用水準に引き上げた発展要素、すなわち正規化層・スキップ接続・注意機構を扱い、第 5 章で画像認識・音声認識・自然言語処理という大きな成果を挙げた応用領域を見ていきます。数式は使いますが、ねらいは導出の網羅ではなく「どういうしくみで動き、どんな問題に使え、何が難しいのか」の見通しを正確に与えることに置かれています。

長く効く理由は部品の原理を扱うから

この本が長く効くのは、扱っているのが流行のモデル名ではなく、モデルを支える部品の原理だからです。たとえば第 4 章の注意機構は、その後の 大規模言語モデル の土台となった Transformer の中核部品であり、スキップ接続や正規化層は今日のほぼすべての大型モデルに入っています。個別のフレームワークの API はバージョンごとに変わりますが、「なぜ深い層が学習できるようになったのか」という水準の理解は陳腐化しません。ライブラリを呼べばモデルは動く時代だからこそ、不調のときに原理へ降りて考えられるかどうかが、使う側と分かって使う側の分かれ目になります。

読む順番と続巻〈 2 〉との使い分け

読む順番の設計もしやすい本です。実装から入りたい人は『ゼロから作る Deep Learning 』のような 写経型の本 で手を動かしてから本書で見取り図を得るのが消化しやすく、逆に本書で全体像をつかんでから実装に降りる読み方も成立します。そして「なぜ学習できるのか」「なぜ未知のデータにうまく汎化するのか」という一段深い謎、さらに深層生成モデルや深層強化学習に進みたくなったら、それらは本書ではなく続巻の『ディープラーニングを支える技術〈 2 〉』 (2022 年 4 月刊) の守備範囲です。 2 冊で「基礎と発展」を分担する設計なので、生成モデルや強化学習を目当てにするなら〈 2 〉を選んでください。

前提知識と向いている読者

前提は、高校数学に加えて線形代数と確率の初歩に抵抗がないことです。コードは主役ではないため、写経して動かす体験を求める人には物足りず、逆に論文レベルの厳密な証明を求める研究者には入門的に映ります。ちょうど真ん中、つまり「ツールとしては使えるが、原理を人に説明できない」ことに引っかかりを覚え始めたエンジニアや学生にとって、トップランナーの整理で土台を作れる本書は、価格に対して回収の大きい投資です。