統計的パターン認識と判別分析

『統計的パターン認識と判別分析』 (栗田 多喜夫、日高 章理 著、コロナ社、2019 年 1 月刊) は、機械学習の基本的なタスクである回帰と識別について、データの背後の確率的な関係が分かっている場合の最適な関数を導き、各手法がその関数をどう近似しているかという観点から整理した教科書です。コロナ社の「シリーズ 情報科学における確率モデル」の第 1 巻で、版元は読者対象を「機械学習, パターン認識, ニューラルネットなどに興味を持っている学生, 研究者」と案内しています。

全 8 章の構成、ベイズ決定理論から判別カーネルまで

目次は全 8 章と付録です。第 1 章「パターン認識とベイズ決定理論」と第 2 章「最適な回帰と識別」で、確率的な関係が完全に分かっている場合の最適な回帰関数と識別関数を変分法で導きます。第 3 章「確率分布の推定」は最尤法、K 近傍法、混合分布モデルと EM アルゴリズムを扱い、第 4 章「予測のための線形モデル」は線形回帰分析から多項式回帰、リッジ回帰、L1 正則化回帰までを取り上げます。第 5 章「識別のための線形モデル」は単純パーセプトロン、ADALINE、ロジスティック回帰、サポートベクトルマシン、多クラスの線形識別、多層パーセプトロンと畳込みニューラルネットワークを順に扱います。第 6 章「主成分分析と判別分析」、第 7 章「カーネル法」に続き、第 8 章が「最適非線形判別分析と判別カーネル」で、付録には線形代数、ベクトルと行列の微分と最適化、確率統計の基礎がまとめられています。第 1 章のベイズ識別と、第 5 章の単純パーセプトロン、ADALINE、ロジスティック回帰、サポートベクトルマシン、多クラス識別には、Fisher のアヤメのデータによる識別の節があります。

条件付き期待値と事後確率から回帰と識別を読み解く

パターン認識は、観測した特徴ベクトルから対象がどのクラスに属するかを推定する処理です。観測値とクラスの確率的な関係が完全に分かっていれば、事後確率が最大のクラスを選ぶベイズ識別が識別誤りを最小にすることが知られています。実際の 機械学習 では分布は分からないので、訓練データから分布を推定して使うか、分布を経由せずに入力から出力への関数を直接求めるかのどちらかをとります。版元の各章の説明によれば、前者が第 3 章、後者が第 4 章と第 5 章の主題です。平均二乗誤差を最小にする回帰関数は目的変数の条件付き期待値になり、識別のための最適な関数は事後確率を要素とするベクトルを出力する関数になる、というのがまえがきで示される本書の出発点で、線形回帰やロジスティック回帰などはこれらの最適な関数を有限個の訓練サンプルから近似したものとして説明されます。パーセプトロンのような線形識別関数を層状に結合すると、ニューラルネットワーク の基本形である多層のモデルになります。

判別分析についても同じ枠組みで、判別基準を最大にする最適な判別写像を導き、線形判別分析を事後確率の線形近似として位置づけます。まえがきによれば、これらの結果の多くは 1980 年代に大津展之が導出したもので、本書はその導出も含めて整理して紹介しています。第 7 章はカーネル回帰、カーネルサポートベクトルマシン、カーネル主成分分析、カーネル判別分析を扱い、第 8 章は最適な非線形判別写像と線形判別分析の関係を論じたうえで、最適なカーネル関数として判別カーネルを導きます。

変分法と行列の微分を使う式展開と付録

版元の書籍ページの著者からのメッセージでは、従来の類書では詳しく書かれていないであろう式展開も多く盛り込んだと述べ、道具立てとして「変分法」と「ベイズ事後確率の線形近似」を挙げています。変分法は関数そのものを変数とみなし、関数を入力にとる量 (汎関数) を最小にする関数を求める方法で、第 1 章と第 2 章の最適な関数の導出に使われます。最尤推定や正則化回帰、サポートベクトルマシンの学習は、一般にベクトルと行列の微分を用いた最適化として定式化されます。付録の 3 節はこの線形代数、微分と最適化、確率統計の基礎事項をまとめたものです。パターン認識や機械学習の数学の本の選び方は 機械学習に必要な数学の本ガイド にまとめています。

版元の書籍ページの著者紹介 (2026 年 10 月時点) によれば、栗田 多喜夫は「広島大教授」、日高 章理は「東京電機大准教授」で、ともに博士 (工学) です。本書は、ベイズ決定理論と最適な回帰関数 / 識別関数の導出から、確率分布の推定、予測と識別の線形モデル、主成分分析と判別分析、カーネル法、判別カーネルまでを全 8 章と付録に収めています。