スパース回帰分析とパターン認識(スパースカイキブンセキトパターンニンシキ)

R も数理もていねいに!

データ解析の標準的ツールとなったスパース回帰分析、判別分析、深層学習、サポートベクターマシン、ランダムフォレストなどを R コードとともに解説。深層学習は R のパッケージ keras で実装。具体例も豊富で実用性も高い! また、選ばれたモデルへの理解などの発展的な内容まで踏み込んだ。

【主な内容】
1 章 回帰モデルとスパース推定
2 章 統計手法によるパターン認識
3 章 深層学習
4 章 機械学習によるパターン認識

【「巻頭言」より抜粋】
文部科学省は「数理及びデータサイエンスに係る教育強化拠点」 6 大学 (北海道大学、東京大学、滋賀大学、京都大学、大阪大学、九州大学) を選定し、拠点校は「数理・データサイエンス教育強化拠点コンソーシアム」を設立して、全国の大学に向けたデータサイエンス教育の指針や教育コンテンツの作成をおこなっています。
本シリーズは、コンソーシアムのカリキュラム分科会が作成したデータサイエンスに関するスキルセットに準拠した標準的な教科書シリーズを目指して編集されました。またコンソーシアムの教材分科会委員の先生方には各巻の原稿を読んでいただき、貴重なコメントをいただきました。
データサイエンスは、従来からの統計学とデータサイエンスに必要な情報学の二つの分野を基礎としますが、データサイエンスの教育のためには、データという共通点からこれらの二つの分野を融合的に扱うことが必要です。この点で本シリーズは、これまでの統計学やコンピュータ科学の個々の教科書とは性格を異にしており、ビッグデータの時代にふさわしい内容を提供します。本シリーズが全国の大学で活用されることを期待いたします。
ーー編集委員長 竹村彰通 (滋賀大学データサイエンス学部学部長、教授)

【推薦の言葉】
データサイエンスの教育の場や実践の場で利用されることを強く意識して、動機付け、題材選び、説明の仕方、例題選びが工夫されており、従来の教科書とは異なりデータサイエンス向けの入門書となっている。
ーー北川源四郎 (東京大学特任教授、元統計数理研究所所長)

国を挙げて先端 IT 人材の育成を迅速に進める必要があり、本シリーズはまさにこの目的に合致しています。本シリーズが、初学者にとって信頼できる案内人となることを期待します。
ーー杉山将 (理化学研究所革新知能統合研究センターセンター長、東京大学教授)
1 章 回帰モデルとスパース推定
1.1 回帰モデルと正則化法
1.2 ラッソとその性質
1.3 高次元データに対するラッソ推定量の非漸近的性質
1.4 ラッソ型の正則化法
1.5 モデル選択
1.6 補足

2 章 統計手法によるパターン認識
2.1 判別分析の実例
2.2 ベイズ判別法と誤判別確率
2.3 2 群の場合の多次元正規分布によるベイズ判別ルール
2.4 多群の場合のベイズ判別法
2.5 ロジスティック判別
2.6 その他の判別方法

3 章 深層学習
3.1 深層ニューラルネットワーク
3.2 効率よくパラメータを推定するためのテクニック
3.3 畳み込みニューラルネットワーク
3.4 生成モデル

4 章 機械学習によるパターン認識
4.1 サポートベクターマシン
4.2 ランダムフォレスト
4.3 アダブースト

高次元データの中から本当に効いている変数を選び出すスパース回帰と、判別分析から 深層学習 に至るパターン認識の手法群を、R のコードで動かしながら数理とともに学ぶ教科書です。『スパース回帰分析とパターン認識』は梅津佑太・西井龍映・上田勇祐の 3 氏による共著で、講談社の「データサイエンス入門シリーズ」の一冊として 2020 年 2 月に刊行されました。同シリーズは、数理・データサイエンス教育強化拠点コンソーシアムが作成したデータサイエンスのスキルセットに準拠する標準的な教科書を目指して編集されたもので、版元が「 R も数理もていねいに」と紹介するとおり、理論の式変形と実装コードのどちらか一方に寄り掛からない書き方が本書の性格を決めています。

全 4 章の構成、スパース推定からパターン認識まで

章立ては、第 1 章「回帰モデルとスパース推定」、第 2 章「統計手法によるパターン認識」、第 3 章「深層学習」、第 4 章「機械学習によるパターン認識」の全 4 章です。版元の紹介文によれば、データ解析の標準的ツールとなったスパース回帰分析、判別分析、深層学習、サポートベクターマシン、ランダムフォレストなどを R コードとともに解説し、深層学習は R のパッケージ keras で実装します。具体例が豊富であること、選ばれたモデルへの理解といった発展的な内容まで踏み込んでいることも版元が明記しており、手法をカタログ的に並べて終わる本ではありません。

なぜスパース推定が高次元データ解析の主役になったのか

説明変数の数が観測数に迫る、あるいは上回る高次元データでは、古典的な最小二乗法は解が不安定になり、すべての変数を使ったモデルは過学習と解釈のしにくさを抱え込みます。 LASSO に代表されるスパース推定は、 L1 正則化によって回帰係数の一部を正確にゼロへ縮め、予測モデルの推定と変数選択を同時に実現する枠組みです。どの変数が効いているかがモデルの形そのものに表れるため、ゲノム解析やテキスト分析のように変数が数千から数万に及ぶ分野で標準的な道具になりました。一方のパターン認識は、データからクラスの境界を学ぶ問題で、判別分析のような統計学由来の手法と、ランダムフォレストやニューラルネットワークのような機械学習由来の手法が同じ土俵で比較されます。回帰と分類の両輪を 1 冊で扱う本書の構成は、この 2 つの系譜を行き来しながら手法の選択眼を養える点で理にかなっています。

R で数式を動かして確かめる学び方

R は統計解析に特化した言語で、統計学の研究成果がパッケージとして提供され続けてきた歴史を持ち、統計的機械学習の教育と研究では事実上の共通語のひとつです。数式として理解した推定手順をその場でコードとして実行し、結果を可視化して確かめる往復は、スパース推定のような数理色の濃い分野で理解を定着させる王道の学び方です。本書は深層学習の実装にも R の keras パッケージを使うため、環境を R に統一したまま、古典的な統計手法からニューラルネットワークまでを一気通貫で試せます。裏を返せば、実装を Python で完結させたい読者はコードの読み替えが必要になる点を織り込んでおくべきです。

統計学の前提知識と、向く読者・向かない読者

スパース推定の理論は回帰分析と行列演算の言葉で書かれるため、大学初年級の線形代数と確率・統計の基礎があると読み進めやすくなります。データサイエンスを体系的に学ぶ学部生・大学院生や、 R で統計的機械学習を業務に取り入れたい分析担当者には、標準カリキュラム準拠のシリーズという素性のよさがそのまま利点になります。読み通せば、スパース回帰で変数選択と予測を両立させる分析や、判別分析からランダムフォレストまでの分類手法の使い分けを、根拠を示しながら R で実行できるようになることが本書の見返りです。数式を追わずにライブラリの呼び出し方だけ知りたい人や、 Python 環境で完結したい人には別の本が向きますが、モデルを選んだ理由を数理と実装の両面から自分の言葉で説明できるようになりたい人にとっては、コンソーシアム準拠の教科書という位置づけに違わない手堅い一冊です。