異常検知と変化検知

企業所属の著者が、データ解析に携わる人の視点でまとめた。必要な理論を幅広く、体系的に述べる。大規模データから「珍しいパターン」を見出す、あるいは変化の「兆し」を素早くつかむ必要がある人なら必読。するする読めて、ずっと使える 1 冊。現在知られている異常検知・変化検知の手法の大半をカバーした。

企業所属の著者が、データ解析に携わる人の視点でまとめた。必要な理論を幅広く、体系的に述べる。大規模データから「珍しいパターン」を見出す、あるいは変化の「兆し」を素早くつかむ必要がある人なら必読。

【機械学習プロフェッショナルシリーズ】
本シリーズでは、発展著しい機械学習技術の数学的な基礎理論、実用的なアルゴリズム、それらの活用法を、全 29 巻にわたって刊行する。
ビッグデータ時代を牽引している若手・中堅の現役研究者が、入門的な内容から最先端の研究成果までをわかりやすく解説。
これからデータサイエンス分野で研究を始めようとしている大学生・大学院生、および、機械学習技術を基礎科学や産業に応用しようとしている研究者・技術者に向けた注目のシリーズである。

第 2 期として、以下の 4 点を同時刊行!

統計的学習理論 金森 敬文・著
サポートベクトルマシン 竹内 一郎 / 烏山 昌幸・著
確率的最適化 鈴木 大慈・著
異常検知と変化検知 井手 剛 / 杉山 将・著

第 3 期の刊行は 2015 年 12 月、第 4 期の刊行は 2016 年 4 月の予定。

【シリーズ編者】
杉山 将 東京大学大学院新領域創成科学研究科 教授
第 1 章 異常検知・変化検知の基本的な考え方
第 2 章 ホテリングの T2 法による異常検知
第 3 章 単純ベイズ法による異常検知
第 4 章 近傍法による異常検知
第 5 章 混合分布モデルによる逐次更新型異常検知
第 6 章 サポートベクトルデータ記述法による異常検知
第 7 章 方向データの異常検知
第 8 章 ガウス過程回帰による異常検知
第 9 章 部分空間法による変化検知
第 10 章 疎構造学習による異常検知
第 11 章 密度比推定による異常検知
第 12 章 密度比推定による変化検知

『異常検知と変化検知』 (井手 剛、杉山 将 著、講談社、2015 年 8 月 7 日発行) は、機械学習プロフェッショナルシリーズの一冊として、データの中から異常な振る舞いと、状態の変わり目を見つけるための代表的な手法を体系的に解説した本です。版元の紹介文は、事故、故障、不正、流行などの多くのデータから変わり目を知るのに必須の手法を幅広く、かつ体系的に解説すると説明し、企業所属の著者が主となってデータ解析に携わる人の視点でまとめた本だと案内しています。設備の監視や不正の検出、品質管理のようにデータから例外を拾う仕事に就いていて、手法を選ぶ根拠を数理の側から押さえたい人に向く一冊です。

全 12 章の構成、ホテリングの T2 法から密度比推定まで

目次は全 12 章です。第 1 章「異常検知・変化検知の基本的な考え方」で問題の立て方を整理したあと、第 2 章「ホテリングの T2 法による異常検知」、第 3 章「単純ベイズ法による異常検知」、第 4 章「近傍法による異常検知」、第 5 章「混合分布モデルによる逐次更新型異常検知」、第 6 章「サポートベクトルデータ記述法による異常検知」、第 7 章「方向データの異常検知」、第 8 章「ガウス過程回帰による異常検知」と、異常検知の手法が章ごとに並びます。第 9 章「部分空間法による変化検知」で変化検知に移り、第 10 章「疎構造学習による異常検知」を挟んで、第 11 章「密度比推定による異常検知」と第 12 章「密度比推定による変化検知」で締めくくられます。版元は、各章が短く、ほとんどの章が独立して読めると紹介しているため、手元のデータに近い手法の章から読み始める使い方もできます。

異常度をどう定義するか、変化検知との違い

異常検知の難しさは、異常の例がほとんど手に入らない点にあります。故障や不正はまれにしか起きず、起きても毎回形が違うため、異常の例を集めて分類器を学習させる方法は成り立ちにくくなります。そこで多くの手法は、正常時のデータだけから正常のモデルを作り、そこからどれだけ外れているかを異常度という数値で表し、しきい値を超えたものを警告として扱います。多変量の正規分布を仮定するホテリングの T2 法は、この考え方をもっとも素直に形にした方法で、分布の仮定を置きにくいデータには近傍法のように手元の点どうしの距離で異常度を測る方法が使われます。どの手法でも、異常度の分布からしきい値を決め、見逃しと誤報の釣り合いを取る作業が実務の中心になります。

変化検知は、1 点ずつの外れ方ではなく、データを生み出している仕組みそのものが変わったかどうかを問う問題です。IoT の機器から届くセンサーの時系列のように、個々の値は正常の範囲に収まっていても、ある時点から分布の形が少しずつずれていく場合があります。この種の変化は、過去の区間と直近の区間のデータを比べることで初めて見えてきます。比べ方の一つが確率密度の比を使う方法で、2 つの区間の密度をそれぞれ推定してから割るのではなく、比そのものを直接推定することで、高次元のデータでも推定の誤差が膨らみにくくなるという利点があります。目次の最後の 2 章が、この密度比推定を異常検知と変化検知の両方に当てています。

確率統計と線形代数の前提、実装寄りの本との使い分け

各章の手法は確率分布と統計量の言葉で書かれるため、多変量正規分布、最尤推定、行列の固有値分解といった基礎を道具として使えることが前提になります。そこに不安がある場合は、機械学習に必要な数学を学ぶ本 で範囲を絞って準備しておくと、章ごとの導出を追いやすくなります。版元の公式ページには内容見本と、正誤表のあるサポートページが用意されています。

ライブラリを呼び出して異常検知の仕組みをすぐに動かしたい段階なら、実装から入る機械学習の技術書 を先に選ぶほうが目的に合います。本書の持ち味は、手法ごとに何を正常とみなし、何を異常度として測っているのかを、短い章で一つずつ確かめられる点にあります。どの手法を自分のデータに当てるべきか迷っている人や、導入済みの検知の仕組みが誤報や見逃しを繰り返す理由を説明できるようになりたい人にとって、手元に置いて章単位で引き直せる一冊です。