スモールデータ解析と機械学習(スモールデータカイセキトキカイガクシュウ)

スモールなデータの解析手法・ノウハウが身につく!
人工知能によるビッグデータ解析が近年、広く注目されています。しかし、製造メーカなどのほとんどの一般企業においてはデータ量が少なかったり偏っていたりする、スモールデータがデータの中心です。本書はそのようなスモールデータの解析手法を解説するものです。
Web データや気象データに代表されるようなビッグデータが注目される一方で、機械の故障データのように発生自体がまれであったり、臨床データのように倫理的な問題からデータ収集が困難、あるいはラベリングが専門家以外困難で教師データが集まらなかったりするスモールなデータ、すなわちスモールデータが存在します。
これらのデータは測定されている変数の数に比べて統計モデリングに必要なデータが不足していたり、正負双方のサンプルが必要となる分析において、その取得が困難といったような問題があり、そのままビッグデータの考え方を適用するのは適当ではありません。
本書は、はじめにスモールデータとは何かから、データの作り方となる次元削減と回帰分析の手法、つづいてスパースなデータのモデリング、クラスタリング、不均衡なデータの解析手法、異常検出を述べていきます。そして最後にスモールデータの解析においてのポイント・考え方を述べて、読者がスモールデータを有効に解析できるようになるようまとめました。
第 1 章 スモールデータとは
第 2 章 相関関係と主成分分析
第 3 章 回帰分析と部分的最小二乗法
第 4 章 線形回帰モデルにおける入力変数選択
第 5 章 分類問題と不均衡データ問題
第 6 章 異常検知問題
第 7 章 データ収集や解析の心構え

機械学習の教科書の多くは、十分な量のデータが手に入る前提で書かれています。しかし製造業の不良品データ、医療の症例データ、研究室の実験データなど、サンプルが数十〜数百件しか得られない現場は珍しくありません。本書は藤原幸一氏が、そうした少量データ (スモールデータ) に対して機械学習をどう適用するかという実践的な問いに正面から取り組んだ一冊です。

過学習の回避、データ拡張、転移学習、ベイズ的アプローチなど、データが少ない状況でモデルの汎化性能を確保するための技法が体系的に整理されています。大量データ前提の手法をそのまま適用して失敗する典型的な落とし穴と、その回避策が具体例を交えて示されます。

対象読者はデータサイエンティストや研究者のうち、ビッグデータの恩恵を受けにくい領域で分析に取り組んでいる人です。統計学と機械学習の基礎知識を前提としますが、数式の展開よりも「どの場面でどの手法を選ぶか」の判断に重きを置いた構成です。少量データに固有の課題を扱う日本語書籍が限られるなかで、独自の立ち位置を持つ参考書です。