統計的データクリーニングの理論と実践(トウケイテキデータクリーニングノリロントジッセン)

統計的なデータクリーニングシステムを構築するための包括的なガイド

データクリーニングとは、入手した原データを、分析に耐えうる品質にするために、エラーや矛盾する値を検出・修正し、欠測を補完する作業のことで、データ分析においてしばしば最も時間のかかるプロセスである。公的統計分野において、この分野は「データ編集」とも呼ばれ、この 50 年余に多くの知見が蓄積されてきたが、一般の統計のコミュニティにおける文献は多くない。
本書は、 2013 年に開催された世界規模の R ユーザーカンファレンスである useR!2013 において行われたデータクリーニングのチュートリアルがきっかけとなり,オランダ統計局の研究部門に所属する著者によって書かれている。近年のビックデータ時代の到来により、調査集計を行う公的統計部局は行政記録その他の幅広いデータを取り扱うようになるとともに、より広い分野においてもデータの入手が容易になったためにデータクリーニングの要請は広がり、公的統計分野での知見はより多くの分野で役立つ可能性を持っている。
著者は、本書で紹介されるデータ検証やエラーの局所化、エラー修正のための様々な方法や欠測値の補完といった様々なデータクリーニングのための R のパッケージの多くを開発しており、実際に使用するためのコード例も豊富に掲載され、数値やテキスト、日付等のデータの取り扱いや、数値計算時の留意点など、プログラミングに関する内容も収録されている。

本書の特徴
データ分析を行う際に、しばしば最も手のかかるデータクリーニングに焦点を当て、理論と R による実装の双方向から解説

アドホックで、データ毎に異なるカスタムメイドのクリーニングシステムではなく、汎用性を重視した構築の方法論も解説

データの矛盾を解消し、欠測を補完するための統計的手法、バッチ処理化やデータ変遷のモニタリングについても解説

〔原著〕 Statistical Data Cleaning with Applications in R, Wiley, 2018.

データ分析の現場でクリーニングほど時間を食う工程はないのに、その進め方は担当者の経験則とその場しのぎのスクリプトに任されがちです。本書はこの工程を統計学の主題として扱う専門書で、オランダ統計局の研究部門に所属する Mark van der Loo 氏と Edwin de Jonge 氏が著した Wiley 刊の原著 (2018 年) を、共立出版が 2022 年 2 月に翻訳刊行しました。公的統計の世界で「データ編集」と呼ばれ半世紀にわたり蓄積されてきた知見を、一般の分析者に開く位置づけの本です。

軸になるのは、データの検証、エラーの局所化と修正、欠測値の補完という一連の問題を、統計的手法として定式化しながら R で実装していく流れです。著者ら自身がこの領域の R パッケージを多数開発しており、コード例が豊富に付きます。特徴的なのは、データごとに作り捨てるアドホックな処理ではなく、汎用性のあるクリーニングシステムとして組み上げる方法論を説く点で、データ変遷のモニタリングやバッチ処理化、数値・テキスト・日付の扱いといった実装上の留意点にも紙幅があります。 R の基本操作と統計の初歩は前提です。

調査データや行政記録のような癖の強いデータを日常的に受け取る統計部局・リサーチ部門の実務者はもちろん、機械学習の前処理を「毎回書き直すノートブック」から卒業させたいデータサイエンティストにも刺さります。読後は、欠測やエラーへの対処を場当たりでなく設計として語れるようになります。