統計的データクリーニングの理論と実践

統計的なデータクリーニングシステムを構築するための包括的なガイド

データクリーニングとは、入手した原データを、分析に耐えうる品質にするために、エラーや矛盾する値を検出・修正し、欠測を補完する作業のことで、データ分析においてしばしば最も時間のかかるプロセスである。公的統計分野において、この分野は「データ編集」とも呼ばれ、この 50 年余に多くの知見が蓄積されてきたが、一般の統計のコミュニティにおける文献は多くない。
本書は、2013 年に開催された世界規模の R ユーザーカンファレンスである useR!2013 において行われたデータクリーニングのチュートリアルがきっかけとなり, オランダ統計局の研究部門に所属する著者によって書かれている。近年のビックデータ時代の到来により、調査集計を行う公的統計部局は行政記録その他の幅広いデータを取り扱うようになるとともに、より広い分野においてもデータの入手が容易になったためにデータクリーニングの要請は広がり、公的統計分野での知見はより多くの分野で役立つ可能性を持っている。
著者は、本書で紹介されるデータ検証やエラーの局所化、エラー修正のための様々な方法や欠測値の補完といった様々なデータクリーニングのための R のパッケージの多くを開発しており、実際に使用するためのコード例も豊富に掲載され、数値やテキスト、日付等のデータの取り扱いや、数値計算時の留意点など、プログラミングに関する内容も収録されている。

本書の特徴
データ分析を行う際に、しばしば最も手のかかるデータクリーニングに焦点を当て、理論と R による実装の双方向から解説

アドホックで、データ毎に異なるカスタムメイドのクリーニングシステムではなく、汎用性を重視した構築の方法論も解説

データの矛盾を解消し、欠測を補完するための統計的手法、バッチ処理化やデータ変遷のモニタリングについても解説

〔原著〕Statistical Data Cleaning with Applications in R, Wiley, 2018.

データ分析の前処理にあたるデータクリーニングを、統計学の手法とプログラムによる実装の両面から体系立てて扱う専門書です。『統計的データクリーニングの理論と実践』は、Mark van der Loo 氏と Edwin de Jonge 氏の著書を、地道 正行、髙橋 雅夫、藤野 友和、安川 武彦、和田 かず美の 5 氏が訳し、共立出版から 2022 年 2 月 24 日に発売されました。原著は Wiley から 2018 年に刊行された Statistical Data Cleaning with Applications in R で、日本語版の副題は「R によるデータ編集 / 欠測補完システム」です。

版元の紹介文によると、本書は 2013 年の R ユーザーカンファレンス useR!2013 で行われたデータクリーニングのチュートリアルをきっかけに、オランダ統計局の研究部門に所属する著者によって書かれました。公的統計の分野ではこの工程が「データ編集」とも呼ばれ、50 年余にわたって知見が蓄積されてきたものの、一般の統計のコミュニティ向けの文献は多くないと版元は位置づけています。著者は本書で紹介するデータ検証、エラーの局所化と修正、欠測値の補完のための R パッケージの多くを開発しており、実際に使うためのコード例が豊富に載っています。

統計的バリューチェーンから小規模システムの事例まで全 11 章

第 1 章「データクリーニング」は、統計的バリューチェーンという枠組みで、原データ、入力データ、有効データ、統計数値、出力という段階を整理するところから始まります。第 2 章「R 入門」でベクトルやデータフレーム、dplyr パッケージによる操作、欠測値などの特殊値、データの入出力と関数を押さえ、第 3 章「データの技術的な表現」では数値データ、テキストデータ、時刻と日付、ロケール設定の注意点を扱います。第 4 章「データ構造」と第 5 章「テキストデータのクリーニング」のあと、第 6 章「データ検証」で validate パッケージ、第 7 章「データレコード内のエラー局所化」で混合整数計画 (MIP) 問題としての定式化と数値的安定性の問題に進みます。第 8 章「ルール集合のメンテナンスと単純化」、第 9 章「ドメイン知識のためのモデルベースの方法」を経て、第 10 章「補完と調整」はモデルベース補完、ドナー補完、EM アルゴリズムに基づく補完、多重補完、補完のもとでの分散の推定、制約のもとでの値の調整まで扱います。最後の第 11 章「事例: 小規模なデータクリーニングシステム」は、データ変遷のモニタリングと、任意の OS で実行できるスクリプトの汎用化を取り上げます。

検証ルールとエラーの局所化、MIP 問題としての定式化

クリーニングの難しさは、誤りを見つけることと、どこを直すかを決めることが別の問題である点にあります。たとえば、15 歳未満の回答者は既婚ではない、売上は原価と利益の和に等しい、といったルールを書けば矛盾したレコードは検出できますが、どの項目が誤っているかはルールだけでは決まりません。公的統計のデータ編集では、すべてのルールを満たすために変更する項目をできるだけ少なく選ぶという考え方が古くから使われており、これを最適化問題として解く発想が、本書の目次にある MIP 問題としての定式化につながります。数値の扱いにも落とし穴があり、浮動小数点数の丸め誤差を無視して等式のルールを判定すると、正しいレコードまで矛盾と判定してしまいます。文字列の側では、同じ見た目の文字が異なる符号で保存される Unicode の正規化の問題や、表記ゆれを近似的に照合する問題があり、第 5 章がこれらを扱います。

第 2 章の R 入門と、後半の数理的な話題

第 2 章に R の入門が含まれるため、R に初めて触れる段階からでも読み始められますが、後半には混合整数計画や EM アルゴリズム、補完の分散推定といった数理的な話題が並びます。本書は、数式で定式化された手法と R のコードの両面から書かれています。また、紹介されるパッケージと関数は原著の 2018 年時点の R の環境を前提にしています。

調査票や行政記録のように矛盾や欠測を含むデータを繰り返し受け取り、毎回その場しのぎのスクリプトで直している人に向けて、本書は、検証ルールの管理から補完、処理の監視までを一つの仕組みとして組み立てる方法論を扱います。最後の第 11 章は、小規模なデータクリーニングシステムの事例です。