改訂新版 前処理大全〜SQL/pandas/Polars 実践テクニック

BigQuery、Pandas、Polars を使った実用的なモダン前処理を学びましょう!

データ分析において前処理が重要かつ多くの時間をとられる業務であることは広く知られてきました。同時に前処理を実現するためのライブラリは大きく改善されてきています。また、機械学習モデルの進化によって、求められる前処理の内容も変わってきています。本書は、初めて学ぶ方にも昔学んでから知識をアップデートしていない方にも、悪いサンプルコードと良いサンプルコードを紹介しながら丁寧にデータ分析の前処理を学べる技術書です。

本書は、第一版の前処理大全から大きく構成や内容を変更しています。SQL は BigQuery 準拠に変更し、Pandas は最新バージョンの思想に沿い新機能を使ったコードに変更しました。R の代わりに R 同様にパイプラインで書きやすくかつ処理エンジンが Rust ベースで書かれているため高速な Polars に変更しました。また、前処理内容も大きく変更し、より現在よく使われる処理を実用ケースとともに解説しています。また、新たな試みとしてコラムとして少しマニアックだけど役立つプログラムの裏側の解説や分析テクニックを紹介しており、中級者の方にとっても有用な知識をお届けしています。
Part1 前処理の基礎知識
第 1 章 前処理とは
第 2 章 SQL
第 3 章 pandas
第 4 章 Polars

Part2 データの構造を対象とした前処理
第 5 章 抽出
第 6 章 集約
第 7 章 結合
第 8 章 分割
第 9 章 整形

Part3 データの内容を対象とした前処理
第 10 章 数値
第 11 章 カテゴリ
第 12 章 日時
第 13 章 文字列
第 14 章 ウィンドウ関数

Part4 実践前処理
第 15 章 演習問題

データ分析や機械学習の仕事で時間の多くを占める前処理を、SQL、pandas、Polars の 3 つの道具で同じ課題ごとに書き比べながら身につける実務書です。『改訂新版 前処理大全』は本橋 智光、橋本 秀太郎の共著で、技術評論社から 2024 年 5 月に発売されました。版元の紹介では、初めて学ぶ人にも、以前に学んだまま知識を更新していない人にも向けて、悪いサンプルコードと良いサンプルコードを並べて前処理の書き方を示す構成とされています。

第一版からの変更点、BigQuery と Polars への切り替え

版元の説明によると、この改訂新版は第一版の『前処理大全』から構成と内容を大きく変えています。SQL は BigQuery に準拠した書き方へ改められ、pandas は新しい機能を使ったコードに書き直され、第一版で扱っていた R の代わりに Polars が加わりました。Polars は R と同じようにパイプラインで処理をつなげて書きやすく、Rust で書かれた処理エンジン を持つため高速である点が選ばれた理由として挙げられています。前処理の題材自体も実務でよく使われるものへ入れ替えられ、少し踏み込んだプログラムの裏側や分析テクニックを紹介するコラムが新たに設けられました。第一版を持っている人にとっても、言語の組み合わせと題材の両方が変わっているため、別の本として読み直す価値があります。

全 4 部 15 章の構成、データの構造と内容で分けた前処理

目次は 4 つの Part に分かれています。Part 1 は前処理の基礎知識で、第 1 章の前処理とはに続き、第 2 章から第 4 章で SQL、pandas、Polars それぞれの基本を押さえます。Part 2 はデータの構造を対象とした前処理で、抽出、集約、結合、分割、整形の 5 章、Part 3 はデータの内容を対象とした前処理で、数値、カテゴリ、日時、文字列、ウィンドウ関数の 5 章が並びます。最後の Part 4 は実践前処理として、第 15 章の演習問題で全体を通しで使う構成です。行を絞る、まとめる、つなぐといった表の形を変える操作と、値そのものを変換する操作を分けて整理しているため、手元の課題がどちらの種類かを見極めれば該当する章へ直接たどり着けます。

3 つの道具を書き比べることが実務に効く理由

前処理のコードは、同じ結果を得る書き方が何通りもある一方で、書き方によって読みやすさと処理時間が大きく変わります。たとえば集約や結合を行単位のループで書くと、少量のデータでは動いても件数が増えたとたんに破綻しますし、表全体に対する演算として書けば処理系が最適化できる余地が生まれます。BigQuery のような 分析用のデータウェアハウス で SQL として処理するのか、手元のメモリに載せて pandas で扱うのか、Polars の遅延評価を活かして大きめのデータを手元で回すのかは、データの量と置き場所で判断が分かれます。同じ前処理を 3 通りで見比べておくと、この判断を場面ごとに下せるようになり、SQL で書いた集計を Python 側へ移す、あるいはその逆といった書き換えにも迷いにくくなります。ウィンドウ関数に 1 章が割かれているのも、時系列の移動平均や順位付けのように、行同士の関係を使う集計が分析の現場で繰り返し登場するからです。

対象として版元が挙げているのは、データ処理業務に従事するエンジニアとデータ分析者です。Python と SQL の文法そのものを一から教える本ではないため、どちらにも触れたことがない場合は、データベースと SQL の技術書の選び方 を参考に入門書を一冊通してからのほうが進めやすくなります。また、統計モデルや機械学習アルゴリズムの理論を学ぶための本でもありません。逆に、分析の前段で毎回同じような集計や結合を手探りで書いている人、pandas から Polars への移行を検討している人、BigQuery の SQL と Python の処理を行き来しているチームにとっては、課題別に正しい書き方を引ける手元の参照書として長く使える一冊です。