Python 実践データ分析 100 本ノック 第 2 版

これがリアルなデータ分析だ!
君は「汚いデータ」を処理できるか?

データ分析の現場にあって入門書にないものーーそれは、「汚いデータ」 (ダーティデータ) です。本書は、データ分析の現場では 1 どんなデータに出会い、2 どのような問題が生じ、3 どう対応すればよいのかというノウハウを解説。

事前の加工 (視覚化) から機械学習、最適化問題まで、100 本ノックをこなして、ビジネス現場で即戦力になれる「応用力」を身につけよう!

入門書の練習問題のデータはたいてい整っていますが、業務で渡されるデータは表記の揺れや欠損だらけです。『Python 実践データ分析 100 本ノック』第 2 版 (下山輝昌、松田雄馬、三木孝行 著、秀和システム、2022 年 6 月刊) は、この「汚いデータ」 (ダーティデータ) にどう出会い、何が問題になり、どう対応するかを、ビジネスの題材を使った課題 (ノック) を順に解きながら身に付ける本です。版元の紹介では、事前の加工と視覚化から機械学習、最適化問題までを通して、ビジネスの現場で使える応用力を付けることを狙いとしています。

朝練から放課後まで、第 2 版の 12 章の構成

第 2 版では、基礎の「朝練」と応用の「放課後」が加わりました。序章の朝練は Google Colaboratory を使ってプログラムを書いて動かすところから始め、ライブラリの使い方やファイルのパスの考え方までを準備運動として扱います。本編のノック 1〜100 は 4 部 10 章で、第 1 部の基礎編はウェブの注文データと小売店のデータを使った結合、集計、表記の揺れと欠損の補正、第 2 部の実践編 1 は顧客データのクラスタリングと利用回数の予測、決定木による退会の予測です。第 3 部の実践編 2 は物流ルートの最適化と生産計画、口コミの伝わり方の数値シミュレーション、第 4 部の発展編は映像からの人の検出と、アンケートの文章を形態素解析で分ける 自然言語処理 を扱います。放課後の 2 章は深層学習と YOLO による物体の検出、エクセルの表や外れ値、文字コード、JSON、SQLite といった実務でよく出るデータの加工の課題です。

分析の手前の加工に時間の大半がかかる理由

データ分析の仕事では、モデルを作る時間よりも、データを読み込み、結合し、揺れを直して集計できる形に整える時間のほうが長くかかることが少なくありません。顧客名の表記が担当者ごとに違う、日付の書式がそろっていない、金額が抜けているといった問題は、そのまま集計すると数字を静かに狂わせるため、どこで何を補正したかを説明できることが分析の信頼性を左右します。本書が第 1 部の 2 章を丸ごとデータの加工に充て、多くの章が、最初のノックでデータを読み込んで中身を確かめるところから始まるのは、この手前の工程を省かずに練習させる構成と言えます。機械学習や最適化の章でも、題材は退会の予測や物流のコストといった業務の問いになっていて、手法を当てはめた結果を業務の判断につなげる流れを追えます。

手を動かす前に押さえたい Python の基礎

本書は課題を解きながら進む演習書で、Python の文法そのものを一から説明する入門書ではありません。朝練で環境の準備と変数、ライブラリの使い方には触れますが、リストや辞書、関数の書き方に不安がある場合は、先に入門書を 1 冊終えておくと課題に集中できます。Python の本を段階ごとに選びたい場合は Python 本の選び方 が参考になります。また、クラスタリングや決定木、最適化の理論を数式から理解したい人には説明が足りないと感じられるはずで、その場合は 機械学習の技術書の選び方 で紹介している理論書と組み合わせるのが向いています。なお、版元のページでは関連書籍として第 3 版が案内されているため、これから購入する場合は収録内容の違いを版元の情報で確かめてから選ぶと安心です。

受け取ったデータをそのまま集計して結果が合わなかった経験がある人や、分析の入門書を終えたものの実務のデータを前に手が止まってしまう人にとって、加工から予測、最適化、画像と言語の処理までをビジネスの題材で 100 本以上解き進める本書は、現場で通用する手順を体で覚えるための練習帳になります。