Python データ分析 実践ハンドブック 実務で使えるデータ加工のテクニック

データの加工や分析の実践スキルを身につけよう。本書は、Python や pandas の基礎を身につけた方が、データ分析を行ううえで知っておきたい「データ分析の実装で使うノウハウ」をまとめた書籍です。さまざまな種類のデータの読み込みから加工、可視化、データの評価、pandas や NumPy の活用方法など、Python を使ってデータを加工し分析する方法を詳しく学べます。データ加工のレシピやデータ分析に必要な数学の知識についても学べます。

Python と pandas の基本は身につけたものの、実際の仕事で出会う多様なデータを読み込み、整え、確かめる段階で手が止まる人に向けた実践書です。『Python データ分析 実践ハンドブック』は寺田 学、神沢 雄大、＠driller、辻 真吾の 4 名による共著で、インプレスから 2023 年 9 月に発売されました。副題は実務で使えるデータ加工のテクニックで、版元の紹介では、データ分析の実務で使うノウハウをまとめ、さまざまな種類のデータの読み込みから加工、可視化、データの評価、pandas と NumPy の活用までを学べる本と説明されています。登録された書誌では、Python 3 エンジニア認定データ分析実践試験の主教材とも位置づけられています。

全 11 章の構成、CSV から地理空間データまでの読み込みと加工

第 1 章のデータ加工概論で目的やデータ分析エンジニアの役割、データとライブラリの種類を整理したあと、第 2 章では CSV、Excel、JSON、HTML、XML から、文書、画像、音声、RDB のデータ、pickle と parquet の形式まで、読み込みの方法を形式ごとに並べます。第 3 章は表形式データの加工で、連結と結合、変形、カテゴリーデータ、グループ化、階層型インデックスを扱い、第 4 章で NumPy の配列構造とブロードキャスト、数値データの型を押さえます。第 5 章はデータの評価で、統計量による定量的な評価と可視化による定性的な評価、分布の確認、外れ値と異常値、欠損値、値の重複を取り上げます。後半は第 6 章の時系列データ、第 7 章のテキスト情報、第 8 章の画像データ、第 9 章の NetworkX を使ったグラフデータ、第 10 章の GeoPandas を含む地理空間データと、データの種類ごとの処理が続き、第 11 章で行列の特異値分解を含むデータ加工のための線形代数を解説します。付録には Python とパッケージのインストール、pandas と Matplotlib による可視化が収められています。

分析の前に「データを疑う」工程が要る理由

分析の結果を左右するのは、モデルや手法の選び方よりも、その前の段階でデータをどれだけ正しく整えられたかであることが少なくありません。欠損値をそのまま平均に含めてしまう、重複した行で件数が水増しされる、タイムゾーンの違う日時を同じ基準で比べてしまうといった誤りは、計算自体はエラーなく終わるため気づきにくいのが厄介な点です。第 5 章でデータの評価に章を割き、第 6 章でタイムゾーン情報を含む datetime 型の操作まで踏み込んでいるのは、こうした静かな誤りを分析の入口で止めるためだと読めます。さらに実務のデータは表だけとは限らず、文章、画像、人や物のつながり、位置情報といった形で届きます。つながりのデータでは ノードとエッジを辿るグラフのアルゴリズム の考え方が、位置情報では座標系やファイル形式の知識が要るため、種類ごとに入口を示してくれる構成は、初めての形式に出会ったときの調べ直しを減らします。

担当の分かれた 4 人の著者と、前提になる知識

版元のページには著者ごとの担当章が示されており、たとえば第 4 章、第 9 章、第 11 章は辻 真吾、第 3 章、第 6 章、第 10 章は＠driller が受け持つなど、章ごとに書き手が分かれています。紹介文が想定するのは Python や pandas の基礎を身につけた人で、文法や DataFrame の基本操作から学ぶ本ではありません。まだその段階にあるなら、Python の入門書の選び方 を参考に基礎を固めてから読むほうが効率的です。また、機械学習モデルの構築やアルゴリズムの理論を中心に学びたい人にとっては、本書は前処理と加工の側に重心があるため目的とずれます。

逆に、受け取ったデータの形式がばらばらで毎回読み込み方を調べ直している人、加工の手順が正しいかを自分で確かめる方法を持ちたい人、Python 3 エンジニア認定データ分析実践試験に向けて主教材を手元に置きたい人にとっては、データの種類ごとに引ける実務の手引きとして長く使える一冊です。サンプルコードは版元のページから GitHub のリポジトリが案内されているため、手を動かしながら読み進められます。