The Kaggle Book:データ分析競技 実践ガイド & 精鋭 31 人インタビュー

データサイエンスコンペティション (競技) プラットフォーム Kaggle では、世界中の何百万人もの人々が参加。データ分析スキルを向上させ、素晴らしいコミュニティを作り、キャリアアップに役立つ貴重な経験を得ようとしています。本書では、Kaggle Grandmaster の著者 2 人がモデリングや検証戦略などこれまでに蓄積されたテクニックを解説。Kaggle 特有のヒントだけでなく、より一般的なテクニックも学べます。Kaggle のランクを上げたい、データサイエンスのスキルアップを図りたい、既存のモデルの精度を上げたい、といった方への格好の一冊です。

データ分析コンペティションで順位を上げたい人、あるいはコンペで磨かれた手法を実務のモデル改善に持ち帰りたい人に向けた一冊が『The Kaggle Book:データ分析競技 実践ガイド & 精鋭 31 人インタビュー』です。著者は Konrad Banachewicz と Luca Massaron の 2 人、訳は株式会社クイープで、インプレスの impress top gear シリーズから 2023 年 2 月に発売されました。原書名は The Kaggle Book です。版元の著者紹介によれば、2 人はともに Kaggle の Discussion 部門で Grandmaster の称号を持ち、Banachewicz は Notebooks 部門でも Grandmaster です。本書は 2 人がモデリングや検証戦略について蓄積してきたテクニックを、Kaggle 特有のヒントとより一般的な技術の両面から解説し、Grandmaster と Master 31 人へのインタビューを各所に収めています。

3 部 14 章の構成、プラットフォームの使い方から競技の戦略まで

本書は 3 部 14 章で組まれています。Part 1「コンペティション入門」は、Kaggle と他のコンペティションの経緯や仕組みを扱う 1 章に続き、Kaggle Datasets、Kaggle Notebooks、ディスカッションフォーラムの活用と、プラットフォームの道具を 1 章ずつ取り上げます。中心となる Part 2「コンペティションのためのスキルを磨く」は、5 章のタスクと指標、6 章の検証の設計、7 章のテーブルコンペティションでのモデリング、8 章のハイパーパラメーター最適化、9 章のブレンディングとスタッキングによるアンサンブルと進み、10 章から 12 章でコンピュータビジョン、自然言語処理、シミュレーションと最適化のコンペティションへ対象を広げます。Part 3「コンペティションをキャリアに活かす」では、プロジェクトとアイデアのポートフォリオ作りとキャリアアップの機会探しを扱います。手法の解説だけで終わらず、参加の入口と出口まで一冊で通している点が、この本の骨格です。

検証の設計とアンサンブルが順位を左右する理由

コンペで伸び悩む原因の多くは、モデルの選び方よりも評価の仕方にあります。Kaggle の多くのコンペでは提出のたびに公開リーダーボードのスコアが返りますが、最終順位は別に取り分けられた非公開のデータで決まるため、公開スコアだけを追いかけると、そのデータに偶然合っただけのモデルを選んでしまいます。手元の交差検証が本番の評価と同じ分布の分け方になっているか、時系列やグループの構造を無視して未来や同じ個体の情報が学習側へ漏れていないかを先に固めておくことが、試行錯誤の結果を信頼できるものにする前提です。本書が評価指標と検証の設計に独立した章を割き、そのあとにハイパーパラメーター最適化とアンサンブルを置いているのは、この順序に沿った並びと読めます。複数のモデルの予測を混ぜるブレンディングや、予測を次段のモデルの入力に使うスタッキングは、個々のモデルの誤りの癖が異なるほど効きますが、検証が甘いまま重ねると過学習を上塗りするだけになります。この関係を章の流れで追えることが、機械学習 の教科書とは異なる、競技の実践書としての読みどころです。

前提知識と、Kaggle で勝つデータ分析の技術との使い分け

読み進めるうえでは、Python と主要なデータ分析ライブラリでデータを読み込み、学習と評価を一通り回した経験があると無理がありません。本書はアルゴリズムの数理を基礎から積み上げる教科書ではないため、機械学習そのものが初めての段階なら、機械学習 / AI 技術書の選び方 を参考に入門書を一冊先に通しておくほうが近道です。日本語で読めるコンペの実践書としては、門脇 大輔ほかによる『Kaggle で勝つデータ分析の技術』 (技術評論社、2019 年) もよく比べられます。こちらが日本の参加者の手で特徴量の作り方や検証の技法をまとめているのに対し、本書は画像や自然言語、シミュレーションの競技まで範囲を広げ、上位者のインタビューを通じて取り組み方の多様さに触れられるのが違いです。

テーブルデータの前処理だけを手早く身に付けたい人や、深層学習の理論を体系的に学びたい人には、本書は焦点が少しずれます。一方で、ノートブックを動かしてひとまず提出までは来たものの、検証の組み方とモデルの重ね方に自信が持てない人、またはコンペを経歴として形に残す方法まで知りたい人にとっては、上位者の判断の筋道をまとめて手元に置ける一冊です。版元が挙げる「ランクを上げたい」「既存のモデルの精度を上げたい」という目的がそのまま自分の課題に重なるなら、選んで損の少ない本と言えます。