LightGBM 予測モデル実装ハンドブック

本書は実践知を基に LightGBM の仕組みや実務への活用方法をハンズオン形式で学ぶ技術書です。LightGBM はレコード数が 1,000 万件を越える大規模データでも数時間でモデル学習でき、予測精度が高く、実装がシンプルという開発運用に適した特徴を兼ね揃えた機械学習アルゴリズムです。
本書の目標は以下の 2 つです。

目標 1 LightGBM の理解ためには、逆説的ですが「LightGBM 以外」の仕組みを具体的に理解する必要があると、筆者は考えています。そこで、本書は機械学習の基礎となる「線形回帰」、勾配ブースティングの基礎となる「決定木 (回帰木)」の仕組みを最初に整理し、続いて、回帰木→勾配ブースティング→XGBoost→LightGBM とアルゴリズムごとの工夫 (前提条件) を数式を交えて理解する構成にしています。

目標 2 実務活用は探索的データ解析 (EDA)、クロスバリデーション、特徴量エンジニアリング、ハイパーパラメータ最適化の精度改善の実装を通じて、実務で役立つ考え方や運用で注意すべき点を学べるようにハンズオンします。また、実務は精度の改善と並んで、予測値の説明性が大事になります。そこで、予測値を特徴量の貢献度で分解し、予測値の原因を分析します。
第 1 章 予測モデルの概要
第 2 章 回帰の予測モデル
第 3 章 分類の予測モデル
第 4 章 回帰の予測モデル改善
第 5 章 LightGBM への発展

LightGBM を、その手前にある線形回帰と決定木から順にほどいて理解し、業務の予測モデルづくりに持ち込むための技術書が『LightGBM 予測モデル実装ハンドブック』 (毛利 拓也 著、秀和システム、2023 年 6 月刊) です。版元は本書を、Python プログラミングの経験があるエンジニア向けに、LightGBM の仕組みや実務への活用方法をハンズオン形式で学ぶ実装ハンドブックと位置づけています。NDL と openBD の書誌では叢書「Python ライブラリ定番セレクション」の 1 冊です。紹介文は、企業の基幹システムに蓄積されたデータの多くがリレーショナルデータベース由来のテーブルデータであることを挙げ、大量のレコードを高速に学習できる LightGBM を実用的なアルゴリズムとして据えています。

第 1 章から第 4 章、予測モデルの概要から回帰の予測モデル改善まで

第 1 章「予測モデルの概要」は、機械学習アルゴリズムの全体像、決定木のアンサンブル学習、勾配ブースティングのライブラリを整理し、Colaboratory の初期設定とサンプルコードの格納で学習環境を整えます。第 2 章「回帰の予測モデル」は住宅価格データセットを使い、1 変数と 2 変数の EDA、回帰の評価指標から入って、線形回帰、回帰木、LightGBM 回帰の順に同じデータへモデルを当てていきます。第 3 章「分類の予測モデル」は国勢調査データセットでロジスティック回帰と LightGBM 分類を比べ、ホールドアウト法、不均衡ラベルの扱い、アーリーストッピング、クロスバリデーションといった検証データでの評価を扱います。第 4 章「回帰の予測モデル改善」はダイヤモンド価格データセットを題材に、Lasso 回帰との比較、数値変数とカテゴリ変数を掛け合わせた新規特徴量の追加、Optuna を用いたハイパーパラメーター最適化を重ね、改善の結果をクロスバリデーションで確かめる流れです。

第 5 章で回帰木から XGBoost、LightGBM の改良点へ

版元の紹介文が挙げる 2 つの目標のうち、アルゴリズムごとの工夫を数式を交えて理解する部分は、最後の第 5 章「LightGBM への発展」にまとまっています。回帰木の計算量から始まり、回帰木の勾配ブースティングと二乗誤差の重み、XGBoost の目的関数と葉の分割条件、類似度によるデータ分割点の計算と枝刈りを経て、LightGBM の改善点としてヒストグラムによる学習の高速化、深さから葉への探索方法の変更、カテゴリ変数のヒストグラム化を、可視化と予測値の検証つきで追います。章の最後は太陽系外惑星データセットを使ったライブラリの学習時間比較です。つまり本書は、先に第 2 章から第 4 章で LightGBM を使う手順を通し、最後にその内部をほどく順序で組まれています。

テーブルデータを扱う 機械学習 の手法のうち、勾配ブースティングは、決定木を少しずつ足し合わせ、それまでの予測で取りこぼした誤差を次の木が埋めていく仕組みです。XGBoost はこの足し算に正則化の項を持ち込み、葉の重みと分割の良さを目的関数から計算できる形に整えました。LightGBM は特徴量の値をいくつかの区間にまとめたヒストグラムで分割候補を減らし、木を深さごとにそろえて伸ばす代わりに、損失を最も減らせる葉から伸ばすことで学習を速くしています。葉から伸ばす方式は少ない葉の数で精度を出しやすい半面、木が深く偏りやすいため、過学習を抑える設定が用意されています。第 5 章の可視化は、こうした挙動を図で確かめる手段になります。

SHAP による予測値の説明と、読む前に要る準備

版元の紹介文は、実務では精度の改善と並んで予測値の説明性が大事になるとし、予測値を特徴量の貢献度で分解して原因を分析すると述べています。目次でも、第 2 章から第 4 章の LightGBM の節に SHAP による予測値の説明が置かれています。SHAP は協力ゲーム理論のシャープレイ値に基づき、個々のデータの予測値を、予測の平均からの各特徴量の寄与の和として分解する手法です。線形回帰やロジスティック回帰の節にはパラメーターによる予測値の解釈が置かれているため、係数で説明できるモデルと、木を何百本も重ねて係数を持たないモデルとで、説明の手段がどう変わるかを同じ本の中で比べられます。前提は版元のいう Python プログラミングの経験で、サンプルコードはダウンロードで提供されています。

LightGBM を業務で説明できるようにしたい人へ

目次には画像や文章を扱う深層学習の章や、学習済みモデルを本番のシステムへ配備する手順の章はありません。他の機械学習の本との選び分けは、機械学習の技術書の選び方 も参考になります。一方で、業務のテーブルデータで予測モデルを作る立場にあり、LightGBM を動かせてはいるものの、なぜその予測になったのかを関係者に説明できない、パラメーターを変える根拠を持てない、という課題を抱えている人に向けて、本書は、EDA から評価、改善、説明、理論までを 1 冊で扱います。第 2 章の住宅価格の回帰から順に手を動かしてみてください。