機械学習のための特徴量エンジニアリング

機械学習や人工知能の性能を決める特徴量作成・変換 / 選択について詳述した書籍!
本書は、機械学習を行うエンジニアが知るべき特徴量抽出の基本から応用、最新のテーマまでを網羅した書籍です。内容としてはそれほど難しくないため、機械学習を学んでいる人が特徴量エンジニアリングについて学びはじめる書籍として最適です。

『機械学習のための特徴量エンジニアリング』 (Alice Zheng、Amanda Casari 著、株式会社ホクソエム 訳、オライリー・ジャパン、2019 年 2 月 23 日発行) は、機械学習モデルの性能を向上させるために、データから良い特徴量を作る技法を、図や例と Python コードの実行例で解説する書籍です。原書は Feature Engineering for Machine Learning、副題はその原理と Python による実践です。版元は、前半で初学者に向けて数値、テキスト、カテゴリ変数の基本的な扱い方を説明し、後半で高度なテーマを扱う構成と案内しています。日本語版には Kaggle Grandmaster の Kohei Ozaki 氏による「日本語版に寄せて」が収録されています。

1〜5 章、数値とテキストとカテゴリ変数の基本

1 章「機械学習パイプライン」でデータ、タスク、モデル、特徴量、モデル評価の関係を整理したあと、2 章「数値データの取り扱い」はカウントデータの二値化と離散化、対数変換とべき変換、Min-Max スケーリングや標準化、ℓ2 正規化、交互作用特徴量、特徴選択を扱います。3 章「テキストデータの取り扱い」は Bag-of-Words と Bag-of-n-Grams、ストップワードや頻度に基づく単語除去、ステミング、トークン化、コロケーション抽出によるフレーズ検出へ進みます。4 章は TF-IDF による Bag-of-Words の重み付けを取り上げ、ロジスティック回帰によるクラス分類と正則化によるチューニングを通じて、スケーリングの効果を確かめる章です。5 章「カテゴリ変数の取り扱い」は One-Hot エンコーディング、ダミーコーディング、Effect コーディングの長所と短所を比べ、膨大なカテゴリ数を持つ変数に対しては特徴量ハッシングとビンカウンティングを示します。

後半の PCA、k-means、画像特徴量と論文レコメンドの演習

6 章は PCA による次元削減を、直感的な解釈から線形射影と分散による導出、実装、白色化と ZCA、限界とユースケースまでたどります。7 章は k-means で作る非線形特徴量とスタッキング、8 章は画像特徴量の抽出で、SIFT と HOG という手動の特徴抽出法から、全結合層、畳み込み層、プーリング層を経て AlexNet の構造までを扱います。9 章は、アイテムベースの協調フィルタリングによる学術論文のレコメンドを題材に、データのインポートとクリーニングから始めて、解析を 3 回重ねながら特徴量を改良していく通しの演習です。巻末の付録 A は線形モデリングと線形代数の基礎で、特異値分解やデータ行列の 4 つの基本的な部分空間を扱います。

特徴量の作り方がモデルの性能を決める理由

同じアルゴリズムでも、入力をどう表現するかで結果は大きく変わります。たとえば件数のような偏りの大きい数値は、そのまま線形モデルに入れると一部の大きな値に引きずられますが、対数を取るだけで扱いやすい分布に近づきます。カテゴリ変数は文字列のままでは計算できず、数値への置き換え方しだいで次元の数も解釈のしやすさも変わります。テキストを単語の出現回数で数値化する方法は単純で強力ですが、語の並びや意味の近さは失われます。意味の近さまで数値に込めたい場合は、意味の近い語や文が近い位置に来るように学習した 埋め込みベクトル という別の表現が使われます。Kaggle のような予測精度を競う場でも、特徴量の工夫は精度を上げる主要な手段の一つです。モデルを選ぶ前の段階で何ができるかを知っておくことは、実務でも同じように効きます。機械学習の学び方全体の中でこの本をどこに置くかは、機械学習の技術書の選び方を整理したガイド も参考になります。

機械学習を学び始めた人に合う理由と前提知識

楽天ブックスの書誌に載る紹介文は、内容はそれほど難しくないので、機械学習を学んでいる人が特徴量エンジニアリングを学びはじめる本として最適だとしています。一方で、6 章の導出や付録 A では行列とベクトルによる定式化が出てくるため、線形代数の基礎に触れたことがあると読み進めやすくなります。Python のコードを読み書きできることも前提です。モデルの種類を一通り学んだのに精度が伸びない人、表形式のデータやテキストを前にしてどう加工すればよいか迷う人にとって、変換の考え方を一冊でまとめて押さえられる点が本書の価値です。2019 年刊行の本なので、ライブラリの書き方は手元の環境に合わせて読み替える必要がありますが、変換の原理そのものは古くならない部分です。