機械学習アルゴリズム入門 -類似性の科学ー

本書は、機械学習を単なる「ツールボックス」としてではなく、「一定の数理的理解をもちながら利用したい」という読者のための書です。

「文章から著者を当てる」簡単な人工知能を作りながら、
・機械学習の「アルゴリズム」の仕組み。
・どうすれば人工知能の予測性能を高めるには。
・「サポートベクターマシン」や「カーネル関数」とは何か。
といった、機械学習の「基本的な考え方」や、「基礎的な概念」「知識」を解説。

機械学習や人工知能の仕組みを深く理解し、活用する力を養います。
■「機械学習」と「データ」の類似度
「機械学習」と「人工知能」
「機械学習」でできること
「学習アルゴリズム」の仕組み
「データの類似度」と機械学習
類似度関数
多様なデータ形式の類似度関数

■「距離関数」による「機械学習」
著者当てゲーム
機械学習における「探索」のサイクル
特徴設計
データ加工 (第 1 ラウンド)
類似度関数の設計 (第 1 ラウンド)
「学習アルゴリズム」の選択 (第 1 ラウンド)
「ハイパーパラメータ」の最適化 (第 1 ラウンド)
モデルの評価 (第 1 ラウンド)
データの加工 (第 2 ラウンド)
学習アルゴリズムの選択 (第 2 ラウンド)
パラメータの最適化とモデルの評価 (第 2 ラウンド)
データの加工と類似度関数の設計 (第 3 ラウンド)
学習アルゴリズムの選択 (第 3 ラウンド)
ハイパーパラメータの最適化とモデルの評価 (第 3 ラウンド)

■情報量に基づく類似度関数
確率の基礎
情報量
バラつきの指標としての情報量
確率分布の比較
「ジェンセンーシャノン情報量」による「著者当てゲーム」

■「カーネル関数」による類似度評価
カーネル関数
カーネルマシン
サポートベクターマシンによる「著者当てゲーム」

機械学習の手法を、ライブラリの関数名ではなく「データどうしの近さをどう測るか」という一つの問いから理解したい人に向けた入門書です。『機械学習アルゴリズム入門 -類似性の科学-』は、甘利 丈慈、髙井 絢之介、室田 佳亮 の共著、申 吉浩 の監修で、工学社の I/O BOOKS として 2022 年 3 月に刊行されました。版元の紹介文によると、機械学習 を単なる「ツールボックス」としてではなく、「一定の数理的理解をもちながら利用したい」読者のための本で、「文章から著者を当てる」簡単な人工知能を作りながら、アルゴリズムの仕組み、予測性能の高め方、サポートベクターマシンやカーネル関数とは何かといった基本的な考え方を解説します。副題は「機械学習の「知識」「概念」「考え方」を理解する」です。

類似度関数を軸にした 4 つのまとまりの構成

版元が示す主な内容は 4 つのまとまりに分かれています。1 つ目の「「機械学習」と「データ」の類似度」は、機械学習と人工知能の関係、機械学習でできること、学習アルゴリズムの仕組みを押さえたうえで、データの類似度と機械学習の結びつき、類似度関数、多様なデータ形式の類似度関数へ進みます。2 つ目の「「距離関数」による「機械学習」」で題材の著者当てゲームが登場し、特徴設計を経て、データの加工、類似度関数の設計、学習アルゴリズムの選択、ハイパーパラメーターの最適化、モデルの評価を第 1 ラウンドから第 3 ラウンドまで繰り返します。節名に「機械学習における「探索」のサイクル」があるとおり、一度で正解に届く手順を示すのではなく、加工と設計と評価を回しながら予測性能を上げていく過程そのものを見せる構成と読めます。

情報量とカーネル関数で近さの測り方を広げる

3 つ目の「情報量に基づく類似度関数」は、確率の基礎、情報量、バラつきの指標としての情報量、確率分布の比較を扱い、「ジェンセン-シャノン情報量」による著者当てゲームへ進みます。4 つ目の「「カーネル関数」による類似度評価」は、カーネル関数とカーネルマシンを経て、サポートベクターマシンによる著者当てゲームで締めくくられます。一般に、文章を語や文字の出現頻度の分布とみなせば、2 つの文章の近さは確率分布どうしの近さとして測れます。ジェンセン・シャノン情報量はカルバック・ライブラー情報量を左右対称にして値を有限に収めた量で、距離に近い扱いができる点が類似度として使いやすい理由です。カーネル関数は、2 つのデータの内積を高次元の特徴空間で計算したものとみなせる関数で、サポートベクターマシンはこれを類似度として使い、分類の境界と最も近いデータとの間隔を最大にする分類器です。文章を数値の特徴に置き換える作業は 自然言語処理 の入口でもあり、距離、情報量、カーネルという 3 種の測り方を同じ題材の上で比べられる点が、この並びの読みどころと読めます。

仕組みを数理で押さえたい人への前提と、配布サンプルの形式

版元のサポートページでは、サンプル・プログラムが ipynb 形式 (Jupyter Notebook の形式) で配布され、Google Drive に上げて Google Colaboratory 上で実行する手順が案内されています。手元に開発環境を組まなくても、ブラウザーでノートブックを動かしながら読み進められる形です。サポートページには 2022 年 5 月 10 日付で、ジェンセン・シャノン情報量の式に関する訂正も掲載されているため、3 つ目のまとまりを読む前に確認しておくと安心です。主な内容には確率の基礎を扱う節が置かれていますが、数式そのものに不安がある場合は、機械学習に必要な数学の本の選び方 を参考に、数学の土台を補う本と組み合わせる手もあります。一方、主な内容に名前が出る学習器はカーネルマシンとサポートベクターマシンで、ニューラルネットワークや深層学習の項目は見当たりません。画像認識や大規模言語モデルの実装を目当てにする人は、別の本を選ぶほうが目的に近づきます。

分類器の出力を「なぜそう判定したのか」と説明できるようになりたい人、あるいは特徴設計とハイパーパラメーターの調整を何度も回す実務の流れを、小さな題材で一度通して体験しておきたい人にとって、1 つのゲームを距離、情報量、カーネルの 3 通りで解き直す本書の構成は、手法どうしの違いを自分の言葉で整理する助けになります。類似度という切り口で機械学習を見直したい段階で手に取ると、元の取れる一冊です。