トピックモデル

日々生成されるデータを「意味」のある情報としてとらえるための基礎技術を、その牽引役の 1 人が丁寧に解説した。離散確率分布の基礎から各種モデル、テキストデータにとどまらない応用事例までが 1 冊にまとまり、学びやすい。書籍初収録の例も豊富に含まれている。コンパクトでありながら、親切な記述なので、ついていける、読み通せる。

離散確率分布の基本から、各種モデル、応用事例、今後の展開までが 1 冊で見通せる。日々生成されるデータはそのままでは意味を成さない。機械がデータの意味を発見できる背景、理論、応用がわかる。

【機械学習プロフェッショナルシリーズ】
本シリーズでは、発展著しい機械学習技術の数学的な基礎理論、実用的なアルゴリズム、それらの活用法を、全 29 巻にわたって刊行する。
ビッグデータ時代を牽引している若手・中堅の現役研究者が、入門的な内容から最先端の研究成果までをわかりやすく解説。
これからデータサイエンス分野で研究を始めようとしている大学生・大学院生、および、機械学習技術を基礎科学や産業に応用しようとしている研究者・技術者に向けた注目のシリーズである。

全 29 巻のうち第 1 期として、以下の 4 点を同時刊行!

『機械学習のための確率と統計』杉山 将・著
『深層学習』岡谷 貴之・著
『オンライン機械学習』海野 裕也 / 岡野原 大輔 / 得居 誠也 / 徳永 拓之・著
『トピックモデル』岩田 具治・著

第 2 期の刊行は 2015 年 8 月、第 3 期の刊行は 2015 年 12 月の予定 (＾o＾)/

【シリーズ編者】
杉山 将 東京大学大学院新領域創成科学研究科 教授
シリーズの刊行にあたって
はじめに
第 1 章 確率の基礎
第 2 章 ユニグラムモデル
第 3 章 混合ユニグラムモデル
第 4 章 トピックモデル
第 5 章 トピックモデルの拡張: 他の情報も利用する
第 6 章 トピックモデルの拡張: トピックに構造を入れる
第 7 章 文書以外のデータへの適用
第 8 章 トピック数の推定
付録 A 代表的な確率分布
参考文献
索引

文書の集まりから、それぞれの文書が何の話題でできているかを確率モデルで推定するのがトピックモデルです。『トピックモデル』 (岩田 具治 著、講談社、2015 年 4 月刊) は、この手法を離散確率分布の基本から各種モデル、応用事例、今後の展開まで 1 冊で見通せるように解説した、機械学習プロフェッショナルシリーズ (シリーズ編者 杉山 将) の一冊です。シリーズの対象は、データサイエンス分野で研究を始めようとしている大学生 / 大学院生と、機械学習技術を基礎科学や産業に応用しようとしている研究者 / 技術者で、本書は『機械学習のための確率と統計』『深層学習』『オンライン機械学習』とともにシリーズ第 1 期として同時に刊行されました。

全 8 章の構成、ユニグラムモデルからトピック数の推定まで

本文は全 8 章と付録 A です。第 1 章「確率の基礎」で同時確率や周辺化、ベイズの定理、カルバック・ライブラー・ダイバージェンス、イェンゼンの不等式、ラグランジュの未定乗数法と、ベルヌーイ分布からディリクレ分布までの確率分布を整理します。第 2 章「ユニグラムモデル」は文書表現から始まり、最尤推定、最大事後確率推定、ベイズ推定、ベイズ予測分布、ハイパーパラメーター推定、モデル選択と、推定の考え方を最も単純なモデルで一通り示します。第 3 章「混合ユニグラムモデル」で EM アルゴリズム、変分ベイズ推定、ギブスサンプリングを導入し、第 4 章「トピックモデル」では同じ 3 つの推定法をトピックモデルに当てはめたうえで、MAP 推定と変分ベイズ推定とギブスサンプリングの関係、潜在意味解析、評価尺度、実験へ進みます。易しいモデルで推定法を一度通してから本題に入る順序が、目次からはっきり読み取れます。

後半の第 5 章は他の情報も利用する拡張として、結合トピックモデル、対応トピックモデル、著者トピックモデル、トピック追跡モデルなどを扱い、第 6 章はトピックに構造を入れる拡張として、相関トピックモデル、パチンコ配分モデル、確率的潜在意味可視化を取り上げます。第 7 章は文書以外のデータへの適用で、画像の BOW 表現とコーディネート推薦、ネットワークの確率的ブロックモデルを扱い、第 8 章はトピック数の推定として、ディリクレ過程、中華料理店過程、棒折り過程から階層ディリクレ過程と中華料理店フランチャイズへ進みます。付録 A には正規分布やガンマ分布、ウィッシャート分布を含む代表的な確率分布がまとめられています。

文書を話題の混ざり合いとして捉える考え方

自然言語処理 で文書を統計的に扱うとき、最も素朴な出発点は、語順を捨てて単語の出現回数だけを見る表現です。そのうえで、文書全体の単語が 1 つの分布から生まれると考えるのがユニグラムモデル、文書ごとに 1 つの話題を選んでから単語が生まれると考えるのが混合ユニグラムモデルです。ところが実際の文書は、たとえば経済と技術の両方にまたがるように、複数の話題を含みます。トピックモデルは文書ごとに話題の混合比を持たせ、単語 1 つずつにどの話題から生まれたかという潜在変数を割り当てることで、この性質を表現します。一般に潜在ディリクレ配分法 (LDA) と呼ばれる考え方で、ディリクレ分布が混合比の事前分布として働きます。難しいのは、潜在変数が単語の数だけあるため事後分布を厳密には計算できない点で、変分ベイズ推定のように近似した分布を最適化する方法と、ギブスサンプリングのように標本を繰り返し引く方法のどちらかで推定することになります。本書の第 4 章では、4.6 節で MAP 推定と変分ベイズ推定とギブスサンプリングの関係を整理しています。得られる話題は単語の分布として人が読めるので、word2vec のような分散表現とは違い、文書の集まりの中身を説明する道具として使える点が強みです。

確率の基礎から数式を追って理解したい人へ

確率分布やベイズの定理は第 1 章で扱われるため、それらを別の本で先に固めておくことは必須ではありません。一方で、導出の道具としてラグランジュの未定乗数法やイェンゼンの不等式を使う構成なので、対数や偏微分の計算に抵抗があると数式を追う手が止まりやすくなります。その場合は 機械学習に必要な数学の本ガイド で自分に合う水準の数学書を選んでから戻ると、推定式の導出を自分で再現できるようになります。また、目次に特定のプログラミング言語やライブラリによる実装の章は無く、2015 年時点の整理として確率モデルの理論と推定法を学ぶ本です。ライブラリを呼び出してすぐに話題を抽出したい人には、実装中心の本を別に用意するほうが目的に合います。

逆に、トピックモデルを自分の研究や業務のデータに合わせて拡張したい人、推定の式がどこから来るのかを理解したうえで道具を選びたい人にとって、ユニグラムモデルから階層ディリクレ過程までを同じ記法でたどれる本書は手元に置く価値のある一冊です。文書だけでなく画像やネットワークへの適用例も含まれているため、購買履歴やログのような離散データの分析に応用を考えている人にも、考え方の土台として役立ちます。