ウェブ最適化ではじめる機械学習

「b ウェブサイトの UX 改善」を題材に、現実の問題をモデルに落とし込む過程を詳解!
「機械学習の手法をどうやって現実の問題に適用するか?」について悩んでいるエンジニアは数多くいると思います。本書はウェブサイトの UX 改善を題材に、A/B テストやメタヒューリスティクス、バンディッドアルゴリズムなど機械学習のアプローチを適用し、パラメーターの抽出やモデルの選択などを学べる書籍です。モデルや数式の表現を Python のコードやビジュアルなグラフでも表現し、理解の助けとしています。

ボタンの色を 2 案作って A/B テストにかけ、結果が出るまで数週間待つ。その間に負けている案を見せ続けた損失はどうなるのか、3 要素を組み合わせた 8 パターンを同じやり方で試せるのか、色のように連続的に変えられる値はどう最適化するのか。『ウェブ最適化ではじめる機械学習』 (飯塚修平 著、オライリー・ジャパン発行、オーム社発売、2020 年 11 月刊) は、こうした問いを順に引き受けながら、ベイズ統計による A/B テストを出発点に、線形モデル、メタヒューリスティクス、バンディットアルゴリズム、ベイズ最適化へと進む本です。副題は「A/B テスト、メタヒューリスティクス、バンディットアルゴリズムからベイズ最適化まで」で、版元はこの本を、ウェブサービスを成長させることを目的に「ユーザの行動を定量的に評価し、改善する手法を学ぶ書籍」と説明し、Python によるサンプルコードとグラフィカルな図版で「機械学習と統計学の基礎を丁寧に解説」する一冊と位置づけています。

全 8 章の構成、ベイズ統計の A/B テストからベイズ最適化へ

構成は全 8 章と付録 2 本です。1 章「A/B テストからはじめよう: ベイズ統計による仮説検定入門」は、「アリスとボブのレポート」という場面から入り、確率分布、加法定理と乗法定理、ベイズの定理を経て、ベイズの定理を使ったクリック率の推論、ベータ分布、HDI をつかった仮説検定へ進みます。2 章「確率的プログラミング: コンピュータの助けを借りる」で統計モデルの記述とサンプリングの実行を扱い、「なぜベイズ推論による統計的仮説検定を行うか」を問い直します。3 章「組合せのあるテスト: 要素に分解して考える」ではダミー変数、ロジスティック関数、交互作用、モデル選択が登場し、複数要素を同時に検証するときの考え方を整えます。4 章「メタヒューリスティクス: 統計モデルを使わない最適化手法」は山登り法、乱択山登り法、焼きなまし法、遺伝的アルゴリズムを扱い、遺伝的アルゴリズムによるビット絵生成という節もあります。5 章「バンディットアルゴリズム: テスト中の損失にも向き合う」で探索と活用のジレンマ、多腕バンディット問題、ε-greedy アルゴリズム、ソフトマックスアルゴリズム、トンプソン抽出、UCB アルゴリズムを押さえ、6 章「組合せのバンディット: バンディットアルゴリズムと統計モデルの出会い」で線形モデルと一般化線形モデル、文脈付きバンディット問題、MCMC によるロジスティック回帰トンプソン抽出、ベイズ線形回帰モデル、LinUCB アルゴリズムへ発展させます。7 章「ベイズ最適化: 連続値の解空間に挑む」はガウス過程とカーネルトリックを土台に、リンクテキストの色をデータで決めるという題材で GP-UCB アルゴリズムと GP-TS アルゴリズムを動かし、8 章「これからのウェブ最適化」で短期的な評価と長期的な評価、リピートユーザを考慮した最適化、解空間のデザイン、ウェブサイト以外への応用を見渡します。付録 A は行列演算の基礎、付録 B はロジスティック回帰上のトンプソン抽出で、巻末に引用文献と索引が付きます。版元ページには章ごとのサンプルコードと正誤表が掲載されています。

A/B テストの限界と、バンディット・ベイズ最適化の位置づけ

A/B テスト は、2 案に均等にトラフィックを割り当て、十分なデータが集まってから勝者を決める手法です。仕組みが単純で説明しやすい反面、テスト期間中は劣っている案にも半分のユーザを送り続けるため、その間の損失は無視されます。また、見出し / 画像 / ボタンのように複数の要素を同時に検証すると、組み合わせの数が掛け算で増え、1 パターンあたりのデータが薄くなります。さらに色や余白のような連続値は、候補を列挙する発想では最適化できません。本書の章立ては、この 3 つの壁にそれぞれ対応しています。テスト中の損失には、成績のよい案へ配分を寄せながら検証を続けるバンディットアルゴリズムで向き合い、組み合わせの爆発には要素ごとの効果と交互作用を統計モデルで表現する発想で対処し、連続値の探索には、少ない試行で関数の形を推定するガウス過程を使ったベイズ最適化を当てます。土台を一貫してベイズ統計に置いている点も特徴で、p 値による有意差判定ではなく、クリック率がどの範囲にありそうかという事後分布から意思決定を組み立てるため、バンディットのトンプソン抽出や、ベイズ最適化の獲得関数へ、同じ考え方で自然につながります。機械学習 の教科書がまず画像分類や回帰の予測精度を扱うのに対して、本書は「どの案を選ぶか」という意思決定の最適化を主題にしており、その意味で機械学習の入門書としては珍しい入口です。

前提知識は確率分布と Python、ウェブ最適化に向く読者

前提知識として必要なのは、確率分布の考え方に抵抗がないことと、Python のコードを読み、手元で動かせることです。数式は出てきますが、1 章で確率分布とベイズの定理を最初から積み上げ、行列演算は付録 A で補うので、大学の教養課程程度の数学を思い出しながら読めば追える設計です。むしろ必要なのは、実際にウェブサービスの改善に関わっていて、「A/B テストは回しているが、もう一段よい方法があるはずだ」と感じている当事者意識でしょう。著者の飯塚修平氏は、書店掲載の書誌 (出版社提供 / 刊行当時) によれば UX エンジニア、クリエイティブテクノロジストで博士 (工学)、2017 年に東京大学工学系研究科技術経営戦略学専攻の博士課程を修了し、在学中からウェブサービスの立ち上げ / 運営に携わりながらウェブ最適化の研究に従事してきた人物です。研究者としての厳密さと、サービスを実際に動かす側の視点の両方が、目次の「マーケティング会議」「チャーリーのレポート」といった場面設定に表れています。

一方で、A/B テストツールの使い方やダッシュボードの読み方を知りたいだけの人、統計学 の数式を一切見たくない人には、この本は重すぎます。また、画像認識や自然言語処理といった予測モデルの実装を学びたい人にとっては主題が異なります。逆に、ウェブサービスのグロースやマーケティング施策を担当していて、施策の判断を勘ではなく数理で下せるようになりたいエンジニアやデータ分析担当者にとっては、A/B テストの延長線上で機械学習を身につけられる、他に代わりの少ない構成の本です。ベイズ統計の入門書とバンディットの論文を別々に読むより、ウェブ改善という一本の題材で貫かれたこの一冊を手元で動かしながら読み切るほうが、実務に持ち帰れる知識として早く定着します。