効果検証入門 : 正しい比較のための因果推論/計量経済学の基礎

広告のメールを送った人と送らなかった人の購買額を比べても、それだけでは広告の効果は分かりません。『効果検証入門〜正しい比較のための因果推論 / 計量経済学の基礎』 (安井 翔太 著、株式会社ホクソエム 監修、技術評論社、2020 年 1 月刊) は、こうした単純な比較がなぜ誤った結論を導くのかを出発点に、施策の効果をより正しく測るための計量経済学の考え方と分析手法を、R のコードとともに解説する入門書です。版元は対象を、効果検証を行う必要のあるエンジニアやデータサイエンティストとしています。著者は経済学の修士号を取得したのちサイバーエージェントで広告効果の検証などに携わり、刊行時点では同社 AI Lab の経済学チームを率いていました。

セレクションバイアスと RCT から RDD までの 5 章構成

序章で、思い込みによる意思決定と、バイアスによって効果を見誤る問題を提示したうえで、本編は 5 章に進みます。1 章はセレクションバイアスと RCT (ランダム化比較試験) で、ポテンシャルアウトカムフレームワークによる効果の定義と、メールマーケティングの疑似データを使った検証を扱います。2 章は介入効果を測るための回帰分析で、脱落変数バイアス (OVB) や Conditional Independence Assumption、介入の後に決まる変数を入れてしまう Post treatment bias を取り上げます。3 章は傾向スコアを用いた分析で、傾向スコアマッチングと逆確率重み付き推定 (IPW) を、職業訓練の効果を調べた LaLonde データセットにも当てはめます。4 章は差分の差分法 (DID) と CausalImpact、5 章は回帰不連続デザイン (RDD) です。巻末には R と RStudio の基礎を扱う付録と、因果推論をビジネスで使える環境を論じる締めくくりの節が続き、参考文献は各章末に置かれています。

単純な比較が施策の効果を見誤るしくみ

版元の概要が例に挙げるのは DM の送付です。担当者は反応率を上げたいので、反応しやすそうな人にだけ DM を送ります。すると、受け取った人の購買が多かったとしても、その差には DM の効果だけでなく、もともと買う気のあった人を選んで送ったことによる差が混ざります。これがセレクションバイアスで、データが生まれる過程に人の意思が入るビジネスの現場では、ごく普通に起きます。理想は、誰に介入するかをくじ引きのように無作為に決める RCT で、Web サービスでおなじみの A/B テスト もこの考え方に立っています。しかし RCT は費用がかかり、すでに終わった施策や、全員に一斉に適用したキャンペーンにはそもそも使えません。そこで、手元にある観察データから、介入の決まり方についての仮定を置いて RCT に近い比較を作り直すのが因果推論の手法です。回帰分析は比べたい条件をそろえる道具として、傾向スコアは介入を受ける確率で似た人どうしを比べる道具として、DID は介入の前後の変化を比べる道具として、RDD は「一定の基準を超えた人だけに介入する」というルールの境目を利用する道具として使われます。本書は手法ごとに、どんな仮定が満たされれば効果を推定できるのかを、4 章の平行トレンド仮定や 5 章の non-manipulation のように明示して扱っています。

R の基礎と統計の前提、読み進めるうえでの注意

分析例は R 言語 で書かれており、付録で R と RStudio のインストールからデータフレームやパッケージの使い方までを扱っているので、R を使ったことがない人でも環境は整えられます。一方で統計学の前提はある程度必要で、平均の比較、有意差検定、回帰分析の係数と標準誤差といった言葉を一度は学んだことがあると、各章の議論についていきやすくなります。1 章で有意差検定の概要と限界に触れるとはいえ、統計学そのものを基礎から教える本ではありません。また本書の重心は、どの手法をどんな状況で選び、結果をどう疑うかという実務の判断にあります。推定量の性質を数学的に証明していく計量経済学の教科書を求める人には物足りない一方で、その種の教科書に進む前の見取り図としては使いやすい構成です。

広告やメール配信、価格変更、キャンペーンなどの施策を打ったあとに「本当に効いたのか」を説明する立場にある人にとって、単純な集計の何が危ういのかを言葉にでき、状況に合った手法を選べるようになる本書の価値は大きいはずです。データ分析の部署で結果を報告する人だけでなく、その報告を受けて意思決定をする企画やマーケティングの担当者が読んでも、分析結果を鵜呑みにせず問い返す視点が身に付きます。