統計学

統計学とは

統計学とは、データを収集・整理・分析し、そこから規則性や傾向を見いだして、不確実な状況での判断を支える学問だ。「全部を調べられない中で、一部から全体を推し量る」ことを科学的に行う点に本質がある。データサイエンスや機械学習の理論的な土台でもあり、IT の幅広い領域を下支えしている。

大きく 2 つの分野

分野	役割
記述統計	手元のデータの特徴を要約する (平均・分散など)
推測統計	一部の標本から全体の母集団を推し量る

記述統計が「いま手元にあるデータを描写する」のに対し、推測統計は「観測していない部分を確率的に推論する」。後者があるからこそ、アンケート調査や A/B テストが成立する。

IT・ビジネスでの使われ方

統計学は、Web サービスの改善判断 (A/B テストでどちらが本当に優れているか)、需要予測、品質管理、機械学習モデルの評価など、至るところで使われる。「数字が偶然なのか、意味のある差なのか」を見分ける力は、データに基づく意思決定の核心になる。

機械学習との関係と違い

機械学習は統計学と同じくデータから規則性を取り出すが、力点が異なる。統計学が「なぜその差が生まれたのかを説明し、結論の確からしさを定量化する」ことを重視するのに対し、機械学習は「理由の説明より、未知のデータへの予測精度」を優先する場面が多い。実務では両者は補完関係にあり、モデルの予測を鵜呑みにせず統計の目で評価する (過学習していないか、データの偏りはないか) ことが、データ活用の品質を決める。エンジニアが統計学を学ぶ価値は、この評価者の視点を持てる点にある。

最初に押さえる概念

入門で優先すべきは、平均と中央値の使い分け (外れ値がある年収データでは中央値が実感に近い)、ばらつきを測る分散と標準偏差、そして「偶然でもこの程度の差は出るのか」を確かめる検定の考え方だ。たとえば A/B テストでクリック率が 5.0% と 5.5% に分かれても、試行回数が少なければ偶然の範囲でありうる。差の大きさだけでなく、その差が偶然といえる確率まで見るのが統計学の流儀で、ここを飛ばすとデータに基づいたつもりの誤断を量産してしまう。

平均が外れ値に弱いのは、合計を件数で割るという定義そのものが原因だ。年収が 400・450・500・550 万円の 4 人に 5000 万円の 1 人が加わると、平均は 1380 万円へ跳ね上がる。一方の中央値は順位の真ん中を取るだけなので 500 万円のまま動かない。極端な値が「どれだけ極端か」ではなく「何番目か」しか効かないためだ。分布が左右対称に近ければ両者はほぼ一致するので、まず平均と中央値を並べて差の大きさを見るのが安全な入口になる。

試行回数がなぜ効くのかは、同じ比率が何件の当たりから出ているかを数えると見える。200 回試して当たりが 10 件なら 5.0%、11 件なら 5.5% で、当たり 1 件の違いだけで優劣が入れ替わってしまう。1 件のずれは硬貨投げ程度の偶然でも普通に起きるため、この規模では差があるとは言えない。回数を増やすと 1 件が比率に与える影響が小さくなり、偶然によるばらつきの幅も相対的に狭まる。検定はこの「偶然でもこれくらいは動く」幅を先に見積もり、観測された差がその幅に収まるかを判定する道具である。

陥りやすい誤り

統計は強力だが、誤用も多い。相関 (一緒に動く) を因果 (一方が他方を引き起こす) と取り違える、都合のよいデータだけを切り取る、サンプル数が少ないのに断定する、といった誤りはビジネスの現場でも頻出する。

相関が因果と誤読されるのは、同じ相関を生む経路が複数あるからだ。第 1 は交絡で、気温という第三の要因がアイスクリームの売上と水辺の事故の両方を押し上げるように、直接の関係がない 2 つが一緒に動く。第 2 は因果の向きの逆転で、その機能をよく使うから利用者が定着するのか、定着した利用者だからよく使うのかは、相関の数値だけでは区別できない。第 3 は選択の偏りで、続けている利用者だけを集計すれば、離脱した人に起きた不都合は最初から数字に入らない。向きを確定させたい場合は、割り当てを人為的に分ける A/B テストのように、原因側を動かして結果を見る設計が必要になる。

数字を示されたときにまず確かめるのは、母数は何件か、平均以外に中央値や分布の形はどうなっているか、比較する 2 群は同じ条件で集めたものか、の 3 点だ。この 3 点が押さえられていない数字は、計算が正しくても結論の根拠にはならない。

学習には関連書籍が役立つ。