ストリーム処理

ストリーム処理とは

ストリーム処理 (Stream Processing) は、到着し続けるデータをためずに、届いたその場で処理していく方式である。バッチ処理が「一定量ためてから一括で処理」するのに対し、ストリーム処理は入力に終わりがないものとして扱う。この「終わりがない」という前提が設計上の分かれ目になる。バッチ処理なら集計対象は「ファイルの最後まで」で確定するが、ストリーム処理では「いつ集計を確定させるか」を自分で決めなければならない。後述するウィンドウとウォーターマークは、この確定タイミングを決めるための仕組みである。

バッチ処理との比較

同じ集計処理でも、レイテンシと確定のしかたが変わる。

観点	バッチ処理	ストリーム処理
レイテンシ	高い (分〜時間)	低い (ミリ秒〜秒)
データ量	大量を一括処理	1 件ずつ or 小バッチ
処理タイミング	スケジュール実行	イベント駆動
集計の確定	入力の終端で確定	ウィンドウの締めで確定
用途	日次集計、ETL	リアルタイム分析、アラート

両者は排他ではない。ストリームで即時のアラートを出しつつ、同じデータを保存してバッチで日次の確定値を作り直す構成が実務では多い。ストリーム側は遅延データを取りこぼす可能性があるため、正確さが要る帳票はバッチ側の再計算を正とする。

イベント時刻と処理時刻

ストリーム処理でつまずきやすいのは、「時刻」が 2 種類あることである。

イベント時刻 (event time): そのイベントが発生元の端末で起きた時刻。通常はレコードの中に埋め込まれて運ばれる。イベント時刻で処理する場合、時間の進みはデータに依存し、処理機の壁時計には依存しない。
処理時刻 (processing time): その処理を実行しているマシンのシステム時刻。時間ベースの操作はすべてこの時計で動く。

処理時刻は実装が最も単純で、遅延も最小になる。ただし結果が実行タイミングに左右される。同じ入力を再実行しても、到着の順やタイミングが変われば集計結果が変わるため、再現性がない。イベント時刻なら、到着が乱れても「いつ起きたか」で振り分けるので、再実行しても同じ結果になる。

モバイル端末やオフライン対応アプリのログのように、発生から到着までが数分〜数時間ずれ得る入力では、処理時刻で集計すると「19 時台の売上」に 20 時到着分が混ざる。障害の指標や課金の集計をイベント時刻で組むべきなのはこのためである。

ウィンドウ処理

終わりのないストリームを集計するために、時間やカウントで区切る。この区切りがウィンドウである。

ウィンドウ	説明	例
タンブリング	固定長、重複なし	5 分ごとの売上集計
スライディング	固定長、重複あり	直近 5 分の移動平均
セッション	無活動の間隔で区切る	ユーザーセッションの分析

スライディングウィンドウは 1 件のイベントが複数のウィンドウに属するため、状態量とスライド幅が反比例する。ウィンドウ長 5 分・スライド 10 秒なら 1 件が 30 個のウィンドウに入り、保持する状態も出力量も 30 倍になる。滑らかなグラフが欲しいという理由だけでスライド幅を詰めると、メモリと出力先の負荷でここが先に壊れる。

セッションウィンドウは長さが固定されず、無活動の間隔 (ギャップ) で切れる。ギャップを長く取ると、活動が続くユーザーのウィンドウがいつまでも閉じず、状態が膨らみ続ける。

ウォーターマークと遅延データ

イベント時刻でウィンドウを締めるには、「イベント時刻がどこまで進んだか」を知る必要がある。それを担うのがウォーターマークで、データストリームの中をタイムスタンプ付きのマーカーとして流れる。ウォーターマーク (t) は「このストリームのイベント時刻は t まで到達した、つまり t 以前のタイムスタンプを持つ要素はもう来ないはずだ」という宣言である。ウィンドウはこの宣言を受けて締められる。

ここに設計上のトレードオフがある。ウォーターマークを最新のイベント時刻ぎりぎりに進めれば結果は早く出るが、遅れて届いたイベントは締め切り後に来る。逆に余裕 (許容する遅れ) を大きく取れば取りこぼしは減るが、その分だけ結果が遅くなる。「リアルタイム」と「完全性」はこの一点で交換関係にある。

ウォーターマークより後に届いたイベントの扱いは、あらかじめ決めておく。捨てる、別の出力へ振り分けて後で突き合わせる、確定済みの結果を更新する、のいずれかである。何も決めないと、静かに捨てられて数字が合わない障害になる。

なお、パーティションが並列に流れている場合、下流のウォーターマークは各入力の最小値で決まる。したがって 1 つのパーティションだけデータが来ないと、そこで全体のイベント時刻が止まり、他のパーティションのウィンドウも締まらない。「一部のシャードだけ流量ゼロ」でウィンドウ出力が止まる詰まりは、この性質から来る。