図解即戦力 ビッグデータ分析のシステムと開発がこれ 1 冊でしっかりわかる教科書

近年はビッグデータを分析し、ビジネスに活かすのは当たり前の時代となりました。今後 IoT や AI などの活用が期待される中、データを分析するだけではなく、データを集める・溜める・活用することが重要になってきています。本書は一般的なインターネット事業を展開する企業において、ビッグデータ分析システムをしっかり本番システム化する基本知識を図とともにわかりやすく解説しています。

本書は、一般的なインターネット事業を展開する企業におけるビッグデータ分析システムを題材に、分析の仕組みを本番システムとして動かすための基本知識を図とともに解説する入門書です。著者は渡部徹太郎、版元は技術評論社で、図解即戦力シリーズの 1 冊として 2019 年 11 月 7 日に発売されました。版元の紹介文は、データを分析するだけでなく、データを集める、溜める、活用することが重要になっていると述べ、おすすめの読者として「ビッグデータの全体像を理解し、ビジネスや開発に応用したい人」を挙げています。刊行時の版元の著者紹介では、著者は野村総合研究所でシステム基盤とオープンソースミドルウェアの技術サポートを担当し、リクルートテクノロジーズで全社横断のデータ分析基盤のリーダーを務めたのち、JapanTaxi 株式会社でデータプラットフォームを担当しています。

全 8 章の構成、分析の全体像からメタデータ管理まで

本文は全 8 章です。第 1 章「ビッグデータ分析の全体像」は、分散処理と機械学習の位置づけ、企業の活用段階、データビジネスとサイエンスとエンジニアリングという三つの役割を整理し、節題に「エンジニアリングの希少価値」を掲げます。第 2 章「ビッグデータ分析システムのアーキテクチャ」は、データの生成と収集、蓄積、活用という全体の流れを示します。第 3 章「分散処理の基礎」と第 4 章「機械学習の基礎」が土台の技術を扱い、第 5 章「ビッグデータの収集」、第 6 章「ビッグデータの蓄積」、第 7 章「ビッグデータの活用」が第 2 章の流れの順に各工程を取り上げ、第 8 章「メタデータ管理」で終わります。

分散処理と機械学習の基礎、性能のボトルネックから

第 3 章は、性能問題対応の基本としてのボトルネック解析から始まり、分散ストレージ、分散計算、分散システムのネットワーク、リソースマネージャーを経て、分散処理の作り方を Hadoop、自前開発、クラウドサービスの 3 つの選択肢で扱います。第 4 章は、機械学習の開発プロセスを、データの準備と前処理、モデル推定とシステム化、本番リリースとエンハンスの 3 節に分けて追い、ディープラーニング、機械学習ツール、サイエンスとエンジニアリングの役割分担へ進みます。機械学習の手法の数理を主題にした章は目次になく、第 4 章も開発プロセスとシステム化の側から機械学習を扱います。

1 台のマシンでは、ディスクの読み書きやプロセッサーの計算、ネットワークの転送のどれか 1 つが処理全体の速さの上限を決めます。分散処理は、データを複数のマシンに分けて置き、それぞれのマシンが手元のデータを並行して処理することで、この上限を台数の側へ押し広げる考え方です。Hadoop の分散ファイルシステム HDFS と MapReduce はこの考え方を実装した代表的なソフトウェアで、YARN のようなリソースマネージャーが、多数のマシンの CPU とメモリを複数の処理へ割り当てます。

収集、蓄積、活用の工程と、データの来歴と鮮度の管理

第 5 章はバッチデータ収集とストリームデータ収集の区別から始まり、ファイル、SQL、データ出力や更新ログ同期、API とスクレイピングによる収集、分散キューを使ったストリームデータ収集、データ構造変更対応を扱います。第 6 章はデータレイクとデータウェアハウス、アナリティック DB、列指向フォーマット、SQL on Hadoop、DWH 製品を、第 7 章はデータマート、アドホック分析とその環境の構築、データ可視化、データアプリケーションを取り上げます。第 8 章は静的メタデータと動的メタデータの区別に続いて、データ構造管理、データリネージ管理、データ鮮度管理を扱い、どのように定義されたデータか、どこから来てどこへ行くのか、いつ時点のデータなのかを追う仕組みを示します。

発生したデータを途切れなく受け取り、流れたまま集計や変換にかける手法を ストリーム処理 と呼びます。送り手と受け手の間には Apache Kafka のような分散キューが入り、両者の処理速度の差を吸収します。業務のデータベースから変更分だけを継続して取り出す方法は 変更データキャプチャ と呼ばれ、データベースの更新ログを読むことで業務側への負荷を抑えます。蓄積の側では、データを列ごとにまとめて保存する 列指向ストア が、大量の行から一部の列だけを集計する分析のクエリで、読み込むデータの量を減らします。

分析基盤を本番システムにしたいエンジニアに向く入門書

第 1 章の節題の副題は「実証実験はできても本番システム化できていない」で、本書はデータを集め、溜め、活用する仕組みを本番システムとして作る側の知識を中心に据えています。版元が挙げる読者は、ビッグデータの全体像を理解し、ビジネスや開発に応用したい人で、収集から活用、メタデータ管理までの構成要素を全 8 章で扱います。一方で、本書は 2019 年 11 月の発売で、取り上げる製品やクラウドサービスはその時点の技術環境を前提にしています。データ分析の仕組みを収集、蓄積、活用の流れで扱う入門書です。