［増補改訂］ビッグデータを支える技術 --ラップトップ 1 台で学ぶデータ基盤のしくみ(ゾウホカイテイ ビッグデータヲササエルギジュツ ラップトップイチダイデマナブデータキバンノシクミ)

「ビッグデータ」をテーマに、データ分析基盤技術をまとめた解説書。
AI の発展、コンテナ技術の進歩をはじめ、ビッグデータを取り巻く技術が大きく変わり始めました。ビッグデータの技術には、元々大きく分けて 2 つのバックグラウンドがありました。一つは業務系システムで、 RDB (Relational Database) から取り出したデータをバッチ処理して役立つ情報を提供する。もう一つは Web/IoT 系システムで、 RDB では扱いきれない大量のログを分散システムを使い、データ処理をする。この 2 つの流れが融合し、膨大なデータを収集/変換し、分析/可視化するための一連の基盤システムの重要度は格段に上がりました。さらに昨今の AI/機械学習の台頭で、新たな潮流が生まれています。
本書では、ビッグデータを支える基盤技術の「今」に焦点を当て、前半ではデータ量や分散処理など基本概念の整理と、代表的なテクノロジーを徹底解説。合わせて、各技術登場の歴史的な背景も丁寧に追います。後半は実践編としてオープンソースや無償版が利用できるソフトウェアを中心にラップトップ 1 台でビッグデータを体験しながら学べるよう解説を進めます。今回の改訂では、ビッグデータの技術を活用した応用分野のうち注目度の高い機械学習や特徴量ストア、 MLOps の話題も新たに盛り込み、充実の内容でお届けします。

データ分析の世界では、分析そのものより「分析できる状態までデータを運び、整え、貯める」仕事が大きな工数を占めます。本書はこのデータ基盤を支える技術を体系的に整理した解説書で、著者は西田圭介氏。初版に増補改訂を加えた版が、技術評論社から 2021 年 2 月に刊行されました。 RDB のデータをバッチ処理する業務系システムと、大量のログを分散処理する Web/IoT 系システムという 2 つの源流が合流してデータ基盤という領域が生まれた、という見取り図が本書の出発点です。

前半は、データ量や分散処理といった基本概念の整理と代表的なテクノロジーの解説にあてられ、個々の技術が登場した歴史的背景まで丁寧に追うのが持ち味です。後半は実践編として、オープンソースや無償で使えるソフトウェアを中心に、ラップトップ 1 台でデータの収集から変換、分析、可視化までの流れを動かしながら学びます。増補改訂にあたっては機械学習や特徴量ストア、 MLOps といった応用分野の話題が新たに盛り込まれ、分析基盤と機械学習基盤の接続まで視野に入りました。

個別プロダクトの操作手順書ではなく「なぜ技術がこう組み合わさるのか」を語る本のため、 SQL とプログラミングの基礎があれば読み通せる難易度です。データエンジニアを志望する人や、アプリケーション開発からデータ領域へ足場を広げたい人の全体地図として機能し、章ごとの学びを綴った読了記事が書かれる程度には、手を動かして読まれてきた本でもあります。ツールの流行が移り変わっても、ここで得た骨格の理解は残ります。