AWS ではじめるデータレイク

「データレイク」は、大量データ分析 / 生成データの活用を視野に入れた新しいデータストアのかたちです。従来のデータベース / データウェアハウスの範囲に収まらない多様なデータを大量に保管し、高度な統計分析や機械学習に役立つ情報基盤を作ることが可能です。
本書ではデータレイクの概念や特徴、必要とされる機能などを基本から解説し、さらに Amazon が運営するパブリッククラウドサービス AWS (Amazon Web Services) で実現する方法を解説します。
従来では想定しえなかった大量のデータを確実に保管するため、データレイクの世界ではクラウドのようなサービス型インフラストラクチャの活用が注目されます。さらに AWS ではオブジェクトストレージ S3 上のデータを直接分析する Amazon Athena、データウェアハウスの Amazon Redshift、機械学習を実現する Amazon SageMaker など、データレイクを支えるさまざまな仕組みが存在します。
本書ではそれらの活用の指針を解説するとともに、後半ではシステムの構築例を具体的に解説していきます。ビジネスデータ分析とログなどの生成データ分析を例に、システム構築の流れを詳しく紹介し、機械学習や統計分析をビジネスの現場で活かせる仕組みの技術的なヒントを数多く提供します。
第 1 部 データレイクの概念と知識

序章 データレイ クを始めよう
第 1 章 データレイクの構築
第 2 章 データレイクの活用
第 3 章 データレイクの運用
第 4 章 データレイクのセキュリティ

第 2 部 データレイクの実践 (基礎編)

第 5 章 ハンズオンの概要 -ビジネスデータのデータレイクー
第 6 章 データを可視化する
第 7 章 サーバーレス SQL によるデータ分析
第 8 章 データを変換する
第 9 章 データを分析する (データウェアハウス)

第 3 部 データレイクの実践 (応用編)

第 10 章 システムの概要 -ログデータのデータレイクー
第 11 章 ログを集める
第 12 章 ログの保管とカタログ化
第 13 章 ログを加工する
第 14 章 ログを分析する

データレイクは、形式の異なる大量のデータを生の形のまま 1 か所に貯め、使う段になってから加工と分析をかけるための置き場です。『AWS ではじめるデータレイク』 (上原 誠、志村 誠、下佐粉 昭、関山 宜孝 著、テッキーメディア、2020 年 7 月 9 日発行) は、この データレイク の概念や特徴、必要とされる機能を基本から説明したうえで、AWS (Amazon Web Services) で実現する方法と具体的なシステムの構築例までを 1 冊で扱う書籍です。副題は「クラウドによる統合型データリポジトリ構築入門」です。従来のデータベースやデータウェアハウスに収まらない多様なデータを抱え、統計分析や機械学習に使える情報基盤を AWS 上に作りたい人が主な読者になります。

3 部 15 章の構成、概念の整理から 2 種類の構築例へ

目次は 3 部に分かれ、序章と第 1 章から第 14 章が並びます。第 1 部「データレイクの概念と知識」は序章でデータレイクを始める入口を示し、第 1 章から第 4 章でデータレイクの構築、活用、運用、セキュリティを順に取り上げます。第 2 部「データレイクの実践 (基礎編)」はビジネスデータが題材で、第 5 章のハンズオンの概要に続き、データの可視化、サーバーレス SQL によるデータ分析、データの変換、データウェアハウスでの分析へ進みます。第 3 部「データレイクの実践 (応用編)」はログデータが題材で、第 10 章のシステムの概要のあと、第 11 章から第 14 章でログを集める、保管してカタログ化する、加工する、分析するという 4 段階を追います。業務データとログという性質の違う 2 種類のデータで同じ流れを 2 回たどる並びは、データの種類が変わっても基盤の組み立て方の骨格は共通していることを確かめさせる設計と読めます。

Athena と Redshift、S3 上のデータを分析する道具立て

版元の紹介文は、データレイクを支える AWS の仕組みとして、オブジェクトストレージ S3 上のデータを直接分析する Amazon Athena、データウェアハウスの Amazon Redshift、機械学習を実現する Amazon SageMaker を挙げ、本書がそれらの活用の指針を解説すると案内しています。第 7 章の章題「サーバーレス SQL によるデータ分析」と第 9 章の「データを分析する (データウェアハウス)」は、紹介文が挙げる Athena と Redshift の役割に重なると読めます。技術的な背景として押さえておきたいのは、データレイクではデータを貯める層と計算する層が分かれている点です。S3 に置いたファイルに対して、その場で SQL を投げる道具と、整形したデータを取り込んで繰り返し高速に集計する道具とでは得意な場面が違い、どちらを使うかはクエリの頻度とデータの鮮度で決まります。また、貯めたデータが何であるかを記録するカタログが無ければ、データレイクはどこに何があるか分からない保管庫になりがちです。第 3 部の章題に保管とカタログ化が並んでいるのは、この問題を構築の工程に組み込んでいるためと読めます。

著者 4 名の立場と、2020 年時点の AWS を前提にした読み方

版元ドットコムの著者プロフィールでは、志村 誠氏と下佐粉 昭氏はアナリティクス分野のスペシャリストソリューションアーキテクト、関山 宜孝氏は AWS Glue & Lake Formation 開発チームのシニアビッグデータアーキテクト、上原 誠氏はおもに ISV や SaaS の顧客の技術支援を担当するソリューションアーキテクトとして紹介されています。AWS 上のデータ活用を支援する側の技術者が書いた本という位置づけです。一方で、本書は 2020 年 7 月時点の AWS を前提にしています。コンソールの画面や各サービスの機能は刊行後に変わっている部分があり得るため、ハンズオンの手順は AWS の公式ドキュメントと照らし合わせながら進める読み方が安全です。AWS のアカウント操作と SQL の基本に一度触れておくと、第 2 部以降の手を動かす章に入りやすくなります。

AWS 以外のクラウドで同じ構成を組みたい人には、サービス名と手順が AWS に結び付いている分、読み替えの手間がかかります。反対に、社内の業務データやアプリケーションのログを AWS に集めて分析と機械学習に回す基盤を任された人や、個々のサービスの解説は読んだものの、それらをデータレイクとしてどうつなぐかの全体像がつかめていない人には、概念から 2 種類の構築例までを 1 冊で通せる本書が役立ちます。AWS の技術書を目的別に選び分けたい場合は AWS 本の選び方 も参考になります。