AWS ではじめるデータレイク(エーダブリューエスデハジメルデータレイク)
クラウドによる統合型データリポジトリ構築入門
- 著者:
- 上原 誠/志村 誠/下佐粉 昭/関山 宜孝(ウエハラ マコト/シムラ マコト/シモサコ アキラ/セキヤマ ノリタカ)
- 出版社:
- テッキーメディア
- 出版日:
- 2020年07月09日頃
- ISBN:
- 9784910313016
- 在庫:
- 在庫あり
なぜ注目されているか
書籍紹介
「データレイク」は、大量データ分析/生成データの活用を視野に入れた新しいデータストアのかたちです。従来のデータベース/データウェアハウスの範囲に収まらない多様なデータを大量に保管し、高度な統計分析や機械学習に役立つ情報基盤を作ることが可能です。
本書ではデータレイクの概念や特徴、必要とされる機能などを基本から解説し、さらに Amazon が運営するパブリッククラウドサービス AWS (Amazon Web Services) で実現する方法を解説します。
従来では想定しえなかった大量のデータを確実に保管するため、データレイクの世界ではクラウドのようなサービス型インフラストラクチャの活用が注目されます。さらに AWS ではオブジェクトストレージ S3 上のデータを直接分析する Amazon Athena 、データウェアハウスの Amazon Redshift 、機械学習を実現する Amazon SageMaker など、データレイクを支えるさまざまな仕組みが存在します。
本書ではそれらの活用の指針を解説するとともに、後半ではシステムの構築例を具体的に解説していきます。ビジネスデータ分析とログなどの生成データ分析を例に、システム構築の流れを詳しく紹介し、機械学習や統計分析をビジネスの現場で活かせる仕組みの技術的なヒントを数多く提供します。
第 1 部 データレイクの概念と知識
序章 データレイ クを始めよう
第 1 章 データレイクの構築
第 2 章 データレイクの活用
第 3 章 データレイクの運用
第 4 章 データレイクのセキュリティ
第 2 部 データレイクの実践 (基礎編)
第 5 章 ハンズオンの概要 -ビジネスデータのデータレイクー
第 6 章 データを可視化する
第 7 章 サーバーレス SQL によるデータ分析
第 8 章 データを変換する
第 9 章 データを分析する (データウェアハウス)
第 3 部 データレイクの実践 (応用編)
第 10 章 システムの概要 -ログデータのデータレイクー
第 11 章 ログを集める
第 12 章 ログの保管とカタログ化
第 13 章 ログを加工する
第 14 章 ログを分析する
技書の森解説
社内に散在するデータを一箇所に集めて分析したいが、データウェアハウスを構築するほどの予算も専任チームもない。そうした状況で AWS のマネージドサービスを組み合わせてデータレイクを立ち上げる手順を、設計思想から実装まで一冊で追えるのが本書です。 S3 をストレージ層に据え、 AWS Glue でクロール・ ETL を行い、 Athena で SQL クエリを投げるという基本アーキテクチャを、具体的な構成図とコード例で示しています。
本書の価値は「サービス単体のドキュメントを読めば分かること」ではなく、「複数のサービスをどう組み合わせてデータ基盤として成立させるか」という設計判断を体系的にまとめている点にあります。データカタログの設計、パーティション戦略、 Lake Formation によるアクセス制御など、プロジェクトの初期段階で決めておくべき事項が整理されています。
AWS の基本操作 (マネジメントコンソール、 IAM) に馴染みがあれば読み始められますが、データエンジニアリングの概念 (ETL 、スキーマオンリード、列指向フォーマット) に初めて触れる場合はやや密度が高く感じるかもしれません。 AWS 上でデータ分析基盤をゼロから組む最初の設計書として、全体像を一気に把握したいエンジニアやアーキテクトに向いています。
言及 Qiita 記事 (28 件)
【AWS】さいきょうの運用・監視構成を作成するのに参考になった書籍
♡ 184AWS, Fluentd, インフラ, grafana, TerraformAWS 12冠を達成したので、各試験の難易度や感想、どんな感じで勉強したかを書いてみる
♡ 72AWS, AWS認定試験対策, 認定試験, AWS認定試験, 12冠AWS LakeFormationの使い所とサービス設計を理解する
♡ 70AWS, データ分析, glue, DataLake, lakeformationAWS認定12冠制覇したので振り返りと学習コンテンツをまとめてみた
♡ 48AWS, Amazon, 初心者, AWS認定ソリューションアーキテクト, AWS認定試験AWS認定資格11冠の勉強方法と振り返り
♡ 32AWS, 資格, 学習, AWS認定試験, 資格勉強インフラエンジニアでもできる!データ基盤の構築に役立つコンテンツ6選
♡ 16AWS, infrastructure, データ分析, データ基盤クラウド技術書紹介(AWS/Azure/2021年編)
♡ 13AWS, Azure, Cloud, 書籍, おススメ書籍【AWS認定試験 データアナリティクス–専門知識】試験勉強時に頭に入れておきたいビックデータ分析に関する知識一言解説。+試験の感想
♡ 12das, AWS認定試験, データアナリティクス, 受験記AWS 認定データ分析 - 専門知識(DAS):合格への近道
♡ 8AWS, データ分析, データサイエンス, AWS認定試験【データレイク】データウェアハウスとデータレイクって何が違うんだろう?
♡ 7AWS, DB, データ基盤, データレイク
言及 Zenn 記事 (1 件)
この本に興味がある方におすすめ
この本に関連
関連記事
データベース本ガイド - SQL から設計まで学べる技術書の選び方
データベースの基礎から設計、パフォーマンスチューニングまで学べる技術書の選び方と学習順序を紹介します。
本についてくるダウンロード素材を使い倒す
プログラミングの本には、サンプルコードや素材のダウンロード特典がついていることがあります。この特典を活用するだけで、学習効率が大きく変わります。
機械学習・AI 本ガイド - エンジニアが読むべき技術書の選び方
機械学習の基礎から実践まで学べる技術書の選び方を紹介。「Python ではじめる機械学習」などのハンズオン本を軸に、数学が苦手な人向けの学習ルートと ML 本の賞味期限の見極め方を解説します。