Splunk ユーザーのためのデータ分析実践バイブル SPL と MLTK を駆使した前処理から機械学習の手続きまで

あらゆるデータの収集・検索・分析・可視化ができる
データ分析プラットフォーム×機械学習を目的別に徹底解説

本書は、Splunk を使ったデータ分析の解説書です。

効率的な前処理から機械学習までを扱い、
Splunk 上で機械学習を実現する MLTK を丁寧に解説しています。

各章は機械学習の概念に始まり、データ分析をする上で必要な基礎知識、
Splunk を用いたデータの可視化、データ加工方法の紹介から
実際にサンプルケースを用いた分析とその解説で構成されています。

Splunk を用いてデータ分析・機械学習に取り組みたい人には必読の 1 冊です。

【こんな方にお勧めします】
・Splunk を使っているが、SPL の書き方に困っている方
・Splunk での効果的なデータの可視化の方法を知りたい方
・Splunk での機械学習の方法を知りたい方

【目次】
第 1 章 Splunk について
第 2 章 機械学習の流れ
第 3 章 Splunk・MLTK による機械学習
第 4 章 Splunk へデータ登録するまでの基本的な手続き
第 5 章 特徴量を生成するための前処理と手法
第 6 章 Splunk による特徴量評価
第 7 章 機械学習の実演

社内に Splunk を入れてログやマシンデータを集めてはいるものの、SPL の組み立て方や機械学習への進め方で手が止まっている人に向けた解説書です。『Splunk ユーザーのためのデータ分析実践バイブル』 (伊藤忠テクノソリューションズ株式会社 著、翔泳社、2020 年 10 月 28 日発売) は、副題のとおり SPL と MLTK (Machine Learning Toolkit) を使い、データの前処理から機械学習の手続きまでを Splunk の上で進める方法を扱います。版元は勧める読者として、Splunk を使っているが SPL の書き方に困っている方、Splunk での効果的なデータの可視化の方法を知りたい方、Splunk での機械学習の方法を知りたい方の 3 つを挙げています。

全 7 章の構成、MLTK の導入から分類と回帰の実演まで

章立ては第 1 章「Splunk について」から第 7 章「機械学習の実演」までの全 7 章です。第 1 章で Splunk の概要と Windows 版の環境構築、MLTK の導入を済ませ、第 2 章で教師あり学習と教師なし学習、特徴量エンジニアリング、モデルの精度評価と評価指標といった機械学習の流れを整理します。第 3 章は MLTK で使えるアルゴリズムの概要で、線形回帰、ラッソ回帰とリッジ回帰、ロジスティック回帰、ナイーブベイズ、ランダムフォレスト、ARIMA、k-means と x-means、DBSCAN を取り上げ、精度評価の方法までを扱います。第 4 章はインデックスの作成、フィールドの抽出、ルックアップの登録、where や eval、stats といった基本のサーチコマンド、データモデル高速化と tstats による高速集計までを扱います。第 5 章以降は特徴量を作る前処理、特徴量の評価、最後に分類モデルと回帰モデルの作成の実演と続きます。

SPL のパイプラインと第 5 章の前処理

Splunk は取り込んだデータに対して、検索のときにフィールドを取り出して集計する作りの製品です。ログ集約 の基盤として使われることが多く、SPL はコマンドを縦棒でつないで、前の結果を次のコマンドへ渡していくパイプライン型の言語です。この形は前処理と相性がよく、時刻の変換、数量の正規化や標準化、文字列のカテゴリへの集約、欠損値の補間といった加工を、1 本のサーチ文の中で順に積み重ねられます。本書の第 5 章はまさにこの部分を、時間データ、数量データ、文字列データ、IP アドレスデータ、データセットの集約、その他の前処理という区分で細かく並べており、移動平均や ONE-HOT 化、IP アドレスからの地理情報の取得、次元圧縮による特徴量の削減まで項目が用意されています。

第 6 章の特徴量評価と、2020 年時点の版

機械学習 のモデルの出来は、アルゴリズムの選択よりも、どのような特徴量を渡すかに左右される場面が少なくありません。本書は第 6 章で特徴量評価を扱い、相関性と線形性、独立性、正規性、等分散性、分離性といった着眼点を挙げたうえで、ヒストグラムと箱ひげ図、散布図、マトリクス散布図、主成分分析の結果、相関表を Splunk で作って読む手順を示します。本書は 2020 年時点の Splunk と MLTK を前提にしています。

Splunk と MLTK の上での手続きと、第 7 章の実演

本書が扱うのは Splunk と MLTK の上での手続きです。機械学習の理論や汎用の実装の本は 機械学習の技術書の選び方 で整理しています。第 7 章の実演では、外れ値の除外や欠損値の補間、非正規分布の補正まで一連の加工を踏んでからモデルを作ります。