入門 機械学習パイプライン

機械学習パイプラインについての本邦初の解説書!
機械学習を用いた本番システムの構築には、データの前処理やモデルの学習、デプロイなどのステップが必要です。しかし、これらのステップは手動で実行されることが多く、エラーの原因となっています。そこで本書では、TensorFlow のエコシステムを使用した機械学習パイプラインの構築方法について学びます。パイプラインを用いて各ステップを自動化することで、レガシーなシステムの保守から解放され、新しいモデルの開発に集中できるようになります。

『入門 機械学習パイプライン』 (Hannes Hapke、Catherine Nelson 著、中山 光樹 訳、オライリー・ジャパン、2021 年 9 月刊) は、原書 Building Machine Learning Pipelines の日本語版で、TensorFlow のエコシステムを使って機械学習パイプラインを構築する方法を解説する書籍です。版元の書籍ページでは、書名に「TensorFlow で学ぶワークフローの自動化」が添えられています。版元の紹介文には、本番システムの構築に必要なデータの前処理やモデルの学習、デプロイといったステップが「手動で実行されることが多く、エラーの原因となっています」と書かれ、パイプラインで各ステップを自動化する構築方法を学ぶと案内されています。

イントロダクションからパイプラインの未来までの全 15 章

本文は 第 1 章「イントロダクション」から 第 15 章「パイプラインの未来と次のステップ」までの全 15 章と、付録 A から付録 D の 4 本です。第 2 章「TensorFlow Extended 入門」で TFX のコンポーネントと ML Metadata、Apache Beam の基礎を扱ったあと、第 3 章「データの取り込み」、第 4 章「データ検証」、第 5 章「データ前処理」、第 6 章「モデルの学習」、第 7 章「モデル分析と検証」と、パイプラインの各ステップを順に扱います。第 8 章と 第 9 章は TensorFlow Serving を用いたモデルのデプロイ、第 10 章は TFX の高度な機能、第 11 章と 第 12 章は Apache Beam と Apache Airflow、Kubeflow Pipelines によるオーケストレーション、第 13 章はフィードバックループ、第 14 章は機械学習のためのデータプライバシーを扱います。

TFDV、TFT、TensorFlow Serving

データの取り込みから検証、前処理、学習、評価、デプロイまでの工程を自動化し、継続的に改善する実践の体系は MLOps と呼ばれます。TFX では工程ごとにコンポーネントが用意され、本書の 第 4 章は TFDV によるデータ検証、第 5 章は TFT によるデータ前処理、第 7 章は TensorFlow Model Analysis によるモデルの分析と公平性のための分析、モデルの説明可能性を取り上げます。学習時と推論時で前処理が食い違う問題は学習と推論の間のスキューと呼ばれます。本書にもこのスキューを説明するコラムがあります。第 8 章はシンプルなモデルサーバーから TensorFlow Serving のアーキテクチャ、モデルシグネチャ、REST と gRPC の比較、A/B テスト、バッチ推論へ進み、第 9 章は TensorRT、TFLite、監視、Kubernetes を用いたスケーリングを扱います。

付録 A〜D の Docker、Kubernetes、運用の事例

Kubeflow Pipelines は、コンテナで動く各工程を Kubernetes のクラスターの上で順に実行するオーケストレーションの仕組みです。付録 A「機械学習のためのインフラ入門」はコンテナ、Docker、Kubernetes の基礎と Minikube と kubectl を扱い、付録 B は Google Cloud 上での Kubernetes クラスターの用意、付録 C は Kubeflow Pipelines を運用するための Tips を扱います。付録 D「実際に運用されている機械学習パイプライン」は、Uber の Michelangelo、Spotify の ML Platform、Twitter の DeepBird-v2、Netflix の Meson、Airbnb の Bighead を取り上げます。第 15 章には、モデルの実験追跡、機械学習モデルのテスト、機械学習のための CI/CD の節があります。機械学習の本の選び方は 機械学習 / ディープラーニング本ガイド にまとめています。

本書は、パイプラインの各ステップと TFX の使い方、TensorFlow Serving によるデプロイ、Apache Beam、Apache Airflow、Kubeflow Pipelines によるオーケストレーション、フィードバックループとデータプライバシーまでを全 15 章と付録 4 本に収めています。