Python データエンジニアリング入門

データサイエンスを実応用するための基本を押さえる!
データエンジニアリングは、データサイエンスを現実に意味のある形に使えるようにし、実装・運用できるようにすることを指します。
データサイエンスを機器や分析に実応用するためには、Python スクリプトの高速化の知識や、センサ信号の取得、アクチュエータ制御に必須となる通信、インタフェース駆動といった外部デバイスとのデータアクセスの基本と応用についてのスキルの修得が必要となります。本書は、これらのデータをエンジニアリングするための入門的な知識を解説するものです。

Python で書いたデータ処理を速く動かし、センサーやアクチュエータといった外部の機器とデータをやり取りさせるための基本と応用を解説する入門書です。『Python データエンジニアリング入門』 (橋本 洋志、牧野 浩二、佐々木 智典、横田 祥 著、オーム社、2020 年 4 月刊) は副題を「高速化とデバイスデータアクセスの基本と応用」とし、版元の紹介文では、データエンジニアリングを、データサイエンスを現実に意味のある形に使えるようにし、実装 / 運用できるようにすることと説明しています。分析の成果を機器や現場の処理へつなぐための技術に焦点を当てた一冊です。

高速化とデバイスデータアクセス、副題が示す 2 本の柱

版元の紹介文は、データサイエンスを機器や分析に実応用するために必要なスキルとして、Python スクリプトの高速化の知識と、センサー信号の取得、アクチュエータ制御に必須となる通信、インタフェース駆動といった外部デバイスとのデータアクセスを挙げ、本書をそれらの入門的な知識を解説するものと位置づけています。前者は処理を実用的な時間で回すためのプログラムの組み立て方、後者は計測や制御の機器と Python のプログラムとの間でデータを受け渡す方法にあたります。分析の手法そのものではなく、分析を実際に動かす側の技術を扱う点が、書名から受ける印象との大きな違いです。

基礎編、高速化編、デバイスデータアクセス編の 3 編 15 章

版元のサイトに掲載された主要目次では、本書は 3 編 15 章で構成されています。1 編の基礎編は、データエンジニアリングとは何かに始まり、コンピューター工学の基礎、Intel CPU の工夫、デバイスデータアクセスの基礎の 4 章です。2 編の高速化は、少しの工夫で速くする方法から、NumPy の使用、C/C++ のモジュールを呼ぶ方法、マルチプロセス、Python のコンパイル、GPU の使用までの 6 章で、手軽な手段から順に並んでいます。3 編のデバイスデータアクセスは、IoT の実現に必要な機能を整理したうえで、USB、Bluetooth、有線 LAN と Wi-Fi のそれぞれを用いたデータ転送を章ごとに扱い、最後にセンサー信号処理と制御の例で締めくくる 5 章です。副題の 2 本の柱がそのまま 2 編と 3 編にあたり、その前に CPU の仕組みと機器との受け渡しの基礎を置く組み立てになっています。

Python の速度と機器との通信、分析を現場で動かすときの壁

Python はインタプリターで実行され、変数の型も実行時に決まるため、要素ごとの繰り返し処理をそのまま書くと、C 言語などで書いた処理に比べて大きく遅くなることがあります。対策には、配列の演算をまとめて実行するベクトル化、重い部分を JIT コンパイル や C の拡張で置き換える方法、複数のプロセスに処理を分ける方法などがあり、どこが遅いのかを測ってから手段を選ぶことが要になります。もう一方の機器とのやり取りでは、センサーの値を決まった周期で取りこぼさずに読み取り、モーターなどのアクチュエータへ指令を送るために、通信の手順や機器側のインタフェースを駆動する方法を理解しておく必要があります。計測した値を分析し、その結果で機器を動かすという流れは IoT やロボット、計測制御の分野に共通しており、処理の速さと機器との受け渡しの両方がそろって初めて、分析が実際の装置の上で働くようになります。

Python の基礎を終えた人向け、ETL や分析基盤を学びたい人は別の本を

版元はおすすめの読者として、Python の高速化手法を知りたい人、Python でハードウェアのデータ取得や制御を行いたい人、工学系の大学 / 高専 / 工業高校の学生と先生、データサイエンティストを目指す人を挙げています。紹介文が示す主題はデータのエンジニアリングであり、Python の文法そのものを一から学ぶ構成とは説明されていません。文法や標準的なライブラリの使い方に不安がある場合は、Python の入門書の選び方 を参考に基礎を固めてから読むほうが進めやすくなります。一方で、データベースへの取り込みやワークフローの定期実行、クラウド上のデータ基盤の設計といった、いわゆるデータパイプラインや分析基盤の構築を学びたい人には、書名の語から想像する内容と主題が異なるので注意してください。2020 年刊の本であり、扱う環境やライブラリも刊行時点のものが前提です。

研究室や開発の現場で計測データを Python で扱い始めた学生や技術者、分析で得たモデルを機器の制御に組み込みたいエンジニアにとって、処理の速度と機器とのデータの受け渡しという、分析の外側で必ず突き当たる課題に入門の段階から向き合える点が、本書を選ぶ理由になります。