Federated Learning

複数のデータ所有者が、各自の持つ学習データを秘匿したまま、協力して機械学習モデルを構築するにはどうすればよいだろうか? 従来型の機械学習のアプローチでは、すべてのデータを 1 か所 (通常はデータセンター) に集める必要がある。

しかし、これはユーザーのプライバシーやデータの機密性に関する法律に違反する可能性がある。現在、世界中の多くの地域が、プライバシーに関する法律に従ってユーザーのデータを慎重に扱うことをテクノロジー企業に課している。欧州連合 (EU) が 2018 年に施行した EU 一般データ保護規則 (GDPR) は、そのような法律の代表例である。本書では、この問題の解決策となる連合学習 (federated learning) について解説する。連合学習は、分散機械学習、暗号とセキュリティ、経済学とゲーム理論に基づくインセンティブメカニズムを組み合わせた新しい手法である。本書では、プライバシーの保護を目的としたさまざまな機械学習技術とその技術的背景について説明し、代表的な実用例を紹介する。そして、社会的ニーズが高まりつつある「責任ある AI」 (responsible AI) を開発・実用化するための技術として、次世代の機械学習の基盤となりうる連合学習の可能性を示す。

[原著: Federated Learning, Morgan & Claypool Publishers, 2019]

医療機関どうし、あるいは銀行と EC 事業者のように、それぞれが顧客データを持ちながら法規制や機密保持のために一か所へ集められない場面で、生データを動かさずに機械学習モデルを共同で訓練する枠組みが連合学習 (federated learning) です。『Federated Learning プライバシー保護下における機械学習』 (Qiang Yang、Yang Liu、Yong Cheng、Yan Kang、Tianjian Chen、Han Yu 著、株式会社ホクソエム 監訳、牧山幸史 / 高柳慎一 / 林樹永 訳、共立出版、2022 年 10 月刊) は、Morgan & Claypool Publishers から 2019 年に出た原著 Federated Learning の日本語訳で、連合学習の定義から水平 / 垂直 / 転移の 3 類型、インセンティブ設計、応用事例、データ保護法制までを 1 冊にまとめた専門書です。版元の紹介文は連合学習を、分散機械学習、暗号とセキュリティ、経済学とゲーム理論に基づくインセンティブメカニズムを組み合わせた手法と説明しています。

全 11 章と付録 A の構成、基礎技術から連合学習の 3 類型へ

構成は全 11 章に付録 A を加えた形です。第 1 章がイントロダクションとして連合学習の定義と歴史を押さえ、第 2 章がプライバシー保護機械学習の脅威モデルとプライバシー保護技術、第 3 章が分散機械学習とプライバシー保護勾配降下法という、連合学習を支える 2 本の土台を扱います。第 4 章から第 6 章が中核で、水平連合学習では連合平均アルゴリズム (FedAvg) とその改善、垂直連合学習ではアーキテクチャとアルゴリズム、連合転移学習では異種連合学習とそのフレームワークを順に解説します。第 7 章は貢献への報酬と公正さを意識した利益分配というインセンティブメカニズムの設計、第 8 章はコンピュータビジョン、自然言語処理、推薦システムでの連合学習、第 9 章は 強化学習 の導入から連合強化学習の分類までを扱います。第 10 章の応用事例集は金融、ヘルスケア、教育、アーバンコンピューティングとスマートシティ、エッジと IoT、ブロックチェーン、5G モバイルネットワークの 7 分野に及び、第 11 章のまとめと展望の後、付録 A で EU、アメリカ、中国のデータ保護の法整備を概観します。

データを動かさずに学習することの何が難しいのか

従来の機械学習は、訓練データをデータセンターに集約してから最適化を回す前提で組まれてきました。連合学習ではデータは各参加者の手元に置いたまま、各参加者がローカルでモデル更新 (勾配や重みの差分) を計算し、それをサーバーが集約して共通モデルを更新します。単純に見えるこの設計には少なくとも 3 つの難所があります。第 1 に通信と収束の問題で、参加者ごとにデータの分布が偏っている (非 IID) 状況では、集約を繰り返しても中央集約型と同じ精度に届かないことがあり、FedAvg の改善研究はまさにここを狙っています。第 2 に、モデル更新そのものから元データの情報が漏れ得ることで、差分プライバシー、秘密計算、暗号化 を伴う集約といったプライバシー保護技術を組み合わせる必要が生じます。第 3 に、データを持つ組織が自らのコストを負って参加する動機をどう設計するかという経済学の問題で、第 7 章のインセンティブメカニズムはこの視点に応えるものです。加えて、参加者が同じ特徴を持つ別々の利用者の集まりなのか (水平)、同じ利用者について別々の特徴を持つ組織どうしなのか (垂直) で、必要なアーキテクチャも暗号プロトコルも変わります。本書がこの類型を章立ての軸にしていることは、案件がどの型に当たるかを最初に判定するという実務の手順とそのまま対応しています。

機械学習の基礎を前提とした難易度と、2019 年原著という時点

機械学習の基礎 (損失関数、勾配降下法、過学習と汎化の考え方) と、線形代数 / 確率の初歩を身につけていることが前提です。一方、暗号やゲーム理論、強化学習を専門としない読者に向けては、第 2 章のプライバシー保護機械学習とは何か、第 9 章の強化学習の導入のように、各章が定義から入る目次構成になっています。注意点は時点です。原著は 2019 年刊で、日本語版は 2022 年 10 月に出ました。連合学習は 2019 年以降も実装フレームワークや研究成果の更新が続く領域なので、本書は 2019 年時点の研究の到達点と分類を体系的に示す基礎文献として読み、個別手法の新しい結果は論文で補う使い方が適切です。付録 A のデータ保護法制も、版元紹介文が 2018 年施行の EU 一般データ保護規則 (GDPR) を代表例として挙げているとおり、刊行時点の整理として読む必要があります。

連合学習の本を選ぶべき人と、向かない使い方

本書で得られるのは、連合学習の案件を水平 / 垂直 / 転移のどの型に当たるかで切り分け、集約アルゴリズムとプライバシー保護技術の組み合わせを選択肢として並べ、参加組織間の利益分配まで含めて設計を語れる見取り図です。医療 / 金融 / 通信で複数組織のデータ連携を伴う機械学習の企画や技術選定を担うデータサイエンティストやアーキテクト、連合学習の論文を読み始める前に用語と分類を整理したい大学院生には、投じた時間の回収が早い 1 冊です。逆に、目次にはフレームワークを使った実装演習に当たる章が無いため、コードを書きながら連合学習を試したい人は本書で設計の全体像をつかんだ後に各フレームワークの公式文書へ進む形になります。機械学習そのものをこれから学ぶ段階の人は、先に 機械学習の技術書ガイド で基礎を固める本を選んでから戻ってくるのが順序としては自然です。データを集約できないという制約を前提に、それでも組織を越えて学習させる道筋を体系的に知りたい人にとって、日本語で読める本書は確かな出発点になります。