グラフニューラルネットワーク

グラフニューラルネットワークの理論から応用先、実装の知識まで修得できる!
深層学習をグラフ (ネットワーク) で表される構造データに対して適用するための研究が盛んになっています。グラフ中の頂点やグラフ全体を高精度に分類できれば、高度な画像認識、推薦システム、交通量予測、化合物分類、さらには新型コロナウイルス (COVID-19) への対処のための応用なども期待できます。
本書では、グラフニューラルネットワークの基本的な知識および研究事例について説明し、PyTorch による実装について紹介するとともに、今後の学習のための情報源についても解説します。
はじめに
第 1 章 グラフニューラルネットワークとは
第 2 章 グラフエンベディング
第 3 章 グラフにおける畳み込み
第 4 章 関連トピック
第 5 章 実装のための準備
第 6 章 PyTorch Geometric による実装
第 7 章 今後の学習に向けて
おわりに

グラフニューラルネットワーク (GNN) を、理論の流れと実装の両面から 1 冊で学びたい人のための入門書です。『グラフニューラルネットワーク』 (村田剛志 著、オーム社、2022 年 7 月 20 日発売) は、副題が「PyTorch による実装」で、版元の紹介文は、グラフ (ネットワーク) で表される構造データに 深層学習 を適用する研究の基本的な知識と研究事例を説明し、PyTorch による実装と、今後の学習のための情報源までを解説する本と案内しています。版元がおすすめする読者は、深層学習の新たな分野を探している大学研究者と、企業に勤める深層学習関係の技術者、大学生、大学院生で、段は初級に印が付いています。

全 7 章の構成、グラフエンベディングから実装まで

第 1 章「グラフニューラルネットワークとは」は、グラフを対象とした畳み込みの考え方と、ノード分類、グラフ分類、リンク予測、グラフ生成という機械学習タスクを整理し、画像認識、推薦システム、交通量予測、化合物分類、組み合わせ最適化、COVID-19 への応用を紹介します。第 2 章「グラフエンベディング」は次元縮約に基づく手法、グラフ構造に基づく手法 (DeepWalk、LINE、node2vec、GraRep)、ニューラルネットワークに基づく手法を順に扱います。第 3 章「グラフにおける畳み込み」は、Spectral Graph Convolution の側でフーリエ変換、グラフラプラシアン、ChebNet、GCN を、Spatial Graph Convolution の側で PATCHY-SAN、DCNN、GraphSAGE を取り上げます。第 4 章「関連トピック」はグラフオートエンコーダ、GAT、SGC、GIN に加え、敵対的攻撃、動的グラフのエンベディング、時空間グラフ畳み込みネットワーク、説明可能性まで範囲を広げます。後半の第 5 章は Python、NumPy、pandas、scikit-learn、t-SNE、Jupyter Notebook、Google Colaboratory などの準備、第 6 章は PyTorch の基礎から PyTorch Geometric のデータ構造、ミニバッチ、データ変換を経て、ノード分類とグラフ分類の実装へ進みます。第 7 章は書籍、サーベイ論文、動画、リンク集、Open Graph Benchmark という学習の手がかりをまとめています。

グラフ畳み込みが難しい理由と、スペクトルと空間の 2 つの流れ

画像は画素が格子状に並び、どの画素にも上下左右の隣がそろっているので、同じ形のフィルターを全体に滑らせる畳み込みがそのまま使えます。ノードとエッジで表すグラフ構造では、ノードごとに隣の数が違い、隣どうしに決まった順番もありません。最短経路の探索のような古典的な グラフアルゴリズム は構造をそのまま扱えますが、学習によってノードの特徴を 埋め込みベクトル として取り出すには、この不規則さを吸収する仕組みが要ります。第 3 章が並べる 2 つの流れはその答え方の違いです。スペクトルの側は、グラフラプラシアンの固有ベクトルをグラフ上のフーリエ基底とみなしてフィルターを定義し、ChebNet は固有分解の重さを多項式近似で避け、GCN はさらに近傍 1 段の集約へ単純化しました。空間の側は、隣接ノードの特徴を直接集めて更新する考え方で、GraphSAGE は近傍を抜き出して集約することで、学習時に見ていないノードにも適用しやすくしています。この 2 つの流れを同じ章で対比できることが、論文を個別に追うより速く全体の見取り図をつかめる理由です。

ノードを埋め込みベクトルにする前段と、実装で確かめる後段

第 2 章のグラフエンベディングは、ノードをグラフ上の位置関係を保った埋め込みベクトルに変える手法群で、DeepWalk はランダムウォークで得たノードの並びを文のように扱って学習します。GNN の前段にあたるこの考え方を先に押さえておくと、第 3 章以降の畳み込みが隣の情報を集めて表現を作る操作だと理解しやすくなります。第 5 章と第 6 章で道具立てを順に整えてから実装へ進む構成なので、理論の章で式を追った内容を、手元のノートブックでノード分類とグラフ分類として動かして確かめられます。一方で、目次を見る限り、ニューラルネットワークそのものの入門に章を割いた構成ではなく、ライブラリの版も 2022 年 7 月の刊行時のものが前提です。

深層学習の次の題材を探す研究者と技術者に向く一冊

画像やテキストの深層学習は一通り触れたものの、推薦、交通、化合物のように関係そのものが情報になるデータをどう扱うかで止まっている人には、手法の系譜を理論から実装まで一続きで追える本書が近道になります。新しい研究分野を探す大学研究者や大学院生にとっては、第 4 章の関連トピックと第 7 章のサーベイ論文や Open Graph Benchmark が、その先の論文を読むための足場になります。深層学習の入口から学びたい人は基礎の本を先に 1 冊済ませ、そのうえで本書に進むと、GNN を自分の課題に当てはめる判断までを 1 冊で手に入れられます。