Python で学ぶ音源分離 (機械学習実践シリーズ)

近年、AI スピーカをはじめとした音声認識システムがさまざまな場面で使われています。一般的に音声認識システムは 1 人の声を聞き取ることを想定しており、それ以外の音があると聞きたい声を正確に聞き取ることが難しくなります。「音源分離」とはさまざまな音が混ざった中から欲しい音だけを抽出する技術です。音源分離の基礎から Python を用いた実装までを詳しく解説しています。本書は中級者以上に向けた、特定の技術分野のアルゴリズムの紹介と、それを実装したコードを解説する、より技術的・実践的な「機械学習実践シリーズ」です。

『Python で学ぶ音源分離』 (戸上 真人 著、インプレス、2020 年 8 月刊) は、さまざまな音が混ざった録音から欲しい音だけを取り出す音源分離の技術を、必要な数学の基礎から Python による実装まで一冊で学ぶ専門書です。インプレスの機械学習実践シリーズの一冊で、版元は、中級者以上に向けて特定の技術分野のアルゴリズムと、それを実装したコードを解説するシリーズと説明しています。版元の紹介は、音声認識システムが基本的に 1 人の声を聞き取ることを想定しており、周囲に他の音があると聞き取りが難しくなるという課題から説き起こしています。版元の著者紹介 (刊行時) によれば、著者は音声処理の研究開発に長く携わってきた研究者です。

序章と全 11 章の構成、ビームフォーミングから残響除去まで

目次は序章と第 1 章から第 11 章までです。第 1 章 音源分離とは? で技術の全体像を具体例とともに示し、第 2 章 音声処理の基礎では音声ファイルの構造と Python のパッケージで音声ファイルを扱う方法を、第 3 章では線形代数とベクトル / 行列の微分、確率統計の基礎を、第 4 章では最適化の技法を扱います。第 5 章で Pyroomacoustics というライブラリを使い、仮想的に設定した部屋で収録した音をシミュレートする方法を身につけたうえで、第 6 章 古典的な音源分離方法 (ビームフォーミング)、第 7 章 音源方向推定に基づく音源分離、第 8 章 現代的な統計的モデルに基づく音源分離法へと進みます。第 9 章と第 10 章は残響除去と、残響除去と音源分離を統合的に実行する方法で、第 11 章では Pyroomacoustics や NARA-WPE などのツールと参考文献を紹介しています。版元によれば、本書で参照するソースコードと正誤表は著者の GitHub で公開されています。

音源分離が難しい理由と、数学の章が厚い意味

音源分離が難しいのは、混ざった結果の信号だけから、元の音がいくつあり、それぞれがどう混ざったのかを推定しなければならないからです。複数のマイクで収録すると、音源の方向によって各マイクに届く時刻や大きさがわずかに異なり、この空間的な手がかりを使って特定の方向の音を強めるのがビームフォーミングの考え方です。一方で、音源の方向やマイクの配置が分からない状況でも、音源どうしが統計的に独立しているといった仮定を置いて分離を目指すのがブラインド音源分離と呼ばれる手法群で、ここでは 統計学 と最適化の道具立てが直接効いてきます。さらに音声は通常、短い時間ごとに周波数成分へ分解した複素数の表現で扱われるため、複素数の行列やベクトルの計算に慣れていないと式の段階で手が止まります。版元が、本書では複素数の計算方法を重点的に解説していると明記しているのは、まさにこの壁を越えるための配慮といえます。

前提知識と、合う読者、合わない読者

シリーズの位置づけどおり、Python の文法や数値計算ライブラリの基本的な使い方は身についていることが前提です。数学は第 3 章と第 4 章で必要な範囲を確認できますが、線形代数や確率の考え方に初めて触れる段階だと負担は大きいため、不安があれば 機械学習に必要な数学の本の選び方 を参考に、行列と確率の入門書を一冊挟んでおくと読み進めやすくなります。また本書の主題は音源分離と残響除去の手法そのもので、音声認識や音声合成を作りたい人、深層学習の汎用的な入門を求める人には焦点が合いません。そうした目的なら 機械学習とディープラーニングの本の選び方 から目的に合う一冊を探すほうが近道です。

会議の録音から話者ごとの声を取り出したい、スマートスピーカーや補聴の分野で雑音や残響に強い音声処理を組み込みたい、信号処理の論文に出てくる手法を自分のコードで確かめたいといった課題を持つエンジニアや学生にとって、古典的な手法から統計的モデルに基づく分離までを、数式と実装の両面から順に追える本書は、手を動かしながら理論を身につけるための確かな足場になります。