目次
複数の音が混ざった録音から、狙った音源だけを取り出したいと思う場面があります。
人間にはそれができますが、機械には難しいものでした。
ブラインド音源分離は実験室では成果を上げました。
では現実の部屋ではどうなるのでしょうか。
この研究は、その手法が現実の環境では性能を大きく落とすことを示しました。
音源分離はなぜ現実の部屋でうまくいかなかったのか
録音や音響の技術者には、混ざった音の中から一つの音源だけをきれいに取り出したい場面が少なくありません。
ところがデジタル音響装置には、にぎやかな場でも特定の音に集中できる、人間のカクテルパーティー能力が欠けていました。
その代わりとなる手法として研究されてきたのが、ブラインド音源分離です。
ブラインド音源分離とは、複数の音が混ざった記録から、混ざる前の変換のしかたを事前に知らないまま、目的の音源だけを取り出す手法です。
「ブラインド」は、混ぜ合わせの仕組みをあらかじめ知らないことを指します。
これと組になるブラインドデコンボリューションとは、部屋のインパルス応答をあらかじめ知らないまま、記録に畳み込まれたその応答を取り除く手法です。
部屋のインパルス応答とは、音源からマイクまでの直接音と反射音を合わせた音の伝わり方を、線形のシステムとして表したものです。
部屋では音が壁や床で反射するため、記録には直接音だけでなく反射音も混ざり込みます。
各音源と各マイクの間のインパルス応答を並べた行列を混合行列、その逆行列を分離行列と呼びます。
分離行列をマイクの信号に畳み込むことで、元の音源を推定します。
こうしたアルゴリズムは、実験室のような整った条件ではよい成績を収めていました。
しかし、残響や部屋の雑音、マイクの種類、音源とマイクの位置関係といった現実の要因が性能を大きく左右することが、課題として残っていました。
この研究が確かめたのは、ブラインド音源分離とブラインドデコンボリューションが、制約のない現実の音響環境でどこまで使えるのかという問いです。
音源分離が録音の工程に与える影響は、音源分離を通すと楽器の自動分類はどれだけ精度を落とすのか、その研究を読むでも別の角度から扱われています。
現実の条件をどう再現して確かめたのか
研究者はまず、複数のブラインド音源分離とデコンボリューションのアルゴリズムを検討し、情報量最大化法（インフォマックス法）を選びました。
情報量最大化法とは、出力同士の相互情報量がなくなる、つまり各出力が互いに独立になるような分離行列を求める手法です。
出力が互いに独立になれば、各出力が一つの音源に対応すると考えられます。
実装には、Paris Smaragdis による周波数領域の修正版を使いました。
複数の候補を比べた結果、音響的に混ざった音を扱う実験に最も適していると判断されたためです。
続いて、非ブラインドの実験を行いました。
二つの音源を、あらかじめ計算しておいた既知の部屋インパルス応答で混ぜ、その逆行列で分離するという手順です。
フィルタの構成を変えながら試すことで、音源分離に必要なフィルタの構成を把握するのが目的でした。
次に、制御された環境での実験です。
Lucent Technologies の Varechoic Chamber という、6.7 x 6.1 x 2.9 m の部屋を使いました。
男性と女性の音声を二つのスピーカーから流し、二つのマイクで録音します。
残響時間（反射音がどれだけ長く残るかを表す部屋の特性）の設定は、0.1 s、0.25 s、0.5 s、0.9 s の四通りです。
そのうえで、現実の環境での録音も行いました。
雑音の多い雑然とした会議室で、まず無指向性コンデンサーマイクを使い、後にカーディオイドのダイナミックマイクを使いました。
音源の組み合わせは、二人が話す場合、一人の話し声とラジオ、二人の楽器演奏の三種類です。
この会議室の残響時間はおよそ200 msでした。
測定したのは、音源同士の信号対雑音比（SNR、この論文では一方の音源が他方よりどれだけ大きいかをdBで表した値）と、平均分離改善量です。
平均分離改善量とは、出力と入力のSNRの差を平均した値で、分離アルゴリズムの性能をよりよく反映する指標です。
さらに、マイク入力とアルゴリズム出力のスペクトログラム（時間と周波数の二次元表示）を調べて、持続する雑音の帯域などを確認しました。
部屋の残響が録音に与える影響については、単一マイクの録音から部屋の残響時間と容積は推定できるのか、その研究を読む（2017年）でも、残響時間の推定という別の観点から扱われています。
残響とマイクで性能はどう変わったのか
制御された部屋での結果から見ていきます。
残響0.1 sの条件では、アルゴリズムは男性の声を7.8 dB、女性の声を6.7 dBだけ他方の音源から分離しました。
平均分離改善量は5.4 dBです。
ところが残響が長くなるにつれて、性能は大きく落ちました。
残響0.25 s、0.5 s、0.9 sの平均分離改善量は、それぞれ2.0 dB、2.6 dB、2.1 dBでした。
残響0.1 sの5.4 dBと比べると、半分以下に落ちています。
残響が長くなると反射音が増え、分離が難しくなることが数値で示されました。
マイクの種類も結果を左右しました。
無指向性コンデンサーマイクは反射音と部屋のエネルギーを多く拾いすぎるため、アルゴリズムが目的の音源に集中できませんでした。
カーディオイドのダイナミックマイクも適切とは限りません。
音源が収音範囲の外にあると、マイクには反射音しか入らず、ブラインド音源分離は反射音の扱いを非常に苦手とするためです。
マイクの型と指向性の関係は、マイクは型と指向性でどう選ぶのか、その設計トレードオフの研究を読むでも扱われています。
現実の録音では、さらに別の問題が現れました。
ある録音でアルゴリズムは、声の小さいほうの話し手ではなく、コンピュータのディスク駆動装置から持続的に出る雑音に収束しました。
その結果、およそ6.5 kHzと7.1 kHz付近の不要な周波数帯が強められました。
この観察では、アルゴリズムが0.25 sの区間を単位として働いていました。
最後の現実空間でのテストでは、男性と女性の音声を分離しました。
結果は十分ではあるものの不完全でした。
女性側の出力では、男性の声はあまり減衰しなかったものの、知覚的にはぼやけて聞こえました。
男性側の出力では、女性の声は大きく減衰しましたが、信号はより残響の多いものになりました。
この結果はどこまで信用できるのか
著者自身が、この手法の限界を率直に述べています。
第一に、この論文のアルゴリズムは現実の条件に非常に敏感で、持続的な雑音のない音響処理された空間でしか安定して働かないとされています。
第二に、指向性マイクが適切とは限りません。
収音範囲の外の音源は反射音としてしか録音されず、反射音はアルゴリズムが苦手とするためです。
第三に、マリンバのような大きく非指向性の音源は、すべてのマイク信号を支配し、他の音源を見つけるのを妨げます。
第四に、アルゴリズムは目的の音声ではなく、ディスク駆動装置のような持続的で変化しない部屋の雑音に誤って収束することがあります。
第五に、初期化の段階で分離フィルタを実質ゼロにしてしまう点も、理想的ではないとされています。
加えて、境界マイクの利用は調査中でこの研究では検証されておらず、定常的な部屋の雑音成分を自動的に検出して無視する仕組みや、音源間の時間差の推定に基づくより良い初期化も、今後の課題として挙げられています。
異なる種類のマイクによる追加の実験も、まだ必要だとされています。
この研究は分野のどこに位置するのか
この研究は、人間が持つカクテルパーティー能力を計算の手法として追いかけようとする流れの中に位置します。
それまでブラインド音源分離とデコンボリューションのアルゴリズムは、実験室の整った条件ではよい成績を示していました。
この研究の仕事は、そうした手法を制御された部屋と現実の部屋の両方に持ち込み、どこで、どのように性能が崩れるかを数値で測った点にあります。
実験室と現場の間の隔たりが小さくないことを、残響、マイクの指向性、持続する雑音という具体的な要因として示しました。
その価値は、新しい手法を打ち出すことよりも、残る課題を地図にしたことにあります。
結果を誇張せず、うまくいかなかった場面を率直に記録し、境界マイクや定常雑音の検出、初期化の改善といった方向を指し示しています。
「うまくいくか」という問いを、取り組むべき問題の一覧へと書き換えた点が、この論文の受け止め方の土台になります。
参考資料
原典の主張は、Applying Blind Source Separation and Deconvolution to Real-World Acoustic Environments をご参照ください。
