目次
バンドの試演を、全員が同時に演奏したまま録りたい。
あとから楽器を一本ずつ分けて聴きたいからです。
楽器ごとに専用マイクを立てるのは手間がかかります。
この研究は、円形に並べたマイクアレイと指向性の鋭いショットガンマイクを比べ、アレイに後処理を重ねた方が他楽器の混入を抑えられることを示しました。
なぜ複数楽器を一本ずつ分離するのは難しいのか
リハーサルルームでの試演やテスト録音は、アマチュアにもプロにもよくある作業です。
このとき多くの演奏者は、各楽器を一本ずつ録り分けたいと考えます。
音程の外れを確かめる、デモ用のミックスを作る、音量を調整する、といった用途に使うためです。
ところが全員が同時に演奏すると、どのマイクにも他の楽器の音が混ざり込みます。
分離したトラックに他の楽器の干渉が残ると、その後の用途に支障が出ます。
この干渉を抑えることが課題でした。
対策には大きく二つの考え方があります。
一つは、指向性の鋭いマイクを楽器に向ける方法です。
もう一つは、複数のマイクを並べて狙った方向の音だけを取り出す方法です。
後者の代表が円形マイクアレイです。
円形マイクアレイとは、複数のマイクを円周上に並べたものです。
録音位置の周囲に音源が散らばる場面で、その音場を正確に捉えるために使われます。
3Dアンビエンス録音にはどのマイクアレイが適しているのか、その研究を読む
円形アレイで特定の方向に狙いを定める処理がビームフォーミングです。
ここで使われるLCMVビームフォーマとは、線形拘束最小分散ビームフォーマのことです。
音の到来方向などの事前知識を組み込める、線形で最適な適応フィルタの一種です。
さらにポストフィルタという処理を重ねる場合があります。
ポストフィルタとは、複数の固定ビームフォーマ出力をもとにした追加の信号処理です。
目的の音源以外の方向から来る干渉を打ち消すために使います。
分離の度合いをどうやって確かめたのか
研究では、リハーサルルームでの同時演奏を模した条件を作りました。
楽器の音は、録音位置を中心に半径2.5mの等しい距離に置いたスピーカーから再生しました。
楽器の数が2〜4本まで変わる、6つのシナリオを録りました。
部屋は演奏用に改修したリハーサルルームで、長さ7.05m、幅5.18m、高さ3.17mです。
吸音パネルと拡散板を使って残響時間（音が部屋の中で減衰するまでの時間）を400msまで短くし、条件を揃えました。
録音の方式は二つを比べます。
一つは、16本のマイクを円形に並べた円形マイクアレイです。
各楽器の位置へ向けた固定のLCMVビームフォーマを構成し、その出力にポストフィルタを重ねました。
もう一つは、指向性の鋭いショットガンマイクです。
ZOOM H6レコーダーにSGH-6という超指向性マイクを組み合わせました。
ショットガンマイクとは、非常に鋭い指向性を持つマイクです。
本研究では比較対象の録音方式として使われました。
楽器ごとにマイクを立てる代わりに、一つの位置で全体を収める考え方は、ワンポイント録音とは？
1組のマイクだけで全体を収める方法と原理にも通じます。
比較の基準となる参照音源も用意しました。
各音源を単独で再生し、Behringer ECM8000という無指向性の計測用コンデンサーマイクで録音しています。
これが他の楽器の混ざっていない基準の音になります。
円形アレイを選んだ理由があります。
リハーサルルームの楽器は、マイクアレイの周囲にランダムに散らばった複数の音源とみなせます。
この幾何学的な条件に合うよう、円形の配置が音場を正確に捉えるのに適していると考えられました。
LCMVビームフォーマを使った理由は、音の到来方向などの事前知識を組み込める、線形で最適な適応フィルタだからです。
ポストフィルタを重ねたのは、分離の性能を高め、音源が分かれた印象を強めるためです。
分離の客観評価には、信号対干渉比（SIR）という指標を使いました。
信号対干渉比とは、目的の音源と干渉とのレベルの比を表す客観指標です。
分離の良し悪しを評価するために使われます。
計算にはPEASS Toolkitを用いました。
これは、分離した信号の信号対干渉比を計算するツールキットです。
客観評価に加えて、8人の聴取者による主観テストも行いました。
ABX方式を使い、参照音源と比べて分離の度合いをマイナス3〜プラス3の尺度で評点しました。
アレイとショットガンマイク、どちらが分離に優れるのか
分離の評価結果は次のとおりです。
音源が最も多いシナリオでは、他の音源から角度的に最も離れたギター（シナリオIII）とクラリネット（シナリオVI）の分離が最も良くなりました。
一方、シナリオIIとVは他と大きく異なる結果でした。
このことから、分離の結果には音源の角度の配置だけでなく、楽器そのものの特性も影響すると研究者は述べています。
主観テストでは、ポストフィルタを加えた側の改善が18項目中16項目で統計的に有意でした。
残りの項目も、95%信頼区間の下限がわずかに中立点を下回ったものの、平均値としては改善を示していました。
この手法はどこまで当てはまるのか
著者はアレイ方式の限界も明記しています。
一つは、低い周波数でノイズが増幅されるという欠点があり得ることです。
もう一つは、特定の音響条件に最適なフィルタを設計することの難しさです。
20 kHzに及ぶ広帯域の音、残響のある環境、マイクごとに異なる指向特性があると、その設計は難しくなります。
評価の範囲にも留保があります。
客観評価には信号対干渉比が使われただけで、音源分離の客観指標には他にも多様なものがあると論文は述べています。
この研究をどう受け止めるか
複数の楽器が同時に鳴る場面で、一本ずつのトラックを取り出す作業は、録音で繰り返し直面する課題です。
この研究は、その課題に対して、一つの位置に置いた円形マイクアレイとビームフォーミングという方法が、指向性の鋭いショットガンマイクと同程度か、ポストフィルタを重ねればそれ以上の分離を得られることを、客観指標と聴取テストの両面から示しました。
楽器ごとに専用のマイクやピックアップを立てるのではなく、アレイ一組で済む可能性がある、という点で、この研究は同時録音の選択肢の一つを具体的な数値つきで提示しています。
分離の性能が音源の数や配置、楽器の特性によって変わることも示されており、アレイ方式を考える際にまず押さえるべき条件が整理されています。
参考資料
原典の主張は、Evaluation of separation techniques for musical instruments recordings using microphone array in rehearsal room をご参照ください。
