目次
サラウンド録音には複数のマイクが必要です。
では、ステレオマイクだけでサラウンドを作れないでしょうか。
Tournery ら（2010年）は、ステレオマイク信号から音の到来方向と拡散音を推定し、左右の混ざりを抑える処理で、MPEGサラウンドと互換のステレオ音声を直接作り出せることを示しました。
ステレオマイクの信号はなぜサラウンドに使えなかったのか
MPEGサラウンドとは、多チャンネルの音声を、ステレオのダウンミックス信号と、チャンネル間のレベル差（ICLD）や相関（ICC）といった空間パラメータに分けて表す符号化方式です。
再生側はこの二つから、もとのサラウンド音を組み立て直します。
だとすれば、ステレオマイクで録った左右の信号をそのままダウンミックスに使い、空間パラメータをそこから推定できれば、専用の装置なしでサラウンドを形にできるはずです。
ここに二つの壁があります。
一つは、無処理のステレオマイク信号は、一般にMPEGサラウンドのダウンミックスに適さない点です。
左右のチャンネル間の混ざり（クロストーク）が大きく、復号したときのチャンネル分離が悪くなるからです。
もう一つは、従来この種の空間音声符号化を駆動するには、Bフォーマットを扱う方向性音声符号化（DirAC）や、サウンドフィールドマイクロフォン（複数のカプセルをほぼ同位置に並べた、小さなサラウンド録音用の構成）の処理が必要とされてきた点です。
しかしステレオマイクの信号には、音の到来方向と拡散音の情報が含まれています。
拡散音とは、特定の方向を持たずに部屋へ広がる周囲音の成分です。
ここでは左右のチャンネルに同じ大きさで含まれるものとして扱います。
この情報を引き出せれば、専用の構成を経ずにサラウンド符号化を駆動できます。
この研究はそこに取り組みます。
ステレオマイクの信号から何をどう推定したのか
まず、左右のマイク信号を時間周波数表現に置き換え、左を直接音と拡散音の和、右を直接音に振幅比を掛けたものと拡散音の和としてモデル化します。
振幅比とは、右と左のマイク信号の大きさの比です。
レベル差を捉え、複素数として表せば位相や時間差の情報も含みます。
直接音と拡散音のパラメータは、短時間で平均したマイクのパワーと相互スペクトルから、二次方程式を解いて推定します。
音の到来方向は、振幅比とマイクの指向特性の関係を逆算して求めます。
指向性マイクにはカージオイドとスーパーカージオイドを想定します。
カージオイドとは、前方に感度が高く後方に低い一次の指向特性です。
ここでは左右をおよそ±45度に向けて組みます。
スーパーカージオイドは、真後ろに感度の落ちる点（ヌル）を持つ指向特性で、左右をおよそ±60度に向けて組みます。
カージオイドの組み合わせでは、方位のうち270度ぶん、すなわち±135度の範囲で、振幅比から方向が一意に決まります。
指向性の使い分けは、無指向性と単一指向性の使い分け 録音で何が変わるのかで詳しく扱っています。
次に、推定した直接音と拡散音の情報を、振幅パニングの利得と選んだ拡散利得を持つ多チャンネルのモデル信号に対応づけ、MPEGサラウンドのTTO・TTTパラメータの式に当てはめて空間パラメータを生成します。
方向に応じた利得の補正には10dBの上限を設け、補正後はスーパーカージオイドでおよそ±160度までがフルレベルで捉えられます。
最後に、もとの左右のマイク信号を、MPEGサラウンド互換のステレオダウンミックスへ加工するウィナーフィルタを設計します。
ウィナーフィルタとは、混入した不要成分を統計的に最小化するよう信号を整形するフィルタです。
ここでは左右間のクロストークを減らすために使います。
論文は、無処理のステレオマイク信号がクロストークの高さゆえにダウンミックスに不適なためウィナーフィルタを使う、と述べ、提案手法が妥当で一貫した結果を出すことをシミュレーションと実録音で確かめます。
シミュレーションでは、同位置に置いたスーパーカージオイドの収録を想定し、ガウス性の白色雑音パルスを音源として回転させます。
条件をまとめます。
実録音では、通り過ぎる列車を Schoeps の X/Y ステレオマイクロフォンで収録した例などを用います。
X/Y方式の組み方については、XY方式で説明しています。
シミュレーションと実録音で何が確かめられたのか
シミュレーションでは、推定した到来方向が正確で、拡散音による偏り（バイアス）は見られませんでした。
相対的な直接音は、パルスとパルスの間では小さく、前方のほうが後方より大きく、マイク全体の応答と一致しました。
利得補正は、側方から後方の直接音を増幅する一方、パルス間の拡散音は増幅しませんでした。
生成したMPEGサラウンドのTTO・TTTパラメータは、回転する直接音源の動きを期待どおりに表しました。
ウィナーフィルタによるダウンミックスの利得は、クロストークを除きました。
右チャンネルの利得は左と左サラウンドの間の方向で小さく、左チャンネルの利得は右と右サラウンドの間の方向で小さくなったのです。
復号したMPEGサラウンド信号では、雑音パルスが後方、左サラウンド、左、中央、右、右サラウンド、後方と正しく動き、中央以外のすべてのチャンネルに定常的な拡散音が残りました。
実録音では、列車が前方右から後方左へ移動する間、低域から中域にかけて推定角度が量的に正しく、一方で高域の推定角度は列車の位置を反映しませんでした。
列車の線路が高域を伝播させたためです。
さらに路上、列車、歩行の録音で行った非公式の評価では、通常のMPEGサラウンドのコンテンツから期待される水準に達し、離散サラウンドに近い広がりのあるサラウンド信号が得られました。
この研究の結論はどこまで言えるのか
著者はいくつかの限界を明示しています。
解析は簡単のため同位置のマイクを仮定しており、位置がずれた構成の遅延や位相の情報は、複素数の振幅比から得られる、と述べるにとどめています。
カージオイドの組み合わせでは±135度の外側の方向が一意に決まらず、後方の音は誤った前方の方向として解釈されます。
スーパーカージオイドの組み合わせでは利得補正に上限があるため、全体の応答が後方へ向かうほど低下し、真後ろのヌルでは無限大の利得が必要になります。
実録音の高域の推定が列車の位置を反映しなかった点も、限界として述べられています。
総じてこの手法は、シミュレーションと実録音による非公式の評価にとどまっており、著者はさらなる評価を予定していると記しています。
正式な聴取試験は報告されておらず、位置がずれたマイク構成の詳しい扱いも示されていません。
この研究はサラウンド録音のどこに位置づくのか
空間音声符号化の分野では、多チャンネル音声をダウンミックス信号と空間パラメータに分けて表すMPEGサラウンドのような方式が共有されています。
この研究は、その空間パラメータとダウンミックスを、多チャンネルの収録やBフォーマットではなく、普通の指向性ステレオマイクの信号から直接つくる道を示した点で、この枠組みの入口に位置づけられます。
ステレオマイクの左右のレベル差という、録音の現場で日常的に得られる情報の中に、サラウンドを組み立てるのに必要な方向と拡散音の手がかりがすでに含まれている、という見方は、この研究が明るみに出した受け止め方です。
専用のマイク構成に頼らずに空間音声を符号化できる可能性は、サラウンド収録の間口を広げる土台になります。
参考資料
原典の主張は、Converting Stereo Microphone Signals Directly to MPEG-Surround をご参照ください。
