目次
スマートグラスやヘッドセットに載せたマイクで周囲の音を録り、向いた方向の音だけを強めてヘッドホンで自然に聴き返したい。
頭に付けた不規則なマイク配置でも、狙った方向を強調しつつ空間の印象を保った両耳の音を作れるのか。
この問いに取り組んだのが、Fernandezら（2024年）の研究です。
頭部装着マイクの録音で、方向を強調した再生はなぜ難しいのか
バイノーラル再生とは、左右の耳それぞれに届く音をヘッドホンで再現する方式です。
このとき目標になるのが頭部伝達関数（HRTF）で、音の来る方向から左右の耳までの伝達特性を指します。
バイノーラル再生の別の入り口として、ステレオミックスから作る研究もあります（ステレオミックスからバイノーラルを効率的に作れるのか、その研究を読む）。
頭部に装着するマイクアレイ、つまり複数のマイクを並べた装置は、音場の収録とバイノーラル再生への関心を高めています。
利用者は、選んだ視野（FoV）から届く音を強調したいことがあります。
たとえば再生中に、音をカメラのズームに合わせるためです。
FoVとは、ここでは正面方向を中心とする±30度の円錐に含まれる音源方向の集まりです。
従来のAmbisonics処理には限界があります。
Ambisonicsとは、球面調和関数という数学的な基底で空間の音を表現する方式です。
しかし頭部装着のような不規則なマイク配置では、空間エイリアシング（高い周波数で方向の情報が曖昧になる現象）と、実現できる次数の低さに制約を受けます。
既存のパラメトリック強調（音の成分を方向ごとに分けて処理する枠組み）は、低消費電力の機器には適さない可能性があります。
視野を強調する仕組みを、どう組み立てて確かめたのか
著者らは、修正したセンサ領域のMagLSバイノーラル描画を定式化しました。
MagLS（magnitude least squares）とは、センサ領域でバイノーラル描画を行う方式です。
アレイの指向性を、位相を修正したHRTFに当てはめます。
1500Hzより上では、HRTFの位相より振幅を優先します。
ここに、方向に依存するバイアス行列を加え、係数γで制御してFoV内の方向を強調します。
描画の準備として、5本のマイクを組み込んだスマートグラスのアレイをマネキン（人体を模した測定用の人形）に装着しました。
無響室（反射のない空間）で、水平面上を1度刻みでアレイ伝達関数（ATF）を測定しています。
ATFは、平面波が来る方向からアレイの各マイクへ届くまでの自由音場の伝達関数です。
マイクアレイから指向性を合成する考え方は、球状マイクアレイで仮想指向性マイクはどこまで作れるのか、その研究を読むでも扱っています。
評価は二段構えです。
まず客観指標として、方向依存のゲイン、両耳間レベル差（ILD）、両耳間コヒーレンス（IC）、両耳間位相差（IPD）を計算しました。
ILDとは、左右のバイノーラル信号のレベルの差です。
空間の手がかりとして使われ、平均の弁別閾は約1dBです。
ICは左右チャンネルの正規化された相関、IPDは左右チャンネルの位相差です。
γ=0、3、5、7、無限大と、FoV内に6dBの参照ゲインを与えた場合を比較しています。
次に知覚実験を行いました。
多重刺激による比較で、聴力が正常な熟練の評価者20名が参加しました。
収録した3つのシーン（Pool Trick Shot、Music Interferer、Speech Interferer）を使い、γ=1、3、7、無限大、基準のMagLS、参照、アンカーという条件を、空間、音色、総合の類似度について0から100の尺度で評価しています。
アンカー刺激には500Hzの低域通過フィルタをかけています。
この方法を選んだ理由があります。
センサ領域のMagLSは、不規則な頭部装着アレイに対してAmbisonicsが抱える空間エイリアシングと低い次数の制約を避けられます。
また、線形フィルタによる処理は、パラメトリック描画の枠組みで方向依存のゲインをかけるより計算負荷が低いと述べられています。
さらにMagLSの位相修正は、二重理論（Duplex Theory）に基づく知覚的な動機があります。
高い周波数では位相より両耳間レベル差が重要だという考え方に沿って、高い周波数で振幅の一致を優先するのです。
視野の強調は、空間の印象をどう変えたのか
客観指標のゲイン解析では、FoV内の強調は達成され、FoV外の方向はγを上げるほど強く減衰しました。
バイノーラルの手がかり（ILD、IC、IPD）は、γを上げるほど目標から逸脱し、FoV外の入射角で逸脱が大きくなりました。
ただしFoV内のILDの差は、ほぼ1dB以下に収まりました。
1dBは、ILDの平均的な弁別閾（人が違いに気づく最小の差）です。
知覚実験では、総合的な類似度がγを上げるほど低下しました。
音色の逸脱はありましたが、γの値の間では有意な差はなく、正規のMagLSの場合だけが有意に異なりました。
音声が干渉源になるシーンでは、音色の逸脱がわずかに小さくなりました。
空間スコアは、γを上げるほど逸脱が大きくなりました。
一方で、MagLSとγ=1、γ=3の間に有意な差は見つかりませんでした。
低いγなら、知覚できる空間の変化なしに視野の強調が得られることを示唆しています。
この結果は、どこまで当てはまるのか
著者自身が述べる限界があります。
一つ目は、γの正確な閾値です。
知覚される空間の属性が変わらず、なおFoVの強調を達成できるγの閾値は特定されていません。
著者は、このスマートグラスのマイクアレイではγが1から3の間にあると推定しています。
二つ目は、固定の±30度というFoVだけを試した点です。
FoVの広さを変えたときの効果は調べられていません。
三つ目は、強調の形です。
提案された強調は、FoV内を均等に強調し、FoV外を均等に弱める、方向依存の二値的なマスクとして振る舞います。
FoVの内外の境界でより緩やかに強調を変化させる方法は調べられていません。
この研究は、空間オーディオのどこに位置づくのか
頭部に装着するマイクアレイを備えた機器への関心が高まるなか、収録した音をバイノーラルで再生し、なおかつ選んだ視野の音を強調したいという要求は、再生時の音とカメラのズームを合わせる場面などで自然に生まれます。
この研究は、その要求に対して、センサ領域のMagLSに方向依存の重みを組み込むという具体的な枠組みを示しています。
もう一つ重要なのは、低いγなら知覚できる空間の変化なしに視野の強調が得られる、という結果です。
強調の強さと空間の印象の崩れはトレードオフの関係にあり、その境目がどこにあるのかを示す手がかりになっています。
著者自身が閾値の範囲をγ=1から3と見積もっている点も、この分野でさらに検討を進める際の足場になります。
参考資料
題名: Binaural reproduction of head-worn microphone array recordings with adjustable field-of-view control
著者: Janani Fernandez、David Lou Alon、Zamir Ben-hur、Vladimir Tourbabin
発表年: 2024年
掲載: Audio Engineering Society Conference Paper 7, AES 5th International Conference on Audio for Virtual and Augmented Reality, Redmond, WA, USA（2024年8月19日から21日）
原典の主張は、Binaural reproduction of head-worn microphone array recordings with adjustable field-of-view controlをご参照ください。
