目次
拡張現実の音を現実らしく提示するには、聴く人の頭の向きが必要です。
従来はカメラや慣性センサ、位置の分かった基準音源が使われてきました。
では、ヘッドセットの耳元のマイクだけでは追えないのでしょうか。
答えは、装着者自身の発話を手がかりに、頭の向きを約10度の誤差で追跡できる、ということです。
アンカー音源なしで頭の向きはなぜ難しかったのか
拡張現実の音を、実在する音源がそこにあるかのように聞かせるには、利用者の頭がどちらを向いているか、つまり頭部方位を常に把握しておく必要があります。
頭部方位とは、聴く人の頭の向きを表す角度のことです。
これが分からなければ、音をどの方向から届けるべきかが定まりません。
従来の頭部追跡は、カメラや慣性センサに頼るのが一般的でした。
一方、耳に装着するヘッドセットには両耳マイクが内蔵されており、この種の場面では既に手元にある信号です。
これを追跡に使えれば、別の機材を増やさずに済みます。
両耳録音が音の定位や空間の再現とどう関わるかは、「ダミーヘッド録音は正しい音の定位を再現できるか」でも扱われています。
ただし、先行する両耳マイクによる頭部追跡には、アンカー音源が必要でした。
アンカー音源とは、位置があらかじめ分かっている基準の音源で、そこから届く音の方向を手がかりに頭の向きを逆算するためのものです。
しかし、現実の会話の場面で、そうした基準音源を常に用意できるとは限りません。
この研究が目指したのは、アンカー音源なしで、装着者自身が発話した声だけを手がかりに頭部方位を追跡することです。
自分の声からどうやって頭の向きを求めたのか
Gamper ら（2011）は、3人の参加者が両耳マイクを内蔵したヘッドセット（Philips SHN2500）を装着して会話する場面を収録しました。
収録は、音の響きを表す残響時間が約0.3秒の多目的空間で行いました。
マイクの信号は96 kHzで録音し、50 msのフレームに45 msの重なりを持たせ、ハニング窓をかけて分析しました。
発話区間のSNR（信号対雑音比）は5 dBから30 dBの範囲でした。
発話区間とその時点の話者の判定は、0.2 kHzから8 kHzの帯域のエネルギーに基づく単純な方法で行いました。
頭の向きを求める手がかりは、話者の声が聴く人の左右の耳マイクに届く時刻です。
音源からマイクへ音が届く時刻をTOA（到達時刻）と呼びます。
2つのマイクへのTOAの差がTDOAで、両耳のマイクへの到達時間差が分かれば、音がどちらの方向から来たかを推定できます。
複数のマイクの到達時間差から音の到来方向を推定する考え方は、「ステレオマイク2本で音の到来方向はどこまで分かるか」にも通じています。
この研究の工夫は、話者自身の発話を、位置が分からない音源ではなく、口から耳までの距離が既知だという前提で扱う点です。
口から耳までの距離を0.18 mと見積もり、音速を345 m/sの一定値と仮定して、話者の口元から聴く人の各耳マイクまでのTOAを求めました。
TDOAの推定にはGCC-PHATを用いました。
GCC-PHATとは、二つの信号の相互相関に位相だけを残す重み付けを施して、時間差を頑健に推定する手法です。
こうして得られるTDOAには誤差が含まれるため、単発の推定だけでは滑らかな追跡になりません。
そこで粒子フィルタを用いました。
粒子フィルタとは、頭の向きの候補を多数の粒子として持っておき、観測に合う粒子を重く、合わない粒子を軽くして状態の分布を更新していく追跡手法です。
粒子は全方向に一様に初期化し、ブラウン運動で次の向きを予測し、層化リサンプリングで粒子を入れ替えました。
粒子の重みは、TDOAやTOAの推定誤差が正規分布に従うと仮定した尤度関数（最尤推定）で計算しました。
粒子フィルタが選ばれたのは、非線形で非ガウスな追跡問題の計算量を大幅に減らせるためです。
評価のための正解データは、場面の上方約4 mに設置したカメラ（Canon EOS 7D）の映像から、ARマーカーをARToolkitで追跡して取得しました。
提案法の推定値をこの真値と比べ、同時に、聴き手自身の両耳マイク間のTDOAだけを使う参照法とも比較しました。
発話だけで頭の向きはどれだけ正確に追えたか
提案法は3人全員で参照法を上回りました。
頭部方位の追跡誤差をRMSE（二乗平均平方根誤差。
推定値と真値のずれの二乗平均の平方根で、小さいほど正確です）で比べると、次のとおりです。
全体では、提案法が約10度、参照法が約35度の精度でした。
発話活動はフレームの67%で検出されました。
参加者ごとの違いも表れました。
P2は最も頭を動かしたため、RMSEが最も大きくなりました。
大きな頭部運動や発話の少ない区間では追跡精度が下がり、その傾向はP2の記録の一部にはっきり現れました。
SNRの影響も検証されています。
SNRが高いフレームほど両手法とも性能が良く、30 dBを超えると参照法が提案法に近づきました。
一方、SNRが低い区間では、追跡の履歴と複数のTDOA推定を使う提案法がはっきりと優れていました。
この追跡はどんな条件で成り立つのか
著者ら自身が、この方法の限界を明示しています。
大きな頭部運動や発話活動の少ない区間では追跡が劣化します。
追跡性能はSNRに依存し、SNRが低いフレームでは証拠が弱くなります。
また、単純な音声活動検出は、参加者が同時に話さない場合にだけうまく機能します。
さらに、参加者の位置は既知と仮定しており、頭部方位に加えて位置を追跡することはしていません。
この研究は頭部追跡のどこに位置するのか
拡張現実の聴覚提示では、頭の向きに合わせて音を届けることが基本だと広く受け止められています。
この研究は、その頭部方位の取得を、耳に装着したマイクと装着者自身の発話という、追加機材の少ない構成で実現できることを示しました。
位置の分かった基準音源を必要としなかった点が、会話の場面に即した現実的な設定です。
一方で、この成果は会議という限定された場面での事例研究です。
発話がなければ追跡できず、参加者が重なって話す場面では音声活動検出が成り立ちません。
頭部方位の追跡という枠組みの中では、追加の音源を置かずに済むという方向を示した一つの位置づけと言えます。
参考資料
原典の主張は、Head orientation tracking using binaural headset microphones をご参照ください。
