目次
ヘッドホンでコンサートホールの響きを聞くとき、顔を横に向けても音はその場にとどまります。
実際のホールなら、頭を動かせば音の聞こえ方は変わります。
このずれをなくすには、どうしたらよいのでしょう。
この記事が答えるのは、実測した部屋の響きを、頭の動きに追従する形でヘッドホン再生する方法です。
ヘッドホンで部屋の響きを聞くとき、何が足りないのか
部屋の音響は、室内インパルス応答（RIR）として記録できます。
室内インパルス応答とは、部屋の音響的な空間がどう応答するかを、時間を追って記録した応答のことです。
部屋の響きを聞こえる音として再現するための入力になります。
この研究では、ログサインスイープという信号でホールを鳴らし、その応答を測っています。
ヘッドホンで立体的に聞かせるには、頭部伝達関数（HRTF）を使います。
頭部伝達関数とは、音源から聴取者の耳に届くまでの音の伝わり方を表すフィルタのことです。
両耳に別々のフィルタを通すことで、音が外から聞こえる感覚を生みます。
ここに二つの難しさがあります。
ひとつは、音が頭に固定されることです。
頭を動かしても音の方向がついてこないため、実際にホールにいるのとは違う聞こえ方になります。
頭の動きは音の方向を知る手がかりになり、前後の取り違えを解消し、複数の音を聞き分ける助けにもなります。
これが使えないのは大きな制約です。
もうひとつは、頭の動きに追従させようとしたときに生じます。
頭の向きに応じてHRTFを選び直す方法では、用意した角度以外を補間で埋める必要があり、その補間が不自然さを生みます。
多数のスピーカーを並べて音場を再現する方法は、機材の運搬が難しく、使える部屋の音響も選べません。
この研究が選んだのは、HRTFのデータベースを角度ごとに引き直すのではなく、音場そのものを頭の動きに合わせて回す道です。
その中心になるのが、アンビソニックと球面調和関数です。
アンビソニックとは、音場を球面調和関数の展開で表し、複数のスピーカーの利得を決めて音場を合成する方式のことです。
球面調和関数とは、音場の角度方向の成分を表す数学的な関数のことです。
この関数を回すことが、聴取者の頭の回転に対応します。
アンビソニックを扱った研究については、複数の Ambisonic マイクを並べると、定位と没入感はどう変わるか、その研究を読むも参照できます。
測った部屋の響きを、頭の動きにどう追従させたのか
まず部屋の響きを測ります。
球面マイクアレイとは、音場を球面調和関数の成分に符号化する、16チャンネルのマイクのことです。
収録では、ニューヨーク州内の10のコンサートホールとリサイタルホールを対象に、サブウーファーと無指向性のドデカヘドロンスピーカー2個でログサインスイープを再生し、ホールごとに音源と受音点の位置を2箇所から3箇所変えて室内インパルス応答を記録しています。
部屋の音響をその場で測る手法については、部屋の残響時間をポータブル装置でその場で測ることは可能か、その研究を読むで扱っています。
球面マイクアレイの処理については、球状マイクアレイで仮想指向性マイクはどこまで作れるのか、その研究を読むが関連します。
球面調和成分の次数は周波数によって分けています。
800 Hzから5 kHzの帯域では2次まで、800 Hz未満では1次まで用います。
次に、記録した球面調和成分を8個のバーチャルスピーカー（実在しない位置に置いた仮想的なスピーカー信号）に復号します。
復号には基本デコーディングを使います。
これは、スピーカーの方向と球面調和成分を結ぶ伝達行列の擬似逆行列を解いて、各スピーカーの振幅を決める方法です。
こうして得た各バーチャルスピーカーの信号に、あらかじめ決めた角度に対応するHRTFをかけ、ヘッドホン用の2ch信号に畳み込みます。
この処理をバイノーラルミックスダウンと呼びます。
頭の向きは、Microsoft Kinect for Windows（SDKバージョン1.7）の顔追跡機能で推定します。
カラー画像と深度画像から、追跡した顔の87個の点を構成し、方位角を±45度の範囲で推定します。
推定した方位角は、Open Sound Control（OSC）というメッセージ形式で、/azimuth angle という書式でMax/MSPのアンビソニック処理パッチへ送られます。
パッチは、頭が回ったのと逆の方向に球面調和成分を回します。
頭を右に向ければ音場は左に回る、という仕組みです。
なぜHRTFデータベースを角度ごとに引き直す方法を避けたのか。
著者らは、データベースの引き直しが遅く、記録していない角度は補間に頼るため、知覚的な自然さが制限されることを理由に挙げています。
頭の回転に応じて球面調和成分を回す方法は、HRTFの補間を必要とせず、速くて確実な代案になる、というのがその判断です。
この仕組みで、何ができるようになったのか
実装したシステムは、畳み込みで生成した試料をリアルタイムにデコードし、バーチャルスピーカーをバイノーラルにミックスダウンします。
頭の方位方向の回転は、球面調和成分を逆方向に回すことにそのまま対応します。
これによって、聴取者は再生された音場を能動的に探りながら聞くことができます。
頭を動かすと音場が応答する、というのがこの研究の得た結果です。
この研究の、どこまでが確かめられているのか
著者らはこの手法について、まだ初期の段階にあり、やるべきことが多く残っていると述べています。
このシステムは、ほかのヘッドトラッキング方式との比較ABXテストや、定位性能のテストではまだ評価されていません。
頭の回転も方位角の平面に限られており、上下方向を含む正中面への拡張や、方位角と仰角を組み合わせた任意の回転への対応は、この研究の範囲の外です。
この研究は、音場の再現をめぐる研究のどこに位置するのか
この研究は、部屋の音響測定と、ヘッドホンによる空間音響再生の交わるところにあります。
部屋の響きをそのまま再現しようとすると、実際のスピーカーを並べる方法が素直ですが、その分、機材や部屋の制約を受けます。
一方、ヘッドホン再生で頭の動きを取り入れるには、HRTFのデータベースを角度ごとに引き直す手間と、補間の問題がついて回ります。
この研究は、測定した音場をアンビソニックで符号化し、球面調和成分を回すことで、その二つを橋渡ししようとしたところに特徴があります。
評価はまだ済んでいない段階ですが、示されたのは、頭の動きを音場の回転として扱うという考え方の筋道です。
音場を角度方向の成分に分けて表しておけば、頭を動かすことは成分を回すことに帰着し、個々の角度についてフィルタを用意し直す必要がなくなります。
この枠組みがどこまで聴感上の自然さに結びつくかは、今後の評価に委ねられています。
参考資料
Auralization of Measured Room Impulse Responses Considering Head Movements（Anthony Parks, Jonas Braasch, Sam Clapp, 2013年, AES 135th Convention, New York, USA, 2013年10月17日から20日, Convention Paper 8948）
原典の主張は、Auralization of Measured Room Impulse Responses Considering Head Movements をご参照ください。
