目次
VRや6自由度のコンテンツで、話す人物が振り向くと、聞こえる声はどう変わるのか。
声には向きで強さが変わる放射特性があり、全方位で測るには補間が欠かせません。
どの補間が最も自然に声の向きを再現するのか。
木下と杉本（2023年）は、線形補間と自然近傍補間が実用的だと示しました。
声の向きを再現するには、何が足りないのか
6自由度（6DoF）コンテンツ、つまり前後・左右・上下の移動と、頭部のヨー・ロール・ピッチの3軸回転を利用者に許すコンテンツでは、利用者の自由度が高まります。
すると音の定位だけを再現しても、現実感や没入感が足りません。
音の方向を入力に使うインタラクションは、声の方向でゲームを操作できるか、音源定位をVR入力に使う研究を読む（2018年） でも紹介されています。
音源には向きによる放射特性があります。
放射特性とは、音源が音波を放射する向きによって変化する周波数応答のことです。
コンテンツに登場する音源の多くは人間の声です。
話す人物が振り向けば、耳に届く声の音色は変わります。
その向きを表現したい。
これが本研究の動機です。
向きを表現する手法として、放射特性ステアリング（RCS）があります。
放射特性ステアリングとは、3次元の放射特性データベースと補間を使い、通常に録音した音へフィルタをかけて目的の向きの声に合わせる手法です。
ただし放射特性を全方位で手に入れるには、マイクを球面状に並べたアレイで測るのが実際的です。
マイクはどうしても離散的にしか置けず、すべての向きの実測値は得られません。
測れない向きを埋める補間が、ここで欠かせなくなります。
三つの補間方法を、どう比べたのか
まず、声の3次元放射特性を実測します。
経験豊かなアナウンサー（男性1名・女性1名）を対象に、球状のジグを使い、唇を中心とした球面上に無指向性のラベリアマイクを並べて、日本語のモーラをすべて発声してもらいました（球面状のマイクアレイの考え方は、球状マイクアレイで仮想指向性マイクはどこまで作れるのか でも扱っています）。
計測の条件は次のとおりです。
この離散的な実測値を、3つの補間方法で埋めます。
線形補間（LI）とは、方位角と仰角の平面でドロネー三角分割を行い、任意の座標の音圧を、周囲の測定点までの距離比を使った線形結合で表す補間です。
自然近傍補間（NNI）とは、ボロノイ分割を作り、その領域の面積比を使って周囲の測定点の音圧を合成する補間です。
球面調和展開（SHE）とは、球面上の音圧を球面調和関数で展開し、最小二乗法で係数を求め、マイク数に応じて次数を打ち切る方法です。
本論文では124本のマイクに対して次数10で打ち切っています。
次に、放射特性ステアリングの刺激を作ります。
方位角と仰角（単位は度）で表すと、正面（0, 0）から（45, 45）、（0, 90）、（-30, 120）、（0, 180）の各目標方向へ、それぞれの補間方法で声をステアリングしました。
録音した音声は強制アライメント（音声を自動で音素に区切る処理）で音素に分割し、録音方向と目標方向の周波数応答の差を補うFIRフィルタを生成しています。
最後に、聞き分けの主観評価を行います。
評価は、ITU-R BS.1116-3に基づく二重盲検の3刺激・隠れ参照法で行いました。
参加者は参照音と2つの刺激を聴き比べ、そのうち1つは隠された参照になっています。
刺激には音素バランス文（日本語のモーラを網羅するように作られた文）を使い、30名のサウンドエンジニアが評価しました。
刺激は防音室で、参加者の前方2.0 mのスピーカから、約60 dB（A特性）で提示されました。
参照は、各向きで唇から1.0 mの位置で実際に録音した音声信号です。
事後のスクリーニングで15名が除外されました。
どの補間方法が、聞き分けに耐えたのか
結果は差分グレードという指標で示されます。
これは、処理した刺激の評価値から隠れ参照の評価値を引いた値で、-2を下回ると「わずかに気になる」以上の差と判定されます。
すべての方向で、線形補間（LI）と自然近傍補間（NNI）は、球面調和展開（SHE）より高い評価値を得ました。
LIとNNIでは、（45, 45）の評価が高く、（0, 180）の評価が低くなっています。
話者別に見ると、男性の声ではNNIが全方向で差分グレード-2を上回り、LIも（0, 180）を除けば-2を上回りました。
女性の声では、LIが（0, 180）以外の全方向で-2を上回り、NNIは（45, 45）と（0, 90）で-2を上回りました。
SHEは、男性の声の（0, 90）を除くすべてで-2を下回っています。
つまり、LIとNNIは、6DoFコンテンツで人間の声の向きを表すのに実用的と判断されました。
一方で、高域と後方方向の補間精度には、まだ改善の余地があります。
どこまで当てはまるのか
著者らは、いくつかの限界を明示しています。
球面調和展開（SHE）は、マイクの数に応じて球面調和の次数を打ち切る必要があり、マイクが少ないほど打ち切り誤差が大きくなります。
線形補間（LI）と自然近傍補間（NNI）は後方の方向で精度が下がり、頭部回折によって放射特性が複雑になる高域では、十分な減衰が得られない場合があります。
補間精度には、とくに高域と後方方向で改善の余地が残ります。
また、本論文ではデータベースの作成に使った話者と、音源のステアリングに使った話者が同一です。
話者が異なる場合に物体の向きをどう表現するかという、より一般的な方法は検討されていません。
この研究を、どう受け止めるか
6DoFコンテンツでは、聞く人の位置や向きが自由に変わるため、音源の向きまで再現しなければ現実感が不足します。
この研究は、その中でも扱いが難しい人間の声の放射特性を、補間という実用的な手段で表現できることを、聞き分け評価を通じて示しました。
球面調和展開より線形補間や自然近傍補間のほうが聴感上は良い結果だった、というのは、この分野で参照できる知見になります。
一方で、後方方向と高域の精度が残るという限界は、放射特性の補間がまだ完成された技術ではないことを示しています。
話者が異なる場合への一般化も、今後に残された問いです。
この研究は、6DoFの音をより現実的にする取り組みの一歩として位置づけられます。
参考資料
原典の主張は、Comparison of interpolation methods to measure the three-dimensional radiation characteristics of the human voice をご参照ください。
