目次
ゲームの中で、声の方向や高さでキャラクターを操作できたらどうだろう。
キーボードでもコントローラでもなく、声と、聞こえてくる位置だけで仮想世界に働きかける。
そんな入力は実現できるのか。
音源定位をVRゲームのリアルタイム入力に使う研究（Kerure and Freeman, 2018）を解説する。
ゲームの音声入力に、なぜ空間情報が使われてこなかったのか
ゲームにおける音声入力は、これまでリズムや音程、音量といった単純な特徴量に限られてきました。
音の空間的な位置情報、つまり「どこから聞こえてきたか」は、入力として使われてこなかったのです。
一方、VR（仮想現実）は全方位のインタラクションを可能にします。
頭の向きに応じて映像が変わり、音も定位する。
この環境では、音の方向情報を入力として使うことが、より自然な操作体験につながると考えられます。
音源定位（audio source localization）とは、物理空間の中で音の到来方向を推定する技術です。
人間は左右の耳に届く音の時間差や大きさの差から方向を知覚していますが、機械でも複数のマイクを使えば同じことができます。
著者らは、この音源定位がコンピュータビジョンや他の追跡手法に比べて、低い機材コストで音色・時間・方向という豊かな情報を提供できる点に着目しました。
ビームフォーミング（beamforming）とは、複数のマイクが捉えた信号を合成し、特定の方向からの音を強調したり、音の到来方向を推定したりする信号処理技術です。
3Dアンビエンス録音にはどのマイクアレイが適しているのか、その研究を読むでも触れられているように、マイクの数や配置によって空間の捉え方は変わります。
この研究では、円形に並べたマイクアレイによるビームフォーミングを用います。
非対称VR（asymmetric VR）とは、一人がヘッドセットを装着し、もう一人が別のディスプレイを使う、役割とインタフェースの異なるVR体験の形です。
今回の研究では、この非対称性が音声入力とVR操作の組み合わせに活用されています。
音の方向を、どうやってゲームの操作に変換したのか
著者らは、ReSpeakerマイクアレイをHTC Viveヘッドセットの上に円形に取り付け、ビームフォーミングによって音の到来方向を推定するシステムを設計しました。
ReSpeakerアレイが選ばれたのは、ビームフォーミングと方向推定の機能をあらかじめ内蔵していたからです。
DSPチップ上では残響除去（dereverberation）も行われます。
音声特徴量はリアルタイムで抽出されます。
音程は自己相関（autocorrelation）によって検出します。
自己相関とは、信号を時間的にずらした複製と元の信号の相関をとり、周期性を見つける時間領域の手法です。
中低域での有効性と音声アプリケーションでの普及を理由に採用されました。
音量はRMS（root mean square amplitude）で測ります。
RMSとは、信号レベルの実効値を表す指標で、ラウドネスの推定に使われます。
さらにFFTによる周波数帯域分割で、低域（60〜200Hz）と中高域（300〜1000Hz）の特徴量を取り出します。
キーワード検出にはMicrosoft Speech Recognitionを使い、「Strike」という発話を認識します。
これらの情報をもとに、非対称二人対戦の一人称シューティングゲームがUnityで開発されました。
VRプレイヤーはヘッドセットを着けて弓矢で守り、非VRプレイヤーはディスプレイを見ながら音声で攻撃します。
声の高さ（ピッチ）が弾の軌道の高さに、声の大きさ（音量）が弾のサイズとダメージに、そしてマイクアレイが捉えた音の到来方向が弾の発射位置に対応します。
特徴量データはOSC（Open Sound Control）プロトコルでUnityへ送られます。
マイクアレイからの多チャンネル入力の処理にはJUCE（クロスプラットフォームのC++音声開発フレームワーク）を用い、Windows上でHIDAPIプロトコルを通じてReSpeakerと通信します。
試作は10人の参加者による試遊を通じて繰り返し調整され、ゲームバランスと音声インタラクションの感触が確かめられました。
試遊から何が明らかになったのか
試遊からは、次のような知見が得られました。
この手法はどこまで使えるのか
著者ら自身が述べた限界は、大きく三つあります。
第一に、スピーカー再生を使うと音源定位の精度が著しく低下します。
スピーカーから出た音がマイクアレイに回り込み、本来の音声と混ざるためです。
このシステムはヘッドホンでの使用を前提としており、スピーカー環境への応用には別の対策が必要です。
第二に、キーワード検出の精度です。
試作では開発期間の制約から、学習済み分類器ではなくリアルタイムのキーワード検出ライブラリを使いました。
そのぶん認識精度に妥協が生じています。
第三に、プレイヤーの嗜好に偏りが見られました。
参加者がVR側の役割をより好む傾向があり、非VRプレイヤー側のインタラクションには改善の余地が残されています。
研究の条件から自然に読み取れる適用範囲についても触れておきます。
この研究は一人の話者による音声入力を対象としており、測定には特定の機材（ReSpeakerアレイ、HTC Vive）と周波数帯域（60〜200Hzおよび300〜1000Hz）が使われています。
また、試遊は10人の参加者による非公式な形式で行われました。
これらの条件を外れた環境での振る舞いは、この論文からは判断できません。
この研究をどう受け止めるか
この研究は、音源定位をゲーム入力に応用するというアイデアを、実際に動く試作として示した点に価値があります。
理論的な枠組みだけでなく、具体的な機材構成とソフトウェア設計を公開し、10人の参加者による試遊まで行ったことで、机上では見えない実践的な知見が得られています。
とくに、スピーカー再生が定位を阻害するという発見は、音声入力と音声出力を両立させようとするあらゆるシステムにとって示唆的です。
著者らは試作の粗さを隠さず、キーワード検出の精度不足や非対称プレイの嗜好の偏りを率直に報告しています。
この誠実さが、後続の研究や開発にとっての出発点を明確にしています。
音声による空間入力という方向性は、当時まだ探られ始めたばかりの領域であり、この研究はその初期の試みの一つとして位置づけられます。
参考資料
Kerure, A. A. and Freeman, J., "Audio Source Localization as an Input to Virtual Reality Systems," AES Convention 144, Convention Paper 10019, 2018.
原典の主張は、Audio Source Localization as an Input to Virtual Reality Systems をご参照ください。
