目次
離れた会場をインターネットでつないで、演奏者同士が即興で音を重ねる。
その場に全体を導く指揮者はいません。
では、機械が音を聴いて即興の緊張を測り、誰にソロを回すかを判断することはできるのでしょうか。
この記事が答える問いは、聴覚の仕組みを模した計算と論理による推論を組み合わせたエージェントが、離れた場所の即興演奏をどう指揮できるかです。
研究が示したのは、ラウドネスから推定した緊張の推移が人の感じる緊張と強く相関すること、そしてその値を手がかりにソロと合奏の状態を論理の規則で判定できることです。
離れた場所の即興を、機械はどう導けるのか
この研究が相手にするのは、テレマティック・アンサンブルです。
テレマティック・アンサンブルとは、複数の会場の演奏者がインターネットでつながり、離れた場所同士で同時に演奏する形態のことです。
対面でないため、音の届き方にも、演奏者同士のやり取りにも独特の難しさが伴います。
Braasch ら（2011年）は、この形態が伝統として広がりつつある一方で、多くの課題を抱えていると述べています。
ここで鍵になるのが緊張アークです。
緊張アークとは、即興演奏がその時々に抱える知覚上の緊張の、時間に沿った推移のことです。
しばしば弧を描く形になることから名付けられ、短い音の調性に由来する緊張の曲線とは区別されます。
即興を導くには、この緊張の流れを捉える必要があるというのが、この研究の出発点です。
もう一つの柱が計算的聴覚情景分析（CASA）です。
CASAとは、人間の聴覚末梢の働きを模した計算によって、音楽的な特徴を認識する一連のアルゴリズムのことです。
それまでの音楽向けの知的エージェントは、信号に直接反応するだけで、音楽について推論する力を持ちませんでした。
この研究は、CASAのアルゴリズムと論理に基づく厳密な推論とを組み合わせることで、リアルタイムに即興を指揮し作曲するシステムを作ろうとしています。
機械は緊張アークをどう測り、指揮に変えたのか
Caira は、ボトムアップとトップダウンの処理を組み合わせたエージェントです。
ボトムアップ側は聴覚末梢を模し、トップダウン側は Prover9 と Handle モジュールによる論理ベースの推論で認知を模します。
Handle は、非生成的で論理ベースの推論を担うモジュールです。
実際の演奏は、2〜6人の自由即興の演奏者を対象に、テレマティックな構成で組まれました。
各楽器は近接マイクで収音し、会場ごとにマイクアレイを置いてハウリングを避けています。
近接マイクの信号なら、演奏者ごとに緊張アークを分けて解析できるからです。
離れた会場で音の大きさを正しく再現するため、音圧レベル較正ユニットを実装しました。
これは、マイクアレイで絶対的な音圧レベルを測り、遠隔地で楽器の音の大きさを本来どおりに再現する仕組みです。
近接マイクと、収録側と再生側のマイクアレイ、帯域通過フィルタバンクでのレベル比較、時間と周波数によるゲイン調整を組み合わせています。
較正レベルは 85 dB と見積もられ、ゲインの更新は 10 ms の間隔で行われます。
較正されたマイク信号は、釣り合いの取れたラウドネス解析に適しており、マイクアレイは仮想的な聴き手、すなわち指揮者の位置として働くとされています。
緊張アークの推定は、心理音響の指標から行います。
中心は動的ラウドネスです。
動的ラウドネスモデルとは、Chalupper と Fastl による、聴覚フィルタとマスキングの効果を模してその時々のラウドネスを推定するモデルです。
これに、粗さ（ラフネス。
Daniel と Weber の計算法による心理音響の指標）と、鋭さ（シャープネス。
Zwicker と Fastl の計算法による心理音響の指標）を加えました。
推定の正しさを確かめるため、知覚された緊張アークそのものを心理物理的に測定しました。
288 秒のサクソフォン独奏を題材に、MIDI コントロールインターフェースとデジタルオーディオワークステーションを使って、聴き手が感じる緊張を記録したのです。
この測定値を、計算で求めた関数と比較しました。
比較したのは、ラウドネス L(t) の 4 乗にあたる f1(L) = L(t)^4 と、粗さを混ぜた f2(L,R) = 6×10^6 R(t)^3 + L(t)^4 です。
緊張アークを指揮に変える仕組みがオントロジーです。
オントロジーとは、演奏者やアンサンブル、ソロ、強弱の段階といった概念を、一階述語論理で形式的に書き下したものです。
一階述語論理は、音楽の構造を認識し行動を選ぶ規則を表す論理の記法です。
各演奏者には tacit（無音）から ff（フォルティッシモ）まで 7 段階の強弱が定義されます。
この規則によって、ソロか合奏かの認識、望ましくない状態の検出、ソロをやめるよう求める、別の演奏者にソロを促す、といったエージェントの行動が定められています。
推定した緊張は、人の感じ方とどれだけ合ったのか
まず較正の仕組みについて。
適応的な較正システムは、再生側の音圧レベルを追跡し、元の音の大きさに合わせてゲインをリアルタイムに調整できることが示されました。
次に緊張アークの推定です。
サクソフォン独奏の例では、計算で求めたラウドネス曲線が弧を描く形になりました。
知覚された緊張アークと、計算値との相関係数をまとめると、次のようになります。
平滑化したラウドネスとの相関係数は 0.7916 でした。
粗さは 0.6793、鋭さは -0.0932 と、ラウドネスに比べて弱い相関にとどまりました。
そこでラウドネスを 4 乗する f1(L) = L(t)^4 を試すと、相関係数は 0.9061 に上がりました。
さらに粗さを混ぜた f2(L,R) = 6×10^6 R(t)^3 + L(t)^4 では 0.9159 に達しています。
緊張アークの土台をまず音の大きさだけにした理由は、この高い相関値にあると著者は述べています。
論理の側面では、オントロジーと一階述語論理の規則によって、ソロと合奏の状態を認識できることが示されました。
それをもとに、ソロをやめるよう演奏者に求めたり、別の演奏者にソロを促したりといった行動を選ぶことができます。
この仕組みの効き目は、どこまで言えるのか
著者たち自身が、この研究の限界を明示しています。
まず、ここで紹介されたのは初期の試作であり、作業途中のものです。
完成した最終システムではありません。
緊張アークのモデルも、いまは音の大きさだけを手がかりにしています。
著者はこれを粗いものと認めており、演奏者を不必要に縛らないよう、今後は洗練が必要だと述べています。
知覚データについても、報告されているのはサクソフォンの独奏と、第一著者自身が感じた緊張アークの記録だけです。
楽器や聴き手を変えたデータは、この論文の時点ではまだ収集の途上にありました。
また、ソロの長さの上限は、演奏者が面白い演奏を続けているかを適応的に観察するのではなく、いまのところ単に値を割り当てているだけです。
音高やテクスチャ、リズムの解析は現行のシステムに含まれておらず、調性に由来する緊張アークと Information Rate も、今後の拡張として予定されています。
この研究は、どこに位置づくのか
この研究は、音楽を対象にした計算的な聴取と、形式的な論理による推論とを、リアルタイムの演奏の場で結びつけようとした試みとして位置づけられます。
聴覚末梢を模した解析の上に、一階述語論理で書かれた規則を重ねることで、音を聴くことと、聴いた内容について推論することとを、一つのエージェントの中でつなごうとしました。
この方向は、音楽を対象にした計算エージェントという分野のなかで、推論の層を加える位置にあると言えます。
もう一点、緊張アークという概念を、心理音響の指標から推定できる量として扱い、その推定値が人の感じ方と高い相関を持つことを示した点も、この研究の位置を決めています。
知覚的な緊張を測れる量として扱う見方は、即興演奏を機械が導くための土台になります。
この研究は完成した道具を提示したというより、そうした方向の可能性を試作を通じて示した段階のものです。
参考資料
原典の主張は、Caira – a Creative Artificially-Intuitive and Reasoning Agent as conductor of telematic music improvisations をご参照ください。
