視線情報を活用した楽譜追跡

本稿では DP マッチングによる楽譜追跡アルゴリズムと視線情報を組み合わせた楽譜追跡システムを提案する.従来の楽譜追跡手法の多くは打鍵情報のみで演奏箇所を推定する.そのため,同一あるいは類似した音形を多数含むような楽曲に対して,直前の演奏箇所と全く異なる箇所を演奏し始めた場合や特定箇所で誤打鍵と弾き直しを何度も続けて繰り返した場合は演奏箇所が確定するまでに遅れが生じたり,演奏箇所の推定精度が下がってしまう.本研究では,演奏者の思考が信頼度高く表出される視線情報に注目し,視線情報と打鍵情報を組み合わせた楽譜追跡手法を提案する.技術的な課題には,視線情報の誤差,打鍵情報の誤打鍵への対処の課題や視線情報と打鍵情報の利用優先順位があり,ヒューリスティクスの導入によって解決を試みる.楽譜追跡における視線情報の有用性を示すために,視線情報導入時と非導入時の楽譜追跡の誤り率を評価した.結果は視線情報導入時の正解率が視線非導入時の正解率の 1.4 倍に高くなった.また,視線導入時の平均推定時間が視線非導入時の平均推定時間の 0.3 倍に短くなった.従って,楽譜追跡における視線情報の有用性が証明された.

%e8%a6%96%e7%b7%9a%e6%83%85%e5%a0%b1%e3%82%92%e6%b4%bb%e7%94%a8%e3%81%97%e3%81%9f%e6%a5%bd%e8%ad%9c%e8%bf%bd%e8%b7%a1

寺崎栞里, 竹川佳成, 平田圭二, “視線情報を活用した楽譜追跡システムの構築,” 情報処理学会研究報告, Vol. 2016-MUS-112, No. 11, pp. 1–8 (2016年7月).