研究内容
楽器の演奏技術の向上には多大な時間や労力を必要とするため，敷居の高さに利用を断念したり，習熟効率の低さから挫折してしまう演奏者が多い．例えば，ピアノ演奏では，正確な鍵の打鍵やリズム感覚，適切な運指や打鍵の強さなど，さまざまな技術が求められ，それらの修得には長期間の基礎的な訓練を必要とする．演奏スキルの向上をめざしピアノ演奏において重要な要素の1つである運指を実時間で取得するシステムを構築した．提案システムは右図に示すようにカメラと爪先につけたカラーマーカにより運指を認識する．また，実時間処理を実現するためにシンプルな画像処理アルゴリズムを利用する一方，鍵盤演奏の特性をもとに定義したルールにより運指を補正し認識精度を高めている．
提案システムが適用したルールの一例として「親指以外の指の交差は生じない」がある．これは，親指以外，人差指から小指にかけてはマーカの水平方向の位置関係が崩れることはない．ルール1は，右図で示すように，マーカの未検出（マーカの存在そのものが検出されていない状態） やマーカの誤認識（検出したマーカを誤認識している状態） を検出および修正できる．
実装した運指取得システムのプロトタイプの有効性を示すために，鍵盤習熟者3名に3曲の課題曲を実際に演奏してもらい運指正答率を調査した．また，ルールを適用した場合とそうでない場合とで比較しルールの有効性について検証した．右図に各楽曲のルール適用時と未適用時の運指認識正答率を示す．ルール適用時の認識正答率は平均して95%と高く，指の交差，複数の指の同時判定，高速で複雑な演奏の追従を高い精度で行えた．また，これらは有意水準5%でルール未適用時（平均正答率74%）との有意差も確認できた．画像処理をシンプルにし，ルールにより補正することで，リアルタイムで運指認識ができた．1フレームあたりの処理時間は平均20msecとカメラのフレームレート内で画像処理を完了できる．
運指認識技術は，リアルタイムに運指を取得できる特徴を活かし，地理的に離れた教師と生徒がレッスンを行う遠隔レッスンや誤った運指を指摘する独習支援や，目の前で演奏しているプロピアニストの運指がリアルタイムに楽譜にプロットされていくといった演奏と運指を同時に見ながらの効率的な演奏学習，奏者と一体感のある音楽視聴など，これまでにないさまざまなアプリケーションが開発できる．
ムービー1
ムービー2
発表歴
- 竹川佳成, 寺田 努, 西尾章治郎, “鍵盤楽器のための実時間運指取得システムの構築,” コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol. 23, No. 4, pp. 51–59 (2006年10月).PDF
- Takegawa, Y., Terada, T., and Nishio, S. “Design and Implementation of a Real-Time Fingering Detection System for Piano Performances,” Proceeding of International Computer Music Conference (ICMC2006), pp. 67–74 (Nov. 2006).PDF
- 竹川佳成, 寺田 努, 西尾章治郎, “鍵盤奏者のための実時間運指取得システムの設計と実装,” インタラクティブシステムとソフトウェアXIII: 日本ソフトウェア科学会 WISS2005, pp. 93–98 (2005年12月).
