視線情報を活用した楽譜追跡システム

研究内容

本研究では楽譜追跡手法の一つであるDPマッチングのコストに視線情報を反映させた楽譜追跡手法を提案します.
楽譜追跡は自動伴奏や自動譜めくりの要素技術として多く研究されてきました.従来の楽譜追跡の多くは演奏箇所の情報をもつ演奏の音響信号やMIDIなどの打鍵情報をもとに演奏箇所を推定しています.しかし,直前と全く違う箇所から演奏を再開したり,同じフレーズを含む楽曲を演奏している場合には,打鍵情報のみからでは現演奏箇所や演奏再開箇所の推定が難しく,楽譜追跡に遅延や誤りが発生します.そこで,本研究では打鍵情報とは独立に演奏箇所情報を与える視線を楽譜追跡に統合させることで解決を試みます.

発表歴

  • 寺崎栞里,竹川佳成,平田圭二:視線情報を活用した楽譜追跡システムの提案,エンターテイメントコンピューティングシンポジウム,pp.190-192(2015).
  • 寺崎栞里,竹川佳成,平田圭二:視線情報を活用した楽譜追跡システムの構築,研究報告音楽情報科学,Vol.2016-MUS-112, No.11, pp.1-8(2016).
  • 寺崎栞里,竹川佳成,平田圭二:DPマッチングのコストに視線情報を反映させた楽譜追跡手法の提案,研究報告音楽情報科学,Vol.2017-MUS-114, No.2, pp.1-6(2017).