研究内容
上記の運指認識技術を使用した学習支援アプリケーションを構築した．提案するアプリケーションは，光る鍵盤のように打鍵位置の正誤チェックだけでなく，運指の正誤も含めたチェックを行える．また，鍵盤上部に設置したプロジェクタを用いて運指などの演奏支援情報を提示する演奏支援システムを提案する．
上図を用いて提案システムの学習支援方法について説明する．図中の番号は，以下の箇条書き番号や括弧付き番号に対応している．
1.打鍵鍵(次に打鍵する鍵)の輪郭を囲む．
2.運指情報は，運指番号ごとに対応している輪郭の色や，鍵上に運指番号を表示することで示す．なお，輪郭の色は，爪先に装着しているマーカの色と同じである．
3.正解運指が打鍵鍵上にある場合，その打鍵鍵全体が塗りつぶされる．上図では(1)の指す鍵が打鍵鍵で，左の打鍵鍵は正しい指が置かれているため打鍵鍵全体が塗りつぶされている．一方，誤運指で打鍵している場合や，誤った鍵を打鍵した場合，矩形を赤色で塗りつぶすことで誤りを視覚的に示す．これにより学習者は容易に打鍵位置や運指を把握できると同時に誤りを補正できる．
4.打鍵鍵上に正運指がある場合に塗りつぶすだけでなく，候補鍵(打鍵鍵より後に打鍵する鍵)上に正運指がある場合は，候補鍵上の輪郭を正運指の色で囲む．上図では(4)の指す鍵が候補鍵で，最も低い候補鍵上に正運指があるためその鍵の輪郭が囲まれている．これにより，学習者は打鍵鍵より後に弾く鍵と指の組合せを明確に把握できるためスムーズに演奏を行える．
5.打鍵鍵や候補鍵の先端に打鍵順番を提示する．また，打鍵順番の背景色は運指に対応する色が割り当てられており，同じタイミングで打鍵する音が複数あれば横線で結び和音演奏であることを提示する．これにより，どの鍵を今後弾いていくのかといった演奏の流れを理解できるため，次以降に弾くべき鍵が不明なため演奏を中断してしまう光る鍵盤の問題も解決できる．また，広い領域にまたがる同時打鍵に気づくことができる．
6.右手と左手の各指はそれぞれ同じ色のマーカを装着しており，運指情報を示す色だけでは右手か左手で演奏するか判別できない．そこで，右手と左手の演奏領域の境界線を提示する．
7.鍵盤上部に現在演奏している付近の楽譜を示す．楽譜の各音符と音符に対応する鍵との間が線で結ばれている．これにより譜面が読めないユーザであっても音符と鍵の関係が理解でき読譜学習にもつながる．また，打鍵鍵の線は太線で，候補鍵の線は細線で表すことで打鍵鍵を目立たせている．
8.五線譜内には，現在演奏している位置を示すバーを表示する．これにより左右の手の打鍵タイミングを楽譜から理解できる．
9.初級者が新規の楽譜に取り組む場合，片手ずつ訓練する．両手用楽譜や片手用楽譜を用意し，選択的に利用できるようにする．また，片手で訓練している場合も，もう片方の手の演奏との関連を意識することは両手で合わせるときに重要であるため，もう片方の手で演奏する音符も薄く提示する．上図-(9)は右手訓練用の楽譜である．
10.鍵盤演奏ではスムーズな演奏を行うために親指を交差する奏法が頻繁に用いられる．初級者は指の交差を行うタイミングや，どのように指の交差を行うかわからないため，タイミングや交差方法を提示する．
提案手法の有用性を示すために鍵盤初級者を対象とした評価実験を行った．本実験では，光る鍵盤の手法を比較対象として，運指ミスや打鍵ミスから提案システムの学習効率性について調査した．提案手法は上記の演奏支援情報を提示し，光る鍵盤の手法では鍵盤上に次に打鍵する鍵を赤枠で提示した．また，両手法において運指付楽譜も演奏者の前面に合わせて提示した．提案手法および光る鍵盤それぞれについて4名ずつ実験してもらい，被験者は楽譜がほとんど読めない鍵盤経験歴のない電気電子工学を専攻する大学院生および大学生である．また，W. A. Mozartのトルコ行進曲(ソナタ K.331第3楽章)を，最初から18小節目まで片手のみで演奏してもらった．実験では，15分間の訓練後，通し演奏(最初から最後まで一通り演奏すること)をしてもらい，そのときの打鍵ミス数，運指ミス数を計測した．通し演奏時は，両手法において前面にある運指付楽譜のみ提示した． 提案手法の打鍵ミス数の平均は2.8回，運指ミス数の平均は0.5回であった一方，光る鍵盤の打鍵ミス数の平均は32.0，運指ミス数の平均は36.8回であり，提案手法の学習効率の高さが証明できた．提案手法を利用した被験者は，打鍵位置や運指を正確に捉え，楽譜の内容を理解した上で演奏できるようになっていた．一方，光る鍵盤の手法を利用した被験者は，提示された打鍵位置を追う単純作業となり，打鍵位置が指示されない通し演奏では記憶を頼りに演奏するしかなく打鍵ミスが頻繁に生じた．また，正確な打鍵に集中する余り運指まで考慮する余裕がない，楽譜が読めないためどの運指で打鍵すべきかわからない，運指ミスに気づかず演奏してしまうなど，さまざまな理由により運指ミスも頻繁に生じた．
また，プロジェクタを使うことで鍵盤上やその付近にリッチなコンテンツを提示できるという特徴をいかし，鍵盤の演奏をサポートするさまざまなアプリケーションを構築した．
鍵盤上にアイコンを投影することで，鍵盤の設定や以下で示すアプリケーションを打鍵操作により設定する． アイコンを利用することで，各鍵に割り当てられた機能を直観的に理解できる．
鍵上に直接音名を表示し，所望する音色が表示されている鍵を直接打鍵することで設定できる．今後は，子供でも理解できるようにするために，音名だけでなく楽器アイコンの表示も検討している．既存のキーボードは音色の数が増えるほど設定スイッチの数や階層が深くなり複雑な操作になってしまっていたが，鍵盤を入力インタフェースととらえプロジェクタの表現力を利用することで直観的な音色設定が可能になると考えられる．
・メトロノームの速度や拍数を打鍵操作により設定する．また，現在の何拍目かを鍵盤上部に提示する．通常，耳でカウントをとり合わせていた1拍目を，視覚的に示すことでより容易にタイミングを合わせることができる
・提案するシステムの鍵盤はプロジェクタの映像が映るよう黒鍵が白く塗られている．各黒鍵上に異なる色を投影し，所望する色の黒鍵を打鍵することで，黒鍵の色を指定できる．
・演奏に同期して光る水玉を出すアプリケーションを構築した．音階や音量により玉の色や数が変わる．演奏に同期した視覚的効果は演奏者から離れたスクリーンに投影するものが多かったが，演奏者の手元に直接提示する作品はめずらしい．これにより，演奏者自身も演奏中でも容易に視覚的効果を楽しめ，観客は演奏の様子と視覚的効果を一緒に楽しめる．
ムービー1
ムービー2
発表歴
- 竹川佳成, 寺田努, 塚本昌彦, “運指認識技術を活用したピアノ演奏学習支援システムの構築,” 情報処理学会論文誌, Vol. 52, No. 2, pp. 917–927 (2011年2月). PDF
- 竹川佳成, 寺田 努, 塚本昌彦, “リズム学習を考慮したピアノ演奏学習支援システムの設計と実装,” 情報処理学会論文誌, Vol. 54, No. 4, pp. 1383–1392 (2013年4月). PDF
- Takegawa, Y., Tayanagi, E., Tsubakimoto, M., and Hirata, K., “Evaluation of a Piano Learning Support System Focusing on the Learning Process,” Proceeding of World Conference on Educational Media and Technology (EdMedia2013) , pp. 2306–2314 (June 2013). PDF
- 竹川佳成, 寺田 努, 塚本昌彦, “システム補助からの離脱を考慮したピアノ演奏学習システムの設計と実装,” コンピュータソフトウェア(日本ソフトウェア科学会論文誌), Vol. 30, No. 4, pp. 51–60 (2013年10月). PDF
- 竹川佳成, 椿本弥生, 田柳恵美子, 平田圭二, “鍵盤上への演奏補助情報投影機能をもつピアノ学習支援システムにおける熟達化プロセスに関する調査,” インタラクティブシステムとソフトウェアXXI: 日本ソフトウェア科学会 WISS2013, pp. 55-60 (2013年12月). PDF
- 田村速人, 竹川佳成, 平田圭二, 田柳恵美子, 椿本弥生,“成人ピアノ初級者の演奏熟達におけるチャンク形成過程の分析,”情報処理学会研究報告, Vol.2014-MUS-102, No. 8, pp. 1–8 (2014年3月). PDF
