複数カメラのスイッチング半自動化機能およびアテンション共有機能をもつ遠隔ピアノレッスン支援 システムの設計と実装

研究内容


近年,通信技術・AR/VR技術などICT技術の発展に伴い,予備校におけるサテライト授業や会議システム,語学学習などの分野において遠隔・通信教育が一般化してきている.一方で,楽器演奏やスポーツに関しては依然として,対面環境における指導が一般的である.

その理由として,音楽ではその楽器特有の演奏法や指導が求められたり,スポーツにおいてはスポーツの種類ごとに身体動作が異なることが挙げられる.視界や,身体への接触などの動作が制限される遠隔環境においては,これらの指導を円滑に行うことは難しい.

そこで,本研究では,物理的に離れた2地点間においても円滑なピアノレッスンを実現するための,遠隔ピアノレッスン支援システムの構築を目的とする.提案システムは,演奏の詳細を相手に伝達するために複数台のカメラから構成される.また,複数カメラ映像の中から最適な映像を提供するカメラスイッチング自動化機能や,ユーザ自身が手動で選択できる機能をもつ.さらに,アテンションを共有するために,打鍵個所や楽譜の書き込みを共有できる機能をもつ.

ポスター


ムービー


キーピクチャ


発表歴


  • 松井遼太,竹川佳成,平田圭二, 複数カメラのスイッチング半自動化機能およびアテンション共有機能をもつ遠隔ピアノレッスン支援システムの設計と実装, インタラクティブシステムとソフトウェアXXII: 日本ソフトウェア科学会 WISS2017 (December 2017).
  • 松井遼太, 竹川佳成, 平田圭二, 最適な多視点カメラワークを自動生成する遠隔ピアノレッスン支援システムの設計と実装, 2017-MUS-114, No.23, (社) 情報処理学会 音楽情報科学研究会 (February 2017).