ITを用いた新しい交通サービスの創出

公立はこだて未来大学スマートシティはこだてプロジェクトでは,IT(Information Technology) を利用することにより,路線バス,タクシーなどの区別をなくした新しい交通システムである SAVS (Smart Access Vehicle System) を提唱しています.SAVS は,乗客からの配車依頼 (乗車場所,降車場所,降車場所に到着したい時刻などの入力)に応じて,コンピュータ上で最適な SAV(車輛) を選択して,その SAV に乗客を乗車・移動させるシステムです.
このSAVシステムを基に,乗客の利便性とSAV(車輛)の運行効率の両者を考慮したり,エンターテインメント性を高くし公共交通に移動以外の付加価値を与えるなど,公共交通をテーマに,サービス科学の標準問題を抽出・解決することを目指して研究を行っています.

着るピアノと光るピアノ

total

楽器演奏者の多くは,自己表現やコミュニケーションのために自分の演奏を誰かに披露したいという欲求がある.そのため,コンサートやライブハウスなど固定された場所に限らず,路上や街角で演奏するストリートミュージシャンが存在する.既存の演出には据え置きの機器が必要であり,特定の場所でしか使えない.そこで,本研究ではファッションとLEDに着目し,演奏に同期して人の身につけた衣服がファッショナブルに光る“着るピアノ”を提案する.実際に数種類のデザインの服とファッションアイテムを作成し,それらに電子キーボードから出力されるMIDI信号に合わせて光る機構を組み込んだ.さらに,ファッションショーで実運用を通じ,“着るピアノ”が新たな演出として有効であることを確認した.

total

竹川佳成, 宮前雅一, 岸野泰恵, 塚本昌彦, 大江瑞子, 西尾章治郎, “着るピアノ : 鍵盤楽器と連携したウェアラブルファッション,” エンタテインメントコンピューティング2005論文集, pp. 59–63 (2005年9月).

Airstic Drums:実ドラムと仮想ドラムを統合するためのドラムスティック

ドラムセットはさまざまな打楽器の組合せから構成されるが,個々の打楽器は大きく重いため,持ち運びが不便であったり,設置に広いスペースを必要としたりする.一方,モーションセンサを搭載したドラムスティックを用いて空間上の仮想打面を叩打することで擬似的にドラム演奏を行う仮想ドラムは,高い可搬性を持つが,叩打時のフィードバックがなく演奏しにくかったり,演奏法や音色が再現できないことから,実ドラムに慣れているドラム演奏者が仮想ドラムを使う場合,演奏性や表現力が著しく低下するため満足のいく演奏をすることは難しい.本研究で提案するAirstic Drumは実ドラムと仮想ドラムを統合することで,高い可搬性と演奏性を実現する.Airstic Drumは仮想ドラムの叩打と識別したときのみ,仮想ドラムに割り当てた音色の音を出力することで,仮想ドラムと実ドラムの利点をあわせ持つドラムを実現する.本研究では仮想ドラムと実ドラムの叩打動作を加速度および角速度の特徴量から識別することにより両者の統合を可能にした.また,プロトタイプを開発し,ドラム演奏者による実運用を行い,システムの有用性を検証した.

airstic-drums%ef%bc%9a%e5%ae%9f%e3%83%88%e3%82%99%e3%83%a9%e3%83%a0%e3%81%a8%e4%bb%ae%e6%83%b3%e3%83%88%e3%82%99%e3%83%a9%e3%83%a0%e3%82%92%e7%b5%b1%e5%90%88%e3%81%99%e3%82%8b%e3%81%9f%e3%82%81

菅家浩之, 竹川佳成, 寺田 努, 塚本昌彦, “Airstic Drum:実ドラムと仮想ドラムを統合するためのドラムスティックの構築,” 情報処理学会論文誌, Vol. 54, No. 4, pp. 1393–1401 (2013年4月).

Kanke, H., Takegawa, Y., T., Terada, T., and Tsukamoto, M., “Airstic Drum: A Drumstick for Integration of Real and Virtual Drums,” Proceeding of ACM SIGCHI International Conference on Advances in Computer Entertainment Technology (ACE2012), pp. 57–69 (Nov. 2012).

参考サイト
https://gugen.jp/entry2015/112

投影映像の視認性を考慮した装着型プロジェクタの装着位置選択手法

%e6%8a%95%e5%bd%b1%e6%98%a0%e5%83%8f%e3%81%ae%e8%a6%96%e8%aa%8d%e6%80%a7%e3%82%92%e8%80%83%e6%85%ae%e3%81%97%e3%81%9f%e8%a3%85%e7%9d%80%e5%9e%8b%e3%83%95%e3%82%9a%e3%83%ad%e3%82%b7%e3%82%99%e3%82%a7

近年,小型プロジェクタを身体に装着し,コミュニケーションや作業支援に役立つコンテンツを地面や壁などに提示する試みが行われている.しかし,プロジェクタを装着した場合,歩行などの動作によって投影映像が不安定になり,映像の視認や映像とのインタラクションが困難となる.また,映像の安定度や投影映像の大きさなど映像の質がプロジェクタの装着位置やユーザ状況によって異なると同時に,提示コンテンツによっても求められる映像の質が異なるため,これらを考慮した映像投影が求められる.そこで本研究では,複数のプロジェクタを装着し,ユーザの状況や提示コンテンツに合わせて使用するプロジェクタを選択的に切り替える手法を提案する.提案手法では複数のコンテンツやユーザ状況においてプロジェクタの装着位置と装着感の関係を調査し,その結果をもとに状況に応じて適切なプロジェクタを選択する.

太田 脩平, 竹川 佳成, 寺田 努, 塚本 昌彦, “投影映像の視認性を考慮した装着型プロジェクタの装着位置選択手法の提案,”  情報処理学会研究報告, Vol. 2010-HCI-138, No. 9, pp. 1–8 (2010年5月).

ウェアラブル実況中継システム

本研究では,1人でのライブ中継形式のレポートを支援するシステム「ポケレポ GO」を提案する.ライブ中継ストリーミングサービスの普及に伴い,だれもが自分の興味・関心,身の回りの出来事を放送できるようになった.1人でのライブ中継形式のレポートにおいては,撮影後に編集ができないことや,多くの作業を同時に行うことが求められるため,放送の品質の低下や,限られた情報の伝達といった問題を引き起こす可能性がある.これらの問題を解決するために,情報依存性の高い現場でライブレポートを円滑にすすめるための機能を実装したシステムを開発した.

%e3%82%a6%e3%82%a7%e3%82%a2%e3%83%a9%e3%83%95%e3%82%99%e3%83%ab%e5%ae%9f%e6%b3%81%e4%b8%ad%e7%b6%99%e3%82%b7%e3%82%b9%e3%83%86%e3%83%a0

竹川佳成, 松村耕平, “小特集 学会イベント支援-ウェアラブル実況中継システム,” 情報処理, Vol. 56, No. 5, p. 472-477 (2015年5月).

Takegawa, Y. and Matsumura, K., “A Wearable Live Reporting System with Functions for Video Shooting, Editing and Broadcasting for Solo Reporters,” ACM CHI 2015 Symposium on Emerging Japanese HCI Research Collection, pp. 1–5 (April 2015).

ウェアラブルDJ

近年,人と音楽との新たな関わり方として,BGMの選曲や再生をコントロールするDJ (Disc Jockey) が現れた.DJ は選曲を行い,曲と曲のスムーズなつなぎ合わせやエフェクトの追加,サンプリングなどを用いて聴衆を盛り上げる重要な役割をもつ一方,行動範囲は機器が設置されているブース内に限られている.そこで本研究では,ウェアラブルコンピューティング技術を活用することで,この問題を解決した新たなDJ 支援システムを提案する.提案システムでは装着型の無線通信機能付き加速度センサと動的計画法によるマッチング(DP マッチング:Dynamic Programming) を用いたジェスチャ認識技術を活用することで,場所を問わずに直観的な操作でDJ パフォーマンスを行える.また,本システムを,2007年神戸ルミナリエのイベントステージにて実際に試用した結果から明らかとなった問題に対処するために,DJの特性を活用したジェスチャのしきい値設定,状況認識用センサによるジェスチャ絞込機能,制約に基づくジェスチャ割当て機構を実装した.これらの機能により,認識精度と自由度を兼ね備えたDJ パフォーマンスを行えるシステムが開発できた.

%e3%82%a6%e3%82%a7%e3%82%a2%e3%83%a9%e3%83%95%e3%82%99%e3%83%abdj

冨林 豊, 竹川 佳成, 寺田 努, 塚本 昌彦, “装着型無線加速度センサを用いたウェアラブルDJシステム,” インタラクティブシステムとソフトウェアXVI: 日本ソフトウェア科学会 WISS2008, pp. 51–56 (2008年11月).

ウェアラブルクラヴィーア

appearance

提案するインタフェースを利用している様子を右図に示す.屋外利用を想定し,鍵盤は普段の生活で邪魔にならないように音域が1オクターブの小型な鍵盤を用いる.また,鍵盤は持って使用するのではなく装着し,入力は片手で行う.

input table右表に提案する文字入力方式の文字コード割当てを示す.かな文字の入力はC鍵からG鍵(白鍵のみ)の組合せで行う.あ行~な行は奏法(a)で,は行~わ行は奏法(b)で入力し,第1音で子音を第2音で母音を決定する.なお,は行~わ行で第1音と第2音が同じ鍵を使う文字(下線が引かれた文字)は,奏法(b)で演奏できない.ゆえに,第1音とC#鍵,D#鍵,F#鍵のいずれかを奏法(b)で弾くことで該当の文字を入力できるようにした.例えば,「は」を入力する場合,C鍵とC#鍵,D#鍵,F#鍵のいずれかを奏法(b)で弾く.なお,これら2鍵の演奏順は順不同である.

少ない鍵数で多くの文字を入力するためには,ストローク数や同時打鍵数を増やすことで組合せ数を稼ぐのが一般的である.しかし,提案方式では,2音の組合せと奏法を変化させることで組合せ数を増やしている.この組合せは,通常の演奏で頻繁に用いられている奏法であるため,ピアニストにとって肉体的・精神的な疲労感が少なく,特別な訓練なくブラインドで入力できる.これは,ピアニストを被験者とした予備実験から確認されている.また,全ての文字入力操作はC鍵からG鍵で行う.これにより,C鍵に親指をG鍵に小指を置いたポーズをホームポジションとすれば,ホームポジション内で文字入力操作が行えるため安定性が確保できる.さらに,実験のヒアリングで「C鍵に親指がある場合,D鍵は人差し指,E鍵は中指,F鍵は薬指,G鍵は小指を使って演奏する」という意見から,提案するホームポジションは,運指という視点から見ても演奏者にとって違和感がない.加えて,母音と指が1対1に対応付けられているため直観的に文字入力を行える.
提案文字入力インタフェースの有効性を示すために,鍵盤に習熟している被験者(ピアニスト)および鍵盤に慣れていない被験者を対象とした評価実験を行った.屋外利用を想定している入力デバイスとして広く使われているTwiddlerを比較対象とした.提案文字入力インタフェースは使い始めてから約60分でブラインド入力できるようになり,280分後には比較対象であるTwiddlerの文字入力速度と比べて2倍以上速く文字入力できるようになった.また,携帯電話方式(同じキーに複数の文字を割り当て,キーを複数回押すことで入力文字を選択する方式)を採用しているKeiboardとの比較評価実験からも提案手法の方が高速に入力できることがわかった.さらに,ピアニストの被験者は,鍵盤に慣れていない被験者より高速に入力できたことから,ピアニスト向けのインタフェースといえる.

これまでに,いつでもどこでも文字入力を行いたいという要求を満たすために様々なキーボード型文字入力インタフェースが提案されてきた.これらは,文字入力方式に着目すると携帯電話方式(同じキーに複数の文字を割り当て,キーを複数回押すことで入力文字を選択する方式),ポケットベル方式(子音と母音など複数キーの組合せで入力する方式),コード方式(複数キーを同時に入力する方式)に分類できる.一般に携帯電話方式,ポケットベル方式,コード方式の順で敷居は高くなり使い始めの文字入力速度は遅い.しかし,習熟後の文字入力速度はコード方式が最も速くなる.したがって,ユーザは敷居が低く低速な文字入力方式か,敷居が高いが習熟すれば高速に文字入力できる方式を選択しなければならない.このように,万人向けに設計されたインタフェースでは,敷居の低さと文字入力速度の両立は難しい.提案インタフェースは,ピアニスト向けという対象が限定されているものの,その対象にとって使い慣れたインタフェースを流用することで直観的で敷居の低い文字入力を実現できた.この研究成果は,これまでの「ユニバーサルデザイン」に対し「パーソナルデザイン」という新たな設計思想の提案につながると考えている.今後,日常生活の些細なことでもコンピュータを介するなどコンピュータとの関わりがより密になる流れはおさえようがなく,同時にコンピュータを操作する機会は増加すると考えられる.このような社会においては,インタフェースは多様化し,まるでファッションアクセサリにこだわりをもつように,個人の嗜好,特性,用途にあったインタフェースが求められはずで,パーソナルデザインが一般的になる可能性も十分考えられる.
小型の鍵盤で音域の広い曲を演奏しようとする場合,弾き進めていけば当然弾けない音が現れる.このとき,キートランスポーズを行なえば音域の問題は解決する.つまり,弾けない音が出現すれば,その都度キートランスポーズを行なって音域をカバーしていけば鍵数が少なくても音を繋いでいくことができる.しかし,通常の鍵盤でキートランスポーズを行なうと新たな問題が生じる.例えば,通常の鍵盤にキートランスポーズを行ない「ドの鍵」に「ラ」の音を割り当てた場合(左図上),黒鍵の音と白鍵の音の位置関係が崩れる.演奏者にとってこのずれによる違和感は大きい.また,どの鍵に何の音が割当てられているかを視覚的に判別できないという問題も生まれる.

 

竹川佳成, 寺田 努, 西尾章治郎, “鍵盤奏者のための小型鍵盤を用いた文字入力インタフェースの構築,” 情報処理学会論文誌, Vol. 50, No. 3, pp. 1122–1132 (2009年3月).

声量制御のための音声フィードバック手法

近年,計算機の小型化や高性能化に伴い,ユーザが計算機を常に身に付けて持ち運ぶウェアラブルコンピューティングに対する注目が高まっている.Google GlassやApple Watchなどのウェアラブル端末は,例えば,目的地までのナビゲーションなどユーザにとって有用な情報を提供するなどユーザの行動を支援している.既存の多くの情報提供手法の多くは,行動判断の材料となる情報をユーザに提示し行動を促す.しかし,トラブル時や酩酊時などユーザが自身の行動を制御できない状況もある.そこで本研究では,声量に着目し,ユーザに心理的負荷をかけず,不随意的かつ非知覚的にユーザの声量を制御するための音声フィードバック手法の提案を目的とする.提案システムはLombard効果を活用し,ユーザ自身が聴き取る自身の発声した声量を変化させることで,ユーザの声量を制御する.評価実験より提案手法における声量制御の効果を確認した.

%e5%a3%b0%e9%87%8f%e5%88%b6%e5%be%a1%e3%81%ae%e3%81%9f%e3%82%81%e3%81%ae%e9%9f%b3%e5%a3%b0%e3%83%95%e3%82%a3%e3%83%bc%e3%83%88%e3%82%99%e3%83%8f%e3%82%99%e3%83%83%e3%82%af%e6%89%8b%e6%b3%95

竹川佳成, 平田圭二, “声量制御のための音声フィードバック手法の提案,” 情報処理学会研究報告, Vol. 2016-EC-41, No. 24, pp. 1–8 (2016年7月).

さまざまな演奏スタイルに適応可能なユニット鍵盤

%e3%81%95%e3%81%be%e3%81%95%e3%82%99%e3%81%be%e3%81%aa%e6%bc%94%e5%a5%8f%e3%82%b9%e3%82%bf%e3%82%a4%e3%83%ab%e3%81%ab%e9%81%a9%e5%bf%9c%e5%8f%af%e8%83%bd%e3%81%aa%e3%83%a6%e3%83%8b%e3%83%83%e3%83%88
鍵盤の持ち運びの不便さを軽減する別のアプローチとして,1オクターブの鍵盤をレゴブロックのように上下左右に自由につなぎあわせることができるユニット鍵盤を紹介する.
構成例
このユニット鍵盤の四方にはコネクタを搭載しており,直接でもケーブルを利用してでも接続できる.例えば,2つのユニット鍵盤を水平方向に接続すれば2オクターブの鍵盤楽器(右図-a)となり,垂直方向に接続すればエレクトーン型の鍵盤楽器となる(右図-b).また,左右あるいは上下に鍵盤を連ねることができるだけでなく,ユニット鍵盤間に仮想の鍵盤を挿入し,スライダを動かすことで両サイドのユニット鍵盤の音域の差を1オクターブから4オクターブまで変化させることができる(右図-c).このように,ユニット鍵盤は「必要な鍵盤だけを持ち運ぶ」簡便さだけではなく,鍵盤の構成を自由に組み替えられるという利点ももつ.さらに,新規に接続したユニット鍵盤に対し,接続先のユニット盤と矛盾を起こさない音高や音色を自動的に設定する機能ももっているので,演奏の途中でユニット鍵盤を離したり繋げたりしながら音域の広い曲を演奏できる.
新しいパフォーマンスモータユニットとの連携

1オクターブごとに分離されている特性を活かし,キーボードの音域が不足したとき他の演奏者と貸し借りを行なったり,自律的に移動させたりをパフォーマンスとして見せられる.また,センサと連携できる特性を活かし,加速度や地磁気センサを用いれば鍵盤をもつ姿勢や向きによって鍵盤設定を変更できる.動きに関連付けた鍵盤操作は,難しい操作のできない子どもなどが楽器の設定ができるというだけでなく,マーチングバンドなど方位や演奏姿勢によって音色や音高を変化させエンターテイメントの要素としても活用できるのではないだろうか.

 

竹川佳成, 寺田 努, 西尾章治郎, “さまざまな演奏スタイルに適応可能な電子鍵盤楽器UnitKeyboardの設計と実装,” コンピュータソフトウェア(日本ソフトウェア科学会論文誌) インタラクティブソフトウェア特集, Vol. 26, No. 1, pp. 38–50 (2009年1月).

Takegawa, Y., Terada, T., and Tsukamoto, T. “UnitKeyboard: An Easily Configurable Compact Clavier,” Proceeding of International Conference on New Interfaces for Musical Expression (NIME 2008), pp. 289–292, (June 2008).

竹川佳成, 寺田 努, 西尾章治郎, “UnitKeyboard: さまざまな演奏スタイルに適応可能な電子鍵盤楽器,” インタラクティブシステムとソフトウェアXIV: 日本ソフトウェア科学会 WISS2006, pp. 89–94 (2006年12月).



楽器の機能要素を再構築可能なユニット楽器

人は音楽を奏でるために古くからさまざまな楽器を開発してきた.西洋楽器を例に挙げると,バイオリンとチェロのように共通する形状・構造・奏法をもち,音域の異なる楽器がある.また,2 段の鍵盤をもつ電子オルガンと1 段の鍵盤しかもたないピアノのようにミクロの構造は同じでも組み合わせ方が異なる楽器も存在する.一方,電気・電子技術の発展に伴い,アコースティック楽器と同様の見た目や演奏方法をもち,電子的に音を生成する電子楽器が多数開発されてきた.しかし,従来の電子楽器は既存楽器の形状をそのまま模写することが主な目的であった.本研究では,楽器を発音や音程決定などの機能要素(ユニット)の集合であると捕え,それらのユニットを自由に組み合わせることで,音域や演奏スタイルの変化に柔軟に対応できるユニット楽器の開発を目指す.ユニットを組み合わせて楽器を再構築することで,楽器の音域増減などのカスタマイズや,既存楽器の特徴を組み合わせた新たな楽器の創造が行える.ユニットの設定は,本研究で提案するスクリプト言語によって柔軟に記述できる.また,本研究ではユニット楽器のプロトタイプを実装し,さまざまなイベントステージで実運用を行った.

%e6%a5%bd%e5%99%a8%e3%81%ae%e6%a9%9f%e8%83%bd%e8%a6%81%e7%b4%a0%e3%82%92%e5%86%8d%e6%a7%8b%e7%af%89%e5%8f%af%e8%83%bd%e3%81%aa%e3%83%a6%e3%83%8b%e3%83%83%e3%83%88%e6%a5%bd%e5%99%a8

丸山裕太郎, 竹川佳成, 寺田 努, 塚本昌彦, , “UnitInstruments: 楽器の機能要素を再構築可能なユニット型電子楽器の設計と実装,” コンピュータソフトウェア(日本ソフトウェア科学会論文誌)インタラクティブとソフトウェア特集, Vol. 28, No. 2, pp. 193–201 (2011年5月).

Maruyama, Y., Takegawa, Y., Terada, T., and Tsukamoto, M., “UnitInstrument: Easy Configurable Musical Instruments,” Proceeding of International Conference on New Interfaces for Musical Expression (NIME2010), pp. 7–12 (June 2010).