視線はウソをつかない
楽器を演奏している人の隣で一緒に楽譜の演奏箇所を目で追うことは、あなたにとってそれほど難しい事ではないかも知れません。しかし、システムが同じことをしようとすると一筋縄では行きません。演奏のテンポは表現によって常に変化し、時には演奏されない音や、ミスをすることもあります。練習では苦手なところだけを抜き出して、同じ箇所を繰り返し演奏することもあります。Score Gazing は音や楽器への入力だけでなく、視線の情報を組み合わせることで、演奏箇所を確実に推定します。
いろんな教え方で教えてくれる
スポーツや楽器演奏、料理などの身体を使った技能を覚える時、本では文字や図などの視覚表現から学ぶしかありません。講座や教室に行けば先生に教わることが出来ますが、「マルチモーダルな先生」は視覚と聴覚と触覚など、いくつかの要素を組み合わせて提示することで、より豊かに、体験的に技能を習得することができます。
知覚するボウリングのボール
ボウリングが上手になるためには助走やフォーム、ボールの速度や回転数など様々な要素について考えなければなりません。しかし、投げた後のボールがどのような状態にあるのかを完全に把握することはできません。Smart Bowling ball には複数のセンサーを埋め込み、ボールに知覚情報を与えました。ボールに記録された速度、回転などの情報を読み取ることで、投球後のボールの状態をより詳しく、数値で確認することができます。ボール自身が投球についてアドバイスをしてくれるような未来も訪れるかもしれません。
ダンサーのための新表現
ダンス楽器は、ダンサーの新しい表現ツールです。ブレイクダンスではダンスバトルといって互いのダンスを表現で競い合います。ダンス楽器はBGMに合わせて、かっこいい効果音をダンスしながらタイミングよくだします。プロジェクションダンスはかっこいい映像効果を出します。「ここっ！」というタイミングで効果音や映像効果を出す、これに実はすごい技術が使われているのです。
詳細情報
Dance Instrument and Projection Dance
ダンサーのための新表現 ダンス楽器は、ダンサーの新しい表現ツールです。ブレイクダンスではダンスバトルといって互いのダンスを表現で競い合います。ダンス楽器はBGMに合わせて、かっこいい効果音をダンスしながらタイミングよくだします。プロジェクションダンスはかっこいい映像効果を出します。「ここっ！」というタイミングで効果音や映像効果を出す、これに実はすごい技術が使われているのです。 Dance Instrument and Projection Dance Dance Instrument is a new expression tool for dancers. In breakdancing, dancers take part in dance battles in which opponents compete by demonstrating their dance skills. Dance Instrument plays impressive sound effects at appropriate moments during dance, in time with the BGM. Projection Dance produces slick visual effects. Producing sound effects and visual effects just at the right moment – there is actually an amazing technology behind that.
ブロックのように組み替えられる楽器
アコースティック楽器は音の高さや音の強さ、音の長さや音色などを演奏の仕方で変化させることで音楽を奏でます。一方、電子楽器はアコースティック楽器の演奏方法を真似してセンサやボタンで音の高さや音の強さ、音の長さや音色などを入力し、コンピュータがその信号を解釈して音を鳴らします。Unit Instruments では様々な電子楽器の入力部分を要素ごとに分解したものを「ユニット」と呼びます。このユニットの組み合わせを変化させることで、ギターとピアノが組み合わさったような楽器や鍵盤の数が多いピアノなど、新しい演奏方法を持つ電子楽器を作ることができます。
詳細情報
複数のカメラを操る「スイッチング」
テレビのライブ中継では、たくさんのカメラを使って映像を撮りながら、状況に合わせて最適なカメラの映像を選びながら配信映像を決めています。その映像切替の作業を「スイッチング」といいます。これはプロの「スイッチャー」と呼ばれる人達が自分の経験やノウハウをもとに行う作業で、素人にはとてもむずかしい作業です。しかし、この工程があるおかげでライブ中継でも視聴者にわかりやすい映像になっています。
AI 撮りデスセブンとは、スイッチング支援システムの名称です。本来は素人には難しい「スイッチング」を支援するシステムです。スイッチングの熟練者は、映像の出来事（イベント）を手がかりとして映像の選択・切替を行っているという調査結果をえました。AI 撮りデスセブンでは、イベントを自動検出する機能や、初心者でも簡単に操作できるイベントベースなインタフェースを提供することで、だれでも簡単に最適な映像を配信することができます。
いつでもどこでもプロジェクションマッピング
プロジェクタは重くて大きいものというのは一昔前のことです。手のひらサイズのプロジェクタはすでに販売されています。プロジェクタは小さく安価になっていくことでしょう。ウェアラブルプロジェクタは装着型プロジェクタで、手首・肩・腰などさまざまな身体の部位に装着でき、いつでもどこでも壁や床といったいろんな場所に情報を出せます。また、歩いているときでも安定して映像を出せるので、例えば、友達と知らない街を散策しているときに地図を一緒に見たり、歩きながらゲームをしたりとかいろんな使い方ができますね。
ステージパフォーマンスでの場当たり支援
ダンサーや歌手などステージパフォーマは、リハーサルにて場当たりというステージ上での立ち位置を確認します。公演はいつも同じステージであるわけではありません。ステージの形や大きさはさまざまですし、特にダンスや歌などステージ上で立ち位置が激しく変わります。リハーサルに十分な時間がかけられない場合もあります。自分が正しい位置にいるのか確認するためにHMD(メガネ型ディスプレイ）を着用します。自分がステージ上のどのあたりにいるのか、適切な位置はどこなのかを確認できる情報をHMDに表示することでパフォーマを支援します。
凸凹面への光の演出を可能にする
例えばクリスマスツリーのように、凸凹していて、白くもないところにプロジェクションマッピングするのは大変です。クリスマスツリーに巻き付けるLEDのケーブルがありますよね。全体を光らせたり点滅させたりするのは簡単ですが、模様を出したりしようとすると途端に難しくなります。プロジェクションマッピングLEDは、LEDにプロジェクタの光の色を感知するセンサがついているちょっと高機能なLEDです。ある特定の色のプロジェクタの光があたったLEDだけ光らせることで、模様を浮かび上がらせます。
表情豊かなお面
e2 マスクにはディスプレイ、カメラ、マイクがついています。e2 マスクをつけた人側のディスプレイには、話し相手の顔が映し出されます。話し相手側のディスプレイは、e2 マスクをつけた人の顔がアバター（キャラクター）に変えられて表示されます。この時、マスクをつけている人の目線や表情もアバターに反映されます。また、ボイスチェンジ機能も付いているので、アバターに合わせた声に変えることで、よりそのアバターになりきることができます。
ピアノマスターへの近道
ピアノが弾けるようになるには、楽譜を読む勉強や指使いの練習、リズムをとる練習、強弱のつけ方などたくさんの壁を突破しなければなりません。また、これらをひとりで練習するのはとても大変で、途中で心が折れてしまう人も多いはずです。
こんな問題を解決するのが「プロジェクションピアノ」です。プロジェクションピアノは、ピアノの練習を始めた人がつまづきやすい壁をできるだけ減らし、楽しくピアノの練習ができるように設計されています。プロジェクションピアノで練習すれば、途中で挫折することなく楽しくピアノをマスターすることができるでしょう。
目で見えない視点からのアドバイス
ピアノを習いに行けば、先生は楽譜の読み方や練習の仕方だけでなく、指使いや姿勢、さらには音楽的な考え方まで教えてくれるかもしれません。しかし、一人の先生が見ることのできる範囲には限度があります。特に、ほんの些細な指の動かし方や置き方にまで注目することは大変です。「細かいところまで見逃さない先生」はピアノの先生が見ることのできない視点からあなたの練習をじっと見守り、アドバイスをくれます。もちろん、これはピアノに限った話ではありません。他の楽器やスポーツでも同じようにあらゆる視点からあなたの練習を見守り、上達を支えてくれるのです。
カーリングストーンを科学する
「氷上のチェス」とも呼ばれるカーリングは非常に戦略性の高い競技として知られています。しかし、競技に使われるストーンが氷上でどんな動きをするのか、その力学的なメカニズムは解明されていません。StoneRecorder は赤外線LED と赤外線カメラを用いてストーンの動きを記録し、リンク上にその軌跡をプロジェクション・マッピングします。軌跡の可視化や予測ができるようになると、 戦略も 練習も、鑑賞の仕方さえも変わっていくかもしれません。
人工知能，データ分析，社会情報学，最適化，Webアプリケーション，Java，JavaScript，Python
実際の都市におけるSAVS展開シミュレーション
多種多様なサービスを提供する配車アルゴリズム
乗車時刻と場所の集約による運行効率化
スマートな乗客アプリ，運転手アプリ，オペレータアプリのデザインと実装
SAVSプロジェクトは全学レベルで推進しており，，平田研に加えて，鈴木恵二研，白石研も参画しています．
はこだて未来大で研究開発された Smart Access Vehicle Service (SAVS) は，都市レベルで刻々と変化する車両と人・物の移動状況に対する，AIによるリアルタイム便乗配車のサービスです．
SAVSを世界に普及させるためのベンチャ企業『未来シェア』を2016年に創業しました．
人工知能，機械学習，自然言語処理，VR/AR，IoT，データサイエンス，Webアプリケーション，音響信号処理，認知心理実験法，Python，JavaScript
プログラミングにおける自分の弱点を気付かせてくれるツール
技術文章のインタラクティブ添削アプリ
グループの議論を滑らかに進めるファシリテーションロボット
日本酒の味の表現を機械学習して日本酒を推薦するアプリ
会議の会話録から参加者それぞれにとって一番うれしい議事録を作成するシステム
皆さんが抱いている素朴な夢や不思議は，アイデアの源泉となり，AI技術を応用した自然言語ツール・アプリ，コミュニケーションを支援する知的メディアの研究につながります．
深層学習，ベイズ推定，人工知能，音楽情報学，音響信号処理，1階述語論理，認知心理実験法，Python，JavaScript，Prolog，Unix
音楽を理解するとは，音楽に含まれる言語的な構造を見つけ出すことです． 音楽を創造するとは，聴取者の心に意図した認知的な効果を生じさせることです． 人が音楽を理解し創造する仕組みを解明し，コンピュータ上に実現することを目指しています．
深層学習による音楽音響信号の階層構造分析
ジャズピアノ楽譜からのコード進行認識
音楽理論に基づくメロディ構造分析法
J-Popピアノ楽譜から音楽緊張度の抽出
ボーカロイドのヴィブラート表現学習
視線情報を利用するピアノ演奏の追跡システム
複数カメラを持つ遠隔ピアノレッスンシステム
楽器サウンドを自由に生成する深層学習モデル
人工知能による即興旋律生成システム
など．
プログラミング，コミュニケーション，数学，グループワーク，小テスト，期末テストなど，あなたはたくさんの壁を越え，関門をくぐり抜けて，今，この場にいます．あなたは難なく壁や関門をクリアできたかもしれませんが，がんばっても理解できなかったり，ケアレスミスを何度も連発して悔しい思いをしたり，時には，誘惑に負けてしまったりなどの理由で，ドロップアウトしてしまった友達・後輩・先輩がいるのではないのでしょうか． 未来大の教育（学び）をもっとよくする研究に取り組んでみませんか． あなた自身の成功体験や失敗体験が，誰かの救いになるはずです．
【参考テーマ】
‣機械学習で学生の合否を予測
‣受講者にとってベストなTA・チュータ・先輩を探すマッチングアプリ
‣コネクションズカフェでの英会話コミュニケーション支援
‣グループワークでの円滑な話し合いサポート
‣文章の推敲個所を指摘
自分が作ったUI・アプリ・サービスが，現場で使われ，現場にいる人々が喜ぶ姿を見るというのは，最高にうれしい瞬間です．これまでの努力が報われたという気持ちになり，疲れも一気に吹き飛びます．
一方，現場で，安定してちゃんと動く，ITの非専門家（おじいちゃんや子供）でもちゃんと操作できるようになるまでには，たくさんの工夫や改良が求められます．人間中心設計にもとづき，反復的にデザインして真に使えるUIまで作りこみます．
竹川研究室では，富士サファリパーク，アルゴグラフィックス北見カーリングホール，ラウンドワン，海外の大学（University College London）など独自のつながりがあります．これらの現場を活用してもらうのもウェルカムですし，新たな現場を新規開拓するというのもウェルカムです．
現場に『Go!』，いや，『Join!』
【参考テーマ】
‣（サファリ）飼育員・獣医がサファリ内で使うことを想定したオンラインビデオシステム
‣（サファリ）サファリ内で猛獣にからまれても動き続けるビデオチャット
‣（カーリング）カーリングのストーンの動きを計測するための，カーリングシート内（氷内）に埋め込めるIoTデバイス
‣（ボウリング）ものすごいG（重力）と衝突があってもちゃんと動くボウリングボール内蔵IoTデバイス，ボウリングの状態を識別するAI
コロナウィルス感染の拡大に伴い，私たちの生活の様式は一変しました．マスク着用が必須になり，2m離れての対話，食事中はしゃべらない，face to faceはできる限り避け，何かとオンラインで済まします．あらゆるところで不便・不快・不安・不満が蔓延しています．
コロナ禍におけるニューノーマルに伴う問題を解決する．むしろ，「コロナに勝つ」オーバーコロナの実現を目指して社会をより良くしませんか． ＃ちなみにこの研究は時流にのっている話題で，新聞やTVに取材されやすいです．
【参考テーマ】
‣マスク着用によって表情がわからなくなる問題を解決するUI，表情を自動で認識するAI
IT Media, Yahoo!ニュース, Ruptly TV（ドイツを拠点とするメディア）, South China Post, 北海道新聞，函館新聞に掲載
‣一緒に旅行に行った気分になれるオンライン同行体験UI
NHK, 北海道新聞，函館新聞に掲載
‣マスク着用やソーシャルディスタンスによって声が聞こえにくくなる，食事中（飲み会）に声が大きくなりすぎる問題を解決したUI
スマホ・タブレット・ウオッチの新しい可能性を探ったり，アプリケーション/サービスを提案する研究です．
スマホ・タブレット・ウオッチは，私たちの日常生活にとって欠かせない道具の1つです．多種多様なセンサ，5Gをはじめとする強力な通信機能，高精細なタッチパネルディスプレイなどが搭載されており，そのスペックを十分活かされているとはいえません．また，意外な場面での活用といった使い方，既存アプリの組み合わせ方，複数スマホの連携など，組み合わせ方を変えるだけで，インパクトのあるアプリやサービスを提案できます．
あなたのちょっとしたひらめきが世界を変えます．
【参考テーマ】コンピュータ（スマホを含む）はあらゆる人にあらゆる場所で使われています．みんなが使いやすいと思うデザインを目指すユニバーサルデザインがありますが，最高に使いやすいインタフェースというのは，この人だから，この場所だから，このときだから，この目的だからに応えるパーソナルデザインだと思います．これからはパーソナルなデザインのUIがもっと増えてくると考えています．
人間中心設計を基本にUIをデザインしていきます．ターゲットユーザを設定し，そのユーザの取り巻く状況から，既存のUIでは何が足りないのか，問題の根っこを調べます．ターゲットユーザの能力や，置かれている状況を積極的に（うまいこと）活用したUIを提案します．そうすることで，提案するUIを使うために新しく学ぶこと・練習することが減ったり，操作の手数を減らすことができます．
余計な情報や操作をとことんそぎ落としたシンプルファーストなUIをデザインしてみませんか．
【参考テーマ】情報で溢れる現代社会において，情報を整理して，価値ある情報を届けることはますます重要になっています．
研究課題は以下の通り広く深いです．下記の研究課題は一部です． 統計や機械学習を使って情報を整理する研究 ダイアグラム，ピクトグラムなどのインフォグラフィックを使って情報を効果的に表現する研究 PV（プロモーションビデオ）・アニメーション・イラスト・効果音・バイブレーションなどを使って情報のメディアをデザインする研究 web・アプリ・SNSを使って情報を効果的に発信する研究
「要はそういうことか！」と理解してもらうだけでなく， 「このデザイン（見せ方）がかっこいい」「ほっこりする」「もっとみたくなる」「ときめく」といった精神的な豊かさの向上も本研究課題に含まれます．
【参考テーマの一部】
‣膨大な小テストの結果を可視化するためのダイアグラム
‣地図情報を含むSNS投稿の可視化
‣体験をたとえ（例え）で表現する研究
‣動画視聴において，視聴者の興味をさりげなく取得する一石二鳥なwebアプリ
‣アンケートの回答を支援するためのインタフェース
‣まとめ動画作成支援アプリ
‣webの閲覧におけるグラフィック（カラーパレットやレイアウト）の影響
既存のユーザインタフェースを改良したりする研究です．
・使用する技術は特に問いません．
・モノつくり・コトつくりどちらでもよいです．
・入力部（コントローラ），出力部（情報の見せ方（可視化手法））どちらでもよいです．
・コンセプト重視・実装重視どちらでもよいです．
富士サファリパークとの共同研究をベースに，動物とのコミュニケーションを支援したり，来館者（オンライン含む）に新たな体験を提供するような研究に取り組みます．
【参考テーマ】
‣動物視点でのコミュニケーションを実現するUI
航空インフラの発展に伴い，外国に気軽に行けるようになりました．また，オンラインミーティングなどICTの発展に伴い，時間や距離の壁を越え，もっと世界は小さくなりました．しかし，こちらの常識が隣の国では通用しないといったように，自国にとっての使いやすさが他国にとって必ずしも使いやすいとはいえません．時には，こちらの不便が他国にとっては便利なときもあります．
相手を知り，自分を知る，そして，デザインの力で互いの心の溝を埋め，絆を深める．
グローバルな活動を支援するコミュニケーションのデザインに取り組みます．
平田竹川研究室では，毎年，2,3名程度，短期間の海外の大学で研究をしています．留学生も受け入れてきました．
留学に興味ある学生さんは是非．
人の特性や性格を発見する，人の態度や考え方を変える研究に取り組みます． 例えば，「コミュ障を克服するためにはどうすればよいのか？」「人はなぜ緊張するのか？」「人の行動や考えを変えるには何が大事なのか？」「オンラインでうまく共同作業するにはどうすればよいか？」など，人の知覚（何をとらえているのか）・認知（どう理解(解釈)しているのか）・心理（どう感じているのか）の本質に迫ります．
特に，スマホ・アプリ・SNSなどのICTは，人の考え方やふるまいに大きく影響します．また，それに伴う，社会的な問題（例えば，歩きスマホ，炎上，フェイクニュース，情報弱者など）もたくさんあります．人とICTとが共存共栄するための方法，ICTのよりよい使い方について，研究すべき課題やできることが，『今』，求められています．
【参考テーマ】
‣表情がコミュニケーションに与える影響の認知心理的な調査：
対話している相手の顔がアバタ（キャラクタ）になったときにどう感じるか？
実世界で自分の顔が変わったら行動や性格は変わるのか？
怒ってないのに「怒っている？」と友達から聞かれる私，何が原因？
‣緊張したときでもいつもどおりの行動ができるようになるにはどうしたらいいのか？：
プレゼン中に声が聞こえない，スライドの文字が小さすぎて見えない問題
本番の演奏など緊張するとなぜかテンポが速くなってしまう問題
‣あなたにとってわかりやすい先生はだれ？
あなたの考え方と似ているTAやチュータを探す
‣グループワーク中に発言しない人の思考はどうなっている？どうすれば考えていることがわかるのか？
‣グループワークにおける司会，どうすればうまくできるのか？
Perfume・EXILE・嵐といったようにプロジェクションマッピング，LEDアレイによる電飾服，VRなどテクノロジーを中心にして，私たちのエンタテインメントは急速にアップデートされています．演者と観客との新しいコミュニケーション，イベントやワークショップのための宣伝や販促など，メディア（プロモーションビデオ，web，フライヤなど）の存在もイベントの成功には欠かせません．
竹川研究室では，m plus plus と共同で研究しています．次世代のエンタテインメントを具体的に作りましょう．
【参考テーマ】
‣ミライノガッコウ パフォーマンス編
‣着るピアノと光るピアノ：ピアニストのための新表現・新体験
‣ダンス楽器とプロジェクションダンス：ダンサーのための新表現
‣表情豊かなデジタルカメン
‣エアスティックドラム：リアルとバーチャルのハイブリットドラム
‣絵楽器：楽器になる絵
‣ブロックのように組み替えられる楽器
‣ミライノガッコウ メディア編
‣いつでもどこでもプロジェクションマッピング
‣ステージパフォーマンスでの場当たり支援
‣凹凸面への光の演出を可能にするプロジェクションマッピングLED
人の「できた！（学習）」を支援する研究を行います．数学などの勉強だけではなく，技芸（楽器演奏，歌，ダンス，イラストの描画，書道，料理，手芸など），スポーツ，プログラミング，英会話，ゲームといった，体と頭と心を伴う分野も対象になります．誰しも得意/不得意があり，悔しい思いをした経験はあると思います．
「コツはいったい何なのか？」「どうすれば短時間でできるようになるのか？」「楽しく習得するにはどうしたらいいのか？」「オンラインでのレッスンをうまくやるためにはどうすればいいのか？」など，「できた！」を支援する研究もあれば，できるようになるまでの体験（プロセス）を支援する研究もあります．
自分の能力を伸ばしたいと思っている人すべてに向けて，1つでも多くの「できた！」の喜びを増やすために，この研究は役立ちます．
【参考テーマ】
‣ゲームをしながらピアノが弾けるようになる一石二鳥な学習支援アプリ
‣ピアノへのプロジェクションマッピングによる弾くべき鍵の直観的な見せ方
‣タブレット書写-タブレット上で毛筆を使って練習する書写，書かれた文字を採点するAI
‣いつスランプがくる？いつできるようになる？というのを予測してくれる技能習得AI
‣学習者のやる気をキープするために，あえてミスを見逃し，ミスを無かったことにしてくれる支援システム
When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.
Teaching through a variety of methods
When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.
Advice from a viewpoint you cannot see with your own eyes
When you go to have piano lessons, the teacher has to consider not only score reading and practise method, but also fingering, posture and even your musical way of thinking. However, there is a limit to the area that a single teacher can look at. In particular, paying attention to every minute movement and placement of the fingers is very difficult. `Teacher who doesn’t overlook the little things’ scrutinizes your piano practise from viewpoints from which the teacher cannot, and gives advice. Of course, this concept is not limited to learning the piano. The system could watch over practice of other instruments and sports from every angle, to support progression.
The eyes don’t lie
You may not find it difficult, when sat next to someone who is playing the piano, to follow his place on the score with your eyes. However, when a computer system tries to do the same thing it is not so straightforward. Playing tempo changes constantly according to expression, and there are times when a note may not be played or a mistake made. In practise the player may also miss out difficult parts and repeatedly practice the same places. By using not only sound and input to the musical instrument, but also combining these with gaze information, the score gazing system follows the score as though it is right beside the player, to support performance.
“Switching” manipulating multiple cameras
In a live television broadcast, footage is taken with various cameras and the image aired is simultaneously decided by choosing the optimum camera image from among these. The task of choosing between these camera shots is called `switching’. Switching is work carried out by professional `switchers’, based on their experience and know-how, and is very difficult for amateurs. However, it is thanks to this process that even live video is easy for viewers to comprehend. AIdoridesu7 is the name of a switching support system. Essentially it is a system to assist amateurs with the difficult task of switching. The results of a survey showed that experienced switchers take occurrences (events) in video as hints for selecting and switching between camera images. Therefore, AIdoridesu7 provides a function for automatic detection of events and an event-based interface that is simple to operate even for beginners, enabling any person to broadcast optimum images easily.
Projection Mapping anytime, anywhere
The days when projectors were heavy and large are long gone. You can already buy a projector that fits in the palm of your hand; and surely projectors will just continue to get smaller and cheaper. Wearable Projector can be attached to your wrist, shoulder, waist and various other body parts, to display information on all kinds of surface, such as walls or floors. What’s more, you can display stable images even while walking, so there are countless ways to use it. For example, when walking through an unknown town with a friend, you can project a map while you walk, or even play games on the go.
The shortcut to piano mastery
To become able to play the piano, there are many hurdles to overcome, such as learning to read music, practicing fingering and maintaining rhythm, and learning how to apply strength when pressing the keys. Furthermore, it is very hard to learn these skills alone, causing some players to become disheartened partway through. Projection Piano is the answer to such a problem. Projection Piano is designed to reduce the hurdles that tend to trip up people starting to learn the piano and make piano practice fun. By practicing with Projection Piano, a player should be able to enjoy mastering the piano without becoming disheartened along the way.
Like LEGO with instruments
When playing acoustic instruments, music is produced by altering the pitch, strength, length or timbre of sounds through different playing techniques. In contrast, electronic instruments imitate the playing techniques of acoustic instruments then use sensors or buttons to input pitch, strength, length or timbre of notes into a computer which interprets these signals and outputs sound. In Unit Instruments, the results of disassembling the input parts of various electronic instruments into individual components are called `units’. By altering the combination of these units, electronic instruments affording new playing techniques can be created, such as an instrument that is a combination of a guitar and a piano, or a piano with additional keyboards.
Detailed information
A hybrid drum combining the real and the virtual
When it comes to travelling to perform in various places, transporting a large and heavy drum kit is problematic. Using an electric drum, comprising sensors attached to drumsticks so that the performer can play as on an `air drum’, allows a performer to go out and perform anywhere. However, as drumming involves many techniques that can only be performed using the actual surface of a drum, it cannot be said that the electric drum allows the user freely to perform any piece of music. This is where Airtstic Drum comes in. Airstic Drum provides a surface to act as the parts of the drum kit that are often used, while those parts less frequently used are recreated with the electric drumsticks. This is a hybrid of the real and the virtual that makes it possible to take the drum anywhere and deliver high quality performance.
The possibility to produce light displays on even bumpy surfaces
It is very difficult to project onto, for example, a Christmas tree, which is has an uneven surface and is not white. There are LED cables that can be wrapped around a Christmas tree, aren’t there? With these, it is easy to make all the lights shine or flash, but, when it comes to creating a pattern, things get a lot more complicated. Projection Mapping LEDs are hi-tech LEDs with sensors that detect the color of light from a projector. By lighting up only the LEDs that the light from a certain specialized projector has shone on, you can make a pattern appear.
Support for finding your position in stage performance
A dancer or singer’s stage performance involves confirming his/her position on the stage in advance, during rehearsal. Performances will not necessarily always be given on the same stage. Stages come in all shapes and sizes and this greatly affects a performer’s position on the stage, especially in the case of dancers or singers. There are times when sufficient rehearsal time cannot be spent on confirming position. To enable a performer to check whether he/she is in the correct position, we attach an HMD (a glasses-type display). We support performance by displaying information on the HMD that allows the performer to confirm where he/she is on the stage and whether he/she is in the proper position.
Dance Instrument and Projection Dance
Dance Instrument is a new expression tool for dancers. In breakdancing, dancers take part in dance battles in which opponents compete by demonstrating their dance skills. Dance Instrument plays impressive sound effects at appropriate moments during dance, in time with the BGM. Projection Dance produces slick visual effects. Producing sound effects and visual effects just at the right moment – there is actually an amazing technology behind that.
Detailed information
Design and Implementation of a Wearable Dancing Musical Instrument
A Visual Effects Management System Controlled by Performer’s Motion for Dance Performances
リアルとバーチャルのハイブリッド・ドラム
様々な場所へ出掛けて演奏をしようとしたときに、ドラムセットは大きく、重たいため大変です。スティックにセンサを付けてエアドラムのように演奏できる電子ドラムを使えば、どこにでも出掛けて行って演奏することができます。しかし、ドラムには打面があるからこその演奏方法がたくさんあるため、この方法ではどんな曲でも自由に演奏できるというわけにはいきません。そこで、ドラムセットでよく使う楽器のみ打面を用意し、あまり使われない楽器はエアドラムのように演奏できるAirstic Drum の登場です。Airstic Drum はどこにでも簡単に持っていけて質の高いパフォーマンスが可能な、リアルとバーチャルのハイブリッド・ドラムなのです。
Smart Bowling ball
知覚するボウリングのボール
ボウリングが上手になるためには助走やフォーム、ボールの速度や回転数など様々な要素について考えなければなりません。しかし、投げた後のボールがどのような状態にあるのかを完全に把握することはできません。Smart Bowling ball には複数のセンサーを埋め込み、ボールに知覚情報を与えました。ボールに記録された速度、回転などの情報を読み取ることで、投球後のボールの状態をより詳しく、数値で確認することができます。ボール自身が投球についてアドバイスをしてくれるような未来も訪れるかもしれません。
Perceptive bowling ball
To become good at bowling, it is necessary to consider various factors, such as approach, form and the speed and number of rotations of the ball. However, it is impossible to grasp exactly what state the ball is in once it has been bowled. Smart Bowling Ball has several sensors embedded in it, endowing it with sensory information. By reading the information recorded by the ball, such as speed and rotation, it is possible to confirm the status of the ball after bowling, in more detail and in numerical values. Perhaps we will see a future in which the ball itself gives you advice on your bowling.
When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.
Multimodal teacher
いろんな教え方で教えてくれる
スポーツや楽器演奏、料理などの身体を使った技能を覚える時、本では文字や図などの視覚表現から学ぶしかありません。講座や教室に行けば先生に教わることが出来ますが、「マルチモーダルな先生」は視覚と聴覚と触覚など、いくつかの要素を組み合わせて提示することで、より豊かに、体験的に技能を習得することができます。
Teaching through a variety of methods
When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.
Teacher who lies, out of love
支援システム( 先生) から卒業するために
運動や音楽などの技能を習得するために手助けするシステムはたくさんありますが、その便利なシステムからいつかは自立し、自分一人で出来るようにならなければいけません。「愛を持って嘘をつく先生」はそんな支援システム( 先生) から卒業することを手助けしてくれます。多くの支援システム( 先生) は正しい方法を教えてくれますが、教えてくれた通りにできるようになったら敢えて嘘をつくようになるのです。嘘をつかれると、だんだん支援システム( 先生) のことを疑うようになります。最後は支援システム( 先生) の嘘に惑わされず、自立できるようになります。
For graduation from the support system (teacher)
There are many systems to aid with the acquisition of skills in sport, music and so on, but at some point you have to become independent of the system and able to perform skills by yourself. ‘Teacher who lies, out of love’ helps you to graduate from this kind of support system (the teacher). The majority of support systems (teachers) teach the correct way of doing something, but this system begins to tell lies once the user has learned to perform a skill as taught. Being lied to causes the user gradually to come to mistrust the system (teacher). Finally the user is no longer misled by the system’s (teacher’s) lies, and can become independent.
Teacher who doesn’t overlook the little things
目で見えない視点からのアドバイス
ピアノを習いに行けば、先生は楽譜の読み方や練習の仕方だけでなく、指使いや姿勢、さらには音楽的な考え方まで教えてくれるかもしれません。しかし、一人の先生が見ることのできる範囲には限度があります。特に、ほんの些細な指の動かし方や置き方にまで注目することは大変です。「細かいところまで見逃さない先生」はピアノの先生が見ることのできない視点からあなたの練習をじっと見守り、アドバイスをくれます。もちろん、これはピアノに限った話ではありません。他の楽器やスポーツでも同じようにあらゆる視点からあなたの練習を見守り、上達を支えてくれるのです。
Advice from a viewpoint you cannot see with your own eyes
When you go to have piano lessons, the teacher has to consider not only score reading and practise method, but also fingering, posture and even your musical way of thinking. However, there is a limit to the area that a single teacher can look at. In particular, paying attention to every minute movement and placement of the fingers is very difficult. `Teacher who doesn’t overlook the little things’ scrutinizes your piano practise from viewpoints from which the teacher cannot, and gives advice. Of course, this concept is not limited to learning the piano. The system could watch over practice of other instruments and sports from every angle, to support progression.
Teacher who deliberately overlooks, or even covers up, your mistakes
学習者のやる気をキープするために
身体を使った技能の習得には長い時間がかかります。また、ミスに気づくことは、正しい動きを習得する第一歩です。コンピュータの先生はもれなく、学習者のちょっとしたミスにも気づくことができます。ただ、そのミスのすべてを学習者に伝えると、学習者は怒られてばっかりで練習が嫌になってしまうでしょう。あえてミスを見逃す先生は、学習者の上達度合いに応じて学習者に伝えるミスを選択します。しかも、ミスをなかったことに、例えば、ピアノで間違った鍵を押したとしても正しい音を出します。こんな調子で練習してはたしてうまくなるのか心配になりますよね。心配ありません。ちゃんと上手になっていきます。
To keep learners motivated
Acquirement of skills that use the body takes a long time. Noticing mistakes is the first step to achieving correct movement. A ‘computer teacher’ can unfailingly notice even slight mistakes made by learners. However, if all these mistakes are pointed out to learners, they will feel they are always being criticized and come to loathe practice. ‘Teacher who deliberately overlooks mistakes’ selects the mistakes that will be pointed out to learners, based on their proficiency levels. Furthermore, the system covers up certain mistakes, for example, by outputting the correct sound from a piano even when an incorrect key has been pressed. But you worry about whether you can actually improve by practicing in this way, don’t you? Don’t worry. You will improve.
Teacher with a knack for analogy
日常の動きに例えて教えてくれる
スポーツや楽器演奏など、日常生活とは違う身体の使い方をする時、どうしたら出来るようになるのかイメージすることは難しいでしょう。「たとえ表現が上手な先生」はイメージしにくい身体の使い方を日常の動作に例えて教えてくれます。日常のあらゆる動作をインプットしておくことで、プロの動作と最も近い身体の使い方をしている日常の動作を教えてくれます。自分にとって日常のどんな動作が近いのかを知ることで、スポーツや楽器演奏の上達がずっと早くなるのです。
Teaching through comparison to daily movements
In sport or playing instruments, when using the body in a different way from in everyday life, it can be difficult to visualize what you need to do to master certain skills. `Teacher with a knack for analogy’, uses comparison to everyday actions to teach those ways of usng the body that are difficult to visualize. By inputting all kinds of everyday action, this system can tell you the daily action in which the way you use your body is closest to the action of a professional. When you learn which of your everyday actions is similar to the action of a pro, you can more rapidly become competent at a sport or an instrument.
Teacher who is good at prediction
どのくらい練習すればできますか？
先の見えない練習や勉強は時に辛く苦しいものです。特に、練習しても技術が上がらないような時期やスランプに不安を感じた経験は誰しもが持っているのではないでしょうか？ 「予測が得意な先生」は現状の練習成果やテストの結果を見せるだけで、その後どのように上達していくのかを膨大な過去の記録から予測してくれます。あとこのくらい練習すれば、勉強すれば達成できるのだという将来への展望が辛い時期を乗り切る糧となってくれることでしょう。
How much do I need to practise to improve?
Practise or study with no end in sight is hard and frustrating. Doubtless everyone has experienced a period during which their skills do not improve even though they practice, or of feeling uncertain during a slump in progress. Simply by being shown current practise outcomes, test results etc., `Teacher who is good at prediction’ estimates how a person will progress in future, from a vast amount of past records. The future prospect of improving if you practise this much, study this much, becomes an incentive to overcome the difficult periods.
Score Gazing
視線はウソをつかない
楽器を演奏している人の隣で一緒に楽譜の演奏箇所を目で追うことは、あなたにとってそれほど難しい事ではないかも知れません。しかし、システムが同じことをしようとすると一筋縄では行きません。演奏のテンポは表現によって常に変化し、時には演奏されない音や、ミスをすることもあります。練習では苦手なところだけを抜き出して、同じ箇所を繰り返し演奏することもあります。Score Gazing は音や楽器への入力だけでなく、視線の情報を組み合わせることで、演奏箇所を確実に推定します。
The eyes don’t lie
You may not find it difficult, when sat next to someone who is playing the piano, to follow his place on the score with your eyes. However, when a computer system tries to do the same thing it is not so straightforward. Playing tempo changes constantly according to expression, and there are times when a note may not be played or a mistake made. In practise the player may also miss out difficult parts and repeatedly practice the same places. By using not only sound and input to the musical instrument, but also combining these with gaze information, the score gazing system follows the score as though it is right beside the player, to support performance.
Strone Recorder
カーリングストーンを科学する
「氷上のチェス」とも呼ばれるカーリングは非常に戦略性の高い競技として知られています。しかし、競技に使われるストーンが氷上でどんな動きをするのか、その力学的なメカニズムは解明されていません。StoneRecorder は赤外線LED と赤外線カメラを用いてストーンの動きを記録し、リンク上にその軌跡をプロジェクション・マッピングします。軌跡の可視化や予測ができるようになると、 戦略も 練習も、鑑賞の仕方さえも変わっていくかもしれません。
Turning curling stones into science
Often called `chess on ice’, curling is known to be a competitive sport that is extrememly tactical. However, how the stones used in the sport will move on the ice, and the physical mechanism involved, have yet to be made clear. StoneRecorder uses infrared LEDs and an infrared camera to record the movement of stones and displays their trajectories on the rink, using projection mapping. Making it possible to visualize or predict the trajectory of the stones could change both tactics and practise, and even the nature of spectation.
Tablet Handwriting
タブレット上で毛筆を使って練習する書写
文字を綺麗に書くためには、正しい書き順や文字のバランスを意識して書かねばなりません。文字の来歴を学ぶ意味でも毛筆による書き取りの練習はとても有意義です。しかし、慣れない毛筆の扱いに加え、手本と見比べながらバランスや筆運びを意識しなければならないため、上手く書けているのか一見しただけではわかりません。タブレット書写は手本を表示したタブレットの上に半紙を乗せ、水をつけた筆で手本をなぞることで文字のバランスを学ぶことができます。書いた文字の採点も自動でしてくれるので、文字の上達を数値で実感できます。
Transcription in which a learner practices using a brush on a tablet
Instances of writing by hand are decreasing, but people still enjoy receiving handwritten letters and greetings cards. To write characters neatly, it is essential to consider the correct order of penstrokes and the balance of each character. Practising writing with a brush is worthwhile, even if just to learn the history of the characters. However, in addition to the difficulty of using a brush, which is probably unfamiliar, one must consider balance and brush control while comparing with a sample image. This makes it very difficult to tell, just by looking, whether or not the character is drawn correctly. In tablet calligraphy, the user can learn character balance by placing a piece of Japanese calligraphy paper over a tablet displaying an example character, and tracing with a brush dipped in water. Characters written are automatically assigned a score, enabling users to undertsand their progress in terms of a numerical value.
Projection Piano
ピアノマスターへの近道
ピアノが弾けるようになるには、楽譜を読む勉強や指使いの練習、リズムをとる練習、強弱のつけ方などたくさんの壁を突破しなければなりません。また、これらをひとりで練習するのはとても大変で、途中で心が折れてしまう人も多いはずです。
こんな問題を解決するのが「プロジェクションピアノ」です。プロジェクションピアノは、ピアノの練習を始めた人がつまづきやすい壁をできるだけ減らし、楽しくピアノの練習ができるように設計されています。プロジェクションピアノで練習すれば、途中で挫折することなく楽しくピアノをマスターすることができるでしょう。
The shortcut to piano mastery
To become able to play the piano, there are many hurdles to overcome, such as learning to read music, practicing fingering and maintaining rhythm, and learning how to apply strength when pressing the keys. Furthermore, it is very hard to learn these skills alone, causing some players to become disheartened partway through. Projection Piano is the answer to such a problem. Projection Piano is designed to reduce the hurdles that tend to trip up people starting to learn the piano and make piano practice fun. By practicing with Projection Piano, a player should be able to enjoy mastering the piano without becoming disheartened along the way.
Erasure-oriented Illustration Method
急がば回れ的技能の習得
このエッセンスを技能の習得（イラストの描画）に応用するとどうなるでしょうか？その一例として，イラストを描くときに「消すこと」を織り込んで描くという消去指向なイラスト描画方法を考えました．具体的には，UFOのような形を描くときに2つの楕円を描いてからいらない箇所を消すという具合です．どうでしょう？UFOの形をそのまま描くより，うまく描けませんか？この描画方法を使いこなせるようになると，もっと複雑なイラストをキレイに描けるようになるのです．ちょっと回り道をすることで，もっと楽に簡単にできるようになる．こんな方法もアリだと思いませんか．
Slow and steady wins the race when it comes to skill acquirement
There is a saying (slow and steady wins the race) which means that, if you want to hurry, you can sometimes get there more quickly in the end by taking the long way round. What happens if we apply the essence of this to skill acquisition (Illustration)? As an example, we considered an erasure-oriented illustration method, which incorporates the idea of ‘erasing’ as you draw. In actual practice this means, when drawing a shape like a UFO, for example, simply drawing two overlapping circles then erasing the unneeded parts. How does that sound? Don’t you think you could draw better that way than by trying to draw the shape of a UFO as it is? When you master this illustration method, you become able to draw more complex illustrations, skillfully. By taking the long way round, you are able to draw more easily and simply. Sounds like a pretty good method, don’t you think?
Voice Loudness Controller
声のボリュームダイアル
人間は、自分の耳で聞いた自分の声の大きさから、自分の声がどれだけ周りに届いているのかを判断します。そこで聞こえた自分の声が小さければ大きく話そうと調整し、大きすぎれば小さい声で話すように調整します。実際に相手の耳でどのように聞こえているかはわからないため、自分の声で判断しています。
声量コントローラーは、「声のボリュームダイヤル」を調整することで声の大きさを変えてしまう装置です。マイクから声を取り込んで、耳に届く声の大きさを変化させることでコントロールします。声のボリュームダイヤルを回すことで、ヘッドホンから聞こえる自分の声の大きさが変わるので、その人の声の大きさをコントロールすることができます。声の大きさが目で見えるように、声のボリュームモニターに自分の声量が表示されます。
A vocal volume dial
From the way they hear their own voices with their own ears, humans judge how far their voices are carrying. Accordingly, if the voice sounds quiet the speaker will adjust by trying to talk more loudly, while if the voice sounds too loud the speaker will try to talk more quietly. A person cannot tell how someone to whom he is speaking actually hears him, thus he judges by his own voice. Voice Loudness Controller is a device for changing voice loudness by adjusting the user’s `voice volume dial’. This is done by capturing the user’s voice with a microphone then altering the loudness of the voice that is fed back to the user’s ears. Turning the voice volume dial changes the loudness of the voice heard through the headphones, allowing the user’s voice to be controlled. Vocal volume is displayed on a voice volume monitor, so that the user can see the loudness of his voice with his own eyes.
Projection Mapping LED
凸凹面への光の演出を可能にする
例えばクリスマスツリーのように、凸凹していて、白くもないところにプロジェクションマッピングするのは大変です。クリスマスツリーに巻き付けるLEDのケーブルがありますよね。全体を光らせたり点滅させたりするのは簡単ですが、模様を出したりしようとすると途端に難しくなります。プロジェクションマッピングLEDは、LEDにプロジェクタの光の色を感知するセンサがついているちょっと高機能なLEDです。ある特定の色のプロジェクタの光があたったLEDだけ光らせることで、模様を浮かび上がらせます。
The possibility to produce light displays on even bumpy surfaces
It is very difficult to project onto, for example, a Christmas tree, which is has an uneven surface and is not white. There are LED cables that can be wrapped around a Christmas tree, aren’t there? With these, it is easy to make all the lights shine or flash, but, when it comes to creating a pattern, things get a lot more complicated. Projection Mapping LEDs are hi-tech LEDs with sensors that detect the color of light from a projector. By lighting up only the LEDs that the light from a certain specialized projector has shone on, you can make a pattern appear.
Baatarina
ステージパフォーマンスでの場当たり支援
ダンサーや歌手などステージパフォーマは、リハーサルにて場当たりというステージ上での立ち位置を確認します。公演はいつも同じステージであるわけではありません。ステージの形や大きさはさまざまですし、特にダンスや歌などステージ上で立ち位置が激しく変わります。リハーサルに十分な時間がかけられない場合もあります。自分が正しい位置にいるのか確認するためにHMD(メガネ型ディスプレイ）を着用します。自分がステージ上のどのあたりにいるのか、適切な位置はどこなのかを確認できる情報をHMDに表示することでパフォーマを支援します。
Support for finding your position in stage performance
A dancer or singer’s stage performance involves confirming his/her position on the stage in advance, during rehearsal. Performances will not necessarily always be given on the same stage. Stages come in all shapes and sizes and this greatly affects a performer’s position on the stage, especially in the case of dancers or singers. There are times when sufficient rehearsal time cannot be spent on confirming position. To enable a performer to check whether he/she is in the correct position, we attach an HMD (a glasses-type display). We support performance by displaying information on the HMD that allows the performer to confirm where he/she is on the stage and whether he/she is in the proper position.
Wearable Projector
いつでもどこでもプロジェクションマッピング
プロジェクタは重くて大きいものというのは一昔前のことです。手のひらサイズのプロジェクタはすでに販売されています。プロジェクタは小さく安価になっていくことでしょう。ウェアラブルプロジェクタは装着型プロジェクタで、手首・肩・腰などさまざまな身体の部位に装着でき、いつでもどこでも壁や床といったいろんな場所に情報を出せます。また、歩いているときでも安定して映像を出せるので、例えば、友達と知らない街を散策しているときに地図を一緒に見たり、歩きながらゲームをしたりとかいろんな使い方ができますね。
Projection Mapping anytime, anywhere
The days when projectors were heavy and large are long gone. You can already buy a projector that fits in the palm of your hand; and surely projectors will just continue to get smaller and cheaper. Wearable Projector can be attached to your wrist, shoulder, waist and various other body parts, to display information on all kinds of surface, such as walls or floors. What’s more, you can display stable images even while walking, so there are countless ways to use it. For example, when walking through an unknown town with a friend, you can project a map while you walk, or even play games on the go.
AIdoridesu7 (AI Switcher)
複数のカメラを操る「スイッチング」
テレビのライブ中継では、たくさんのカメラを使って映像を撮りながら、状況に合わせて最適なカメラの映像を選びながら配信映像を決めています。その映像切替の作業を「スイッチング」といいます。これはプロの「スイッチャー」と呼ばれる人達が自分の経験やノウハウをもとに行う作業で、素人にはとてもむずかしい作業です。しかし、この工程があるおかげでライブ中継でも視聴者にわかりやすい映像になっています。
AI 撮りデスセブンとは、スイッチング支援システムの名称です。本来は素人には難しい「スイッチング」を支援するシステムです。スイッチングの熟練者は、映像の出来事（イベント）を手がかりとして映像の選択・切替を行っているという調査結果をえました。AI 撮りデスセブンでは、イベントを自動検出する機能や、初心者でも簡単に操作できるイベントベースなインタフェースを提供することで、だれでも簡単に最適な映像を配信することができます。
“Switching” manipulating multiple cameras
In a live television broadcast, footage is taken with various cameras and the image aired is simultaneously decided by choosing the optimum camera image from among these. The task of choosing between these camera shots is called `switching’. Switching is work carried out by professional `switchers’, based on their experience and know-how, and is very difficult for amateurs. However, it is thanks to this process that even live video is easy for viewers to comprehend. AIdoridesu7 is the name of a switching support system. Essentially it is a system to assist amateurs with the difficult task of switching. The results of a survey showed that experienced switchers take occurrences (events) in video as hints for selecting and switching between camera images. Therefore, AIdoridesu7 provides a function for automatic detection of events and an event-based interface that is simple to operate even for beginners, enabling any person to broadcast optimum images easily.
Pokerepo GO
持ち歩けるテレビ局
テレビ番組などの映像を作るにはたくさんの人と時間が必要です。どんな映像を撮るのか、何を撮るのか、どう見せるのかを決める編集会議に始まり、撮影のための下調べや準備、撮影、編集、さらにコメントを重ねるならばスタジオ収録も必要になります。また撮影には、色々な機材や指揮を撮る人、カメラを回す人、音声を撮る人など、多くの物と人が必要になります。ポケレポ GO はそんな映像制作を一人でこなすための道具です。ポケレポGO 一つで映像の撮影と編集が一度にできます。
A portable TV station
Creating footage for TV programs etc. requires a lot of people and time. There are many necessary processes, beginning with an editors’meeting to decide what kind of footage to take, what to film and how to present it; then research and preparation, filming, editing, and, in the case of any narration or voiceover, studio recording. Furthermore, filming involves various equipment and many people, such as someone to direct, someone to operate the camera and someone to record sound. Pokerepo GO is a tool to enable this kind of video to be created by one person. Filming and editing can be performed simultaneously with a single Pokerepo GO unit.
Unit Instruments
ブロックのように組み替えられる楽器
アコースティック楽器は音の高さや音の強さ、音の長さや音色などを演奏の仕方で変化させることで音楽を奏でます。一方、電子楽器はアコースティック楽器の演奏方法を真似してセンサやボタンで音の高さや音の強さ、音の長さや音色などを入力し、コンピュータがその信号を解釈して音を鳴らします。Unit Instruments では様々な電子楽器の入力部分を要素ごとに分解したものを「ユニット」と呼びます。このユニットの組み合わせを変化させることで、ギターとピアノが組み合わさったような楽器や鍵盤の数が多いピアノなど、新しい演奏方法を持つ電子楽器を作ることができます。
Like LEGO with instruments
When playing acoustic instruments, music is produced by altering the pitch, strength, length or timbre of sounds through different playing techniques. In contrast, electronic instruments imitate the playing techniques of acoustic instruments then use sensors or buttons to input pitch, strength, length or timbre of notes into a computer which interprets these signals and outputs sound. In Unit Instruments, the results of disassembling the input parts of various electronic instruments into individual components are called `units’. By altering the combination of these units, electronic instruments affording new playing techniques can be created, such as an instrument that is a combination of a guitar and a piano, or a piano with additional keyboards.
Painted Musical Instrument
楽器になる絵
絵楽器は、紙の上に描くだけで、簡単に好きな電子楽器を作れる装置です。普段，私たちは世の中にすでにあたりまえに存在する楽器を利用しますが、もしまだこの世のどこにもないオリジナルの楽器を簡単に作れるようになれば、夢が広がります。例えば、自分の体のサイズにあった楽器を手軽に作ることができ、これにより演奏の難しい箇所を難なく弾けるようになったり、もっと表現豊かに演奏できるようになるかもしれません。さらには、絵楽器装置を応用すると、紙だけでなく、階段・椅子・ドアノブ・手すりなど、家の中のモノをすべて楽器にしてしまうことも夢ではありません。50 年後や100 年後の未来に広く使われている楽器は，楽器のことを熟知した専門家ではなく、子どもたちや演奏経験のない人たちがなにげなくデザインした楽器になっているのかもしれません。
Painted musical instrument
Illustrated Musical Instrument is a device that enables you to create any kind of electronic instrument you like, simply by drawing on paper. Usually, we use instruments that already ordinarily exist in the world, but if we were able simply to create original instruments that do not yet exist anywhere in the world, our dreams would expand. For example, you could easily make an instrument suited to your own body size, which might allow you to play difficult parts of music with ease, or play with a greater range of expression. Besides this, when you apply the Illustrated Musical Instrument device, being able to turn a staircase, chair, doorknob, handrail, or any household item, into an instrument need not be a mere dream. 50 or 100 years in the future, the instruments most widely used may not be those designed by well-informed instrument experts, but those casually designed by children or people with no musical experience.
e2 mask
表情豊かなお面
e2 マスクにはディスプレイ、カメラ、マイクがついています。e2 マスクをつけた人側のディスプレイには、話し相手の顔が映し出されます。話し相手側のディスプレイは、e2 マスクをつけた人の顔がアバター（キャラクター）に変えられて表示されます。この時、マスクをつけている人の目線や表情もアバターに反映されます。また、ボイスチェンジ機能も付いているので、アバターに合わせた声に変えることで、よりそのアバターになりきることができます。
Expressive face mask
The e2 mask has display screens, a camera and microphone attached. The display facing the user wearing the mask shows the face of the person to whom the user is talking. The display facing the other person shows the face of the mask-wearer, transformed into an avatar (character). At this time, the gaze and facial expression of the mask-wearer are reflected onto the avatar. In addition, thanks to the mask’s voice-changer function, the wearer can become even more like the avatar, by altering his/her voice to suit it.
Wearable Piano Illuminated Piano
ピアニストのための新表現・新体験
着るピアノは、ピアノがワンピースにデザインとしてあしらわれているだけではありません。本当に鍵盤から音がでます。光るピアノは、着るピアノの演奏にあわせて、ドレスがファッショナブルに光ります。日常生活を音楽で彩るそんな未来もアリじゃないでしょうか?!
New form of expression and experience for pianists
Wearable Piano is not just a piano that has been turned into a dress. The keyboard really produces sound. With Illuminated Piano, the dress lights up attractively in time to the playing of Wearable Piano. A future where you can color your daily life with music? It could be just around the corner!
Airstic Drum
リアルとバーチャルのハイブリッド・ドラム
様々な場所へ出掛けて演奏をしようとしたときに、ドラムセットは大きく、重たいため大変です。スティックにセンサを付けてエアドラムのように演奏できる電子ドラムを使えば、どこにでも出掛けて行って演奏することができます。しかし、ドラムには打面があるからこその演奏方法がたくさんあるため、この方法ではどんな曲でも自由に演奏できるというわけにはいきません。そこで、ドラムセットでよく使う楽器のみ打面を用意し、あまり使われない楽器はエアドラムのように演奏できるAirstic Drum の登場です。Airstic Drum はどこにでも簡単に持っていけて質の高いパフォーマンスが可能な、リアルとバーチャルのハイブリッド・ドラムなのです。
A hybrid drum combining the real and the virtual
When it comes to travelling to perform in various places, transporting a large and heavy drum kit is problematic. Using an electric drum, comprising sensors attached to drumsticks so that the performer can play as on an `air drum’, allows a performer to go out and perform anywhere. However, as drumming involves many techniques that can only be performed using the actual surface of a drum, it cannot be said that the electric drum allows the user freely to perform any piece of music. This is where Airtstic Drum comes in. Airstic Drum provides a surface to act as the parts of the drum kit that are often used, while those parts less frequently used are recreated with the electric drumsticks. This is a hybrid of the real and the virtual that makes it possible to take the drum anywhere and deliver high quality performance.
ポップアップテスト
