M1の黒滝とB4の斉川です．
平成29(2017)年度日本デザイン学会秋季企画大会 学生プロポジションに参加してきました．学生プロポジションは全体90分で，45分ポスター発表し，45分間参加者の研究を見て周りました．
(黒滝)函館市で開催ということもあり未来大の学生が多かったですが，デザイン系の他大学の研究内容を知れたのは良い経験でした．
そして，未来大生はシステムやアプリケーションの実装力が高いという印象を持ちました．学部1年のころからプログラミングを習ったおかげだと思います．
今回の学生プロポジションでいただいた意見やアドバイスを参考に，今後の研究を発展させていきたいと思います．
(斉川)初めての学外発表ということもあり，とても緊張しました！
プログラミングの学習支援の研究から，化粧品の新たなデザインの提案まで，様々な研究があり，とても良い刺激を受けました．
まだまだ始まったばかりの私の研究ですが，今回の経験を活かし，研究を進めていきたいと思います．
以下，当日の様子です．
(担当：黒滝・斉川)
2017-10-04(Wed)
2018-08-15(Wed)
2018-01-29(Mon)
持ち歩けるテレビ局
テレビ番組などの映像を作るにはたくさんの人と時間が必要です。どんな映像を撮るのか、何を撮るのか、どう見せるのかを決める編集会議に始まり、撮影のための下調べや準備、撮影、編集、さらにコメントを重ねるならばスタジオ収録も必要になります。また撮影には、色々な機材や指揮を撮る人、カメラを回す人、音声を撮る人など、多くの物と人が必要になります。ポケレポ GO はそんな映像制作を一人でこなすための道具です。ポケレポGO 一つで映像の撮影と編集が一度にできます。
A portable TV station
Creating footage for TV programs etc. requires a lot of people and time. There are many necessary processes, beginning with an editors’meeting to decide what kind of footage to take, what to film and how to present it; then research and preparation, filming, editing, and, in the case of any narration or voiceover, studio recording. Furthermore, filming involves various equipment and many people, such as someone to direct, someone to operate the camera and someone to record sound. Pokerepo GO is a tool to enable this kind of video to be created by one person. Filming and editing can be performed simultaneously with a single Pokerepo GO unit.
Projection Mapping anytime, anywhere
The days when projectors were heavy and large are long gone. You can already buy a projector that fits in the palm of your hand; and surely projectors will just continue to get smaller and cheaper. Wearable Projector can be attached to your wrist, shoulder, waist and various other body parts, to display information on all kinds of surface, such as walls or floors. What’s more, you can display stable images even while walking, so there are countless ways to use it. For example, when walking through an unknown town with a friend, you can project a map while you walk, or even play games on the go.
Turning curling stones into science
Often called `chess on ice’, curling is known to be a competitive sport that is extrememly tactical. However, how the stones used in the sport will move on the ice, and the physical mechanism involved, have yet to be made clear. StoneRecorder uses infrared LEDs and an infrared camera to record the movement of stones and displays their trajectories on the rink, using projection mapping. Making it possible to visualize or predict the trajectory of the stones could change both tactics and practise, and even the nature of spectation.
Transcription in which a learner practices using a brush on a tablet
Instances of writing by hand are decreasing, but people still enjoy receiving handwritten letters and greetings cards. To write characters neatly, it is essential to consider the correct order of penstrokes and the balance of each character. Practising writing with a brush is worthwhile, even if just to learn the history of the characters. However, in addition to the difficulty of using a brush, which is probably unfamiliar, one must consider balance and brush control while comparing with a sample image. This makes it very difficult to tell, just by looking, whether or not the character is drawn correctly. In tablet calligraphy, the user can learn character balance by placing a piece of Japanese calligraphy paper over a tablet displaying an example character, and tracing with a brush dipped in water. Characters written are automatically assigned a score, enabling users to undertsand their progress in terms of a numerical value.
The shortcut to piano mastery
To become able to play the piano, there are many hurdles to overcome, such as learning to read music, practicing fingering and maintaining rhythm, and learning how to apply strength when pressing the keys. Furthermore, it is very hard to learn these skills alone, causing some players to become disheartened partway through. Projection Piano is the answer to such a problem. Projection Piano is designed to reduce the hurdles that tend to trip up people starting to learn the piano and make piano practice fun. By practicing with Projection Piano, a player should be able to enjoy mastering the piano without becoming disheartened along the way.
A vocal volume dial
From the way they hear their own voices with their own ears, humans judge how far their voices are carrying. Accordingly, if the voice sounds quiet the speaker will adjust by trying to talk more loudly, while if the voice sounds too loud the speaker will try to talk more quietly. A person cannot tell how someone to whom he is speaking actually hears him, thus he judges by his own voice. Voice Loudness Controller is a device for changing voice loudness by adjusting the user’s `voice volume dial’. This is done by capturing the user’s voice with a microphone then altering the loudness of the voice that is fed back to the user’s ears. Turning the voice volume dial changes the loudness of the voice heard through the headphones, allowing the user’s voice to be controlled. Vocal volume is displayed on a voice volume monitor, so that the user can see the loudness of his voice with his own eyes.
Like LEGO with instruments
When playing acoustic instruments, music is produced by altering the pitch, strength, length or timbre of sounds through different playing techniques. In contrast, electronic instruments imitate the playing techniques of acoustic instruments then use sensors or buttons to input pitch, strength, length or timbre of notes into a computer which interprets these signals and outputs sound. In Unit Instruments, the results of disassembling the input parts of various electronic instruments into individual components are called `units’. By altering the combination of these units, electronic instruments affording new playing techniques can be created, such as an instrument that is a combination of a guitar and a piano, or a piano with additional keyboards.
Detailed information
Painted musical instrument
Illustrated Musical Instrument is a device that enables you to create any kind of electronic instrument you like, simply by drawing on paper. Usually, we use instruments that already ordinarily exist in the world, but if we were able simply to create original instruments that do not yet exist anywhere in the world, our dreams would expand. For example, you could easily make an instrument suited to your own body size, which might allow you to play difficult parts of music with ease, or play with a greater range of expression. Besides this, when you apply the Illustrated Musical Instrument device, being able to turn a staircase, chair, doorknob, handrail, or any household item, into an instrument need not be a mere dream. 50 or 100 years in the future, the instruments most widely used may not be those designed by well-informed instrument experts, but those casually designed by children or people with no musical experience.
A hybrid drum combining the real and the virtual
When it comes to travelling to perform in various places, transporting a large and heavy drum kit is problematic. Using an electric drum, comprising sensors attached to drumsticks so that the performer can play as on an `air drum’, allows a performer to go out and perform anywhere. However, as drumming involves many techniques that can only be performed using the actual surface of a drum, it cannot be said that the electric drum allows the user freely to perform any piece of music. This is where Airtstic Drum comes in. Airstic Drum provides a surface to act as the parts of the drum kit that are often used, while those parts less frequently used are recreated with the electric drumsticks. This is a hybrid of the real and the virtual that makes it possible to take the drum anywhere and deliver high quality performance.
Expressive face mask
The e2 mask has display screens, a camera and microphone attached. The display facing the user wearing the mask shows the face of the person to whom the user is talking. The display facing the other person shows the face of the mask-wearer, transformed into an avatar (character). At this time, the gaze and facial expression of the mask-wearer are reflected onto the avatar. In addition, thanks to the mask’s voice-changer function, the wearer can become even more like the avatar, by altering his/her voice to suit it.
ピアニストのための新表現・新体験
着るピアノは、ピアノがワンピースにデザインとしてあしらわれているだけではありません。本当に鍵盤から音がでます。光るピアノは、着るピアノの演奏にあわせて、ドレスがファッショナブルに光ります。日常生活を音楽で彩るそんな未来もアリじゃないでしょうか?!
For graduation from the support system (teacher)
There are many systems to aid with the acquisition of skills in sport, music and so on, but at some point you have to become independent of the system and able to perform skills by yourself. ‘Teacher who lies, out of love’ helps you to graduate from this kind of support system (the teacher). The majority of support systems (teachers) teach the correct way of doing something, but this system begins to tell lies once the user has learned to perform a skill as taught. Being lied to causes the user gradually to come to mistrust the system (teacher). Finally the user is no longer misled by the system’s (teacher’s) lies, and can become independent.
To keep learners motivated
Acquirement of skills that use the body takes a long time. Noticing mistakes is the first step to achieving correct movement. A ‘computer teacher’ can unfailingly notice even slight mistakes made by learners. However, if all these mistakes are pointed out to learners, they will feel they are always being criticized and come to loathe practice. ‘Teacher who deliberately overlooks mistakes’ selects the mistakes that will be pointed out to learners, based on their proficiency levels. Furthermore, the system covers up certain mistakes, for example, by outputting the correct sound from a piano even when an incorrect key has been pressed. But you worry about whether you can actually improve by practicing in this way, don’t you? Don’t worry. You will improve.
The possibility to produce light displays on even bumpy surfaces
It is very difficult to project onto, for example, a Christmas tree, which is has an uneven surface and is not white. There are LED cables that can be wrapped around a Christmas tree, aren’t there? With these, it is easy to make all the lights shine or flash, but, when it comes to creating a pattern, things get a lot more complicated. Projection Mapping LEDs are hi-tech LEDs with sensors that detect the color of light from a projector. By lighting up only the LEDs that the light from a certain specialized projector has shone on, you can make a pattern appear.
Support for finding your position in stage performance
A dancer or singer’s stage performance involves confirming his/her position on the stage in advance, during rehearsal. Performances will not necessarily always be given on the same stage. Stages come in all shapes and sizes and this greatly affects a performer’s position on the stage, especially in the case of dancers or singers. There are times when sufficient rehearsal time cannot be spent on confirming position. To enable a performer to check whether he/she is in the correct position, we attach an HMD (a glasses-type display). We support performance by displaying information on the HMD that allows the performer to confirm where he/she is on the stage and whether he/she is in the proper position.
Dance Instrument and Projection Dance
Dance Instrument is a new expression tool for dancers. In breakdancing, dancers take part in dance battles in which opponents compete by demonstrating their dance skills. Dance Instrument plays impressive sound effects at appropriate moments during dance, in time with the BGM. Projection Dance produces slick visual effects. Producing sound effects and visual effects just at the right moment – there is actually an amazing technology behind that.
Detailed information
Design and Implementation of a Wearable Dancing Musical Instrument
A Visual Effects Management System Controlled by Performer’s Motion for Dance Performances
New form of expression and experience for pianists
Wearable Piano is not just a piano that has been turned into a dress. The keyboard really produces sound. With Illuminated Piano, the dress lights up attractively in time to the playing of Wearable Piano. A future where you can color your daily life with music? It could be just around the corner!
タブレット上で毛筆を使って練習する書写
文字を綺麗に書くためには、正しい書き順や文字のバランスを意識して書かねばなりません。文字の来歴を学ぶ意味でも毛筆による書き取りの練習はとても有意義です。しかし、慣れない毛筆の扱いに加え、手本と見比べながらバランスや筆運びを意識しなければならないため、上手く書けているのか一見しただけではわかりません。タブレット書写は手本を表示したタブレットの上に半紙を乗せ、水をつけた筆で手本をなぞることで文字のバランスを学ぶことができます。書いた文字の採点も自動でしてくれるので、文字の上達を数値で実感できます。
詳細情報
ブロックのように組み替えられる楽器
アコースティック楽器は音の高さや音の強さ、音の長さや音色などを演奏の仕方で変化させることで音楽を奏でます。一方、電子楽器はアコースティック楽器の演奏方法を真似してセンサやボタンで音の高さや音の強さ、音の長さや音色などを入力し、コンピュータがその信号を解釈して音を鳴らします。Unit Instruments では様々な電子楽器の入力部分を要素ごとに分解したものを「ユニット」と呼びます。このユニットの組み合わせを変化させることで、ギターとピアノが組み合わさったような楽器や鍵盤の数が多いピアノなど、新しい演奏方法を持つ電子楽器を作ることができます。
詳細情報
表情豊かなお面
e2 マスクにはディスプレイ、カメラ、マイクがついています。e2 マスクをつけた人側のディスプレイには、話し相手の顔が映し出されます。話し相手側のディスプレイは、e2 マスクをつけた人の顔がアバター（キャラクター）に変えられて表示されます。この時、マスクをつけている人の目線や表情もアバターに反映されます。また、ボイスチェンジ機能も付いているので、アバターに合わせた声に変えることで、よりそのアバターになりきることができます。
詳細情報
ダンサーのための新表現
ダンス楽器は、ダンサーの新しい表現ツールです。ブレイクダンスではダンスバトルといって互いのダンスを表現で競い合います。ダンス楽器はBGMに合わせて、かっこいい効果音をダンスしながらタイミングよくだします。プロジェクションダンスはかっこいい映像効果を出します。「ここっ！」というタイミングで効果音や映像効果を出す、これに実はすごい技術が使われているのです。
詳細情報
ピアノマスターへの近道
ピアノが弾けるようになるには、楽譜を読む勉強や指使いの練習、リズムをとる練習、強弱のつけ方などたくさんの壁を突破しなければなりません。また、これらをひとりで練習するのはとても大変で、途中で心が折れてしまう人も多いはずです。
こんな問題を解決するのが「プロジェクションピアノ」です。プロジェクションピアノは、ピアノの練習を始めた人がつまづきやすい壁をできるだけ減らし、楽しくピアノの練習ができるように設計されています。プロジェクションピアノで練習すれば、途中で挫折することなく楽しくピアノをマスターすることができるでしょう。
急がば回れ的技能の習得
このエッセンスを技能の習得（イラストの描画）に応用するとどうなるでしょうか？その一例として，イラストを描くときに
「消すこと」を織り込んで描くという消去指向なイラスト描画方法を考えました．具体的には，UFOのような形を描くときに2つの楕円を描いてからいらない箇所を消すという具合です．どうでしょう？UFOの形をそのまま描くより，うまく描けませんか？この描画方法を使いこなせるようになると，もっと複雑なイラストをキレイに描けるようになるのです．ちょっと回り道をすることで，もっと楽に簡単にできるようになる．こんな方法もアリだと思いませんか．
声のボリュームダイアル
人間は、自分の耳で聞いた自分の声の大きさから、自分の声がどれだけ周りに届いているのかを判断します。そこで聞こえた自分の声が小さければ大きく話そうと調整し、大きすぎれば小さい声で話すように調整します。実際に相手の耳でどのように聞こえているかはわからないため、自分の声で判断しています。
声量コントローラーは、「声のボリュームダイヤル」を調整することで声の大きさを変えてしまう装置です。マイクから声を取り込んで、耳に届く声の大きさを変化させることでコントロールします。声のボリュームダイヤルを回すことで、ヘッドホンから聞こえる自分の声の大きさが変わるので、その人の声の大きさをコントロールすることができます。声の大きさが目で見えるように、声のボリュームモニターに自分の声量が表示されます。
凸凹面への光の演出を可能にする
例えばクリスマスツリーのように、凸凹していて、白くもないところにプロジェクションマッピングするのは大変です。クリスマスツリーに巻き付けるLEDのケーブルがありますよね。全体を光らせたり点滅させたりするのは簡単ですが、模様を出したりしようとすると途端に難しくなります。プロジェクションマッピングLEDは、LEDにプロジェクタの光の色を感知するセンサがついているちょっと高機能なLEDです。ある特定の色のプロジェクタの光があたったLEDだけ光らせることで、模様を浮かび上がらせます。
ステージパフォーマンスでの場当たり支援
ダンサーや歌手などステージパフォーマは、リハーサルにて場当たりというステージ上での立ち位置を確認します。公演はいつも同じステージであるわけではありません。ステージの形や大きさはさまざまですし、特にダンスや歌などステージ上で立ち位置が激しく変わります。リハーサルに十分な時間がかけられない場合もあります。自分が正しい位置にいるのか確認するためにHMD(メガネ型ディスプレイ）を着用します。自分がステージ上のどのあたりにいるのか、適切な位置はどこなのかを確認できる情報をHMDに表示することでパフォーマを支援します。
いつでもどこでもプロジェクションマッピング
プロジェクタは重くて大きいものというのは一昔前のことです。手のひらサイズのプロジェクタはすでに販売されています。プロジェクタは小さく安価になっていくことでしょう。ウェアラブルプロジェクタは装着型プロジェクタで、手首・肩・腰などさまざまな身体の部位に装着でき、いつでもどこでも壁や床といったいろんな場所に情報を出せます。また、歩いているときでも安定して映像を出せるので、例えば、友達と知らない街を散策しているときに地図を一緒に見たり、歩きながらゲームをしたりとかいろんな使い方ができますね。
複数のカメラを操る「スイッチング」
テレビのライブ中継では、たくさんのカメラを使って映像を撮りながら、状況に合わせて最適なカメラの映像を選びながら配信映像を決めています。その映像切替の作業を「スイッチング」といいます。これはプロの「スイッチャー」と呼ばれる人達が自分の経験やノウハウをもとに行う作業で、素人にはとてもむずかしい作業です。しかし、この工程があるおかげでライブ中継でも視聴者にわかりやすい映像になっています。
AI 撮りデスセブンとは、スイッチング支援システムの名称です。本来は素人には難しい「スイッチング」を支援するシステムです。スイッチングの熟練者は、映像の出来事（イベント）を手がかりとして映像の選択・切替を行っているという調査結果をえました。AI 撮りデスセブンでは、イベントを自動検出する機能や、初心者でも簡単に操作できるイベントベースなインタフェースを提供することで、だれでも簡単に最適な映像を配信することができます。
楽器になる絵
絵楽器は、紙の上に描くだけで、簡単に好きな電子楽器を作れる装置です。普段，私たちは世の中にすでにあたりまえに存在する楽器を利用しますが、もしまだこの世のどこにもないオリジナルの楽器を簡単に作れるようになれば、夢が広がります。例えば、自分の体のサイズにあった楽器を手軽に作ることができ、これにより演奏の難しい箇所を難なく弾けるようになったり、もっと表現豊かに演奏できるようになるかもしれません。さらには、絵楽器装置を応用すると、紙だけでなく、階段・椅子・ドアノブ・手すりなど、家の中のモノをすべて楽器にしてしまうことも夢ではありません。50 年後や100 年後の未来に広く使われている楽器は，楽器のことを熟知した専門家ではなく、子どもたちや演奏経験のない人たちがなにげなくデザインした楽器になっているのかもしれません。
リアルとバーチャルのハイブリッド・ドラム
様々な場所へ出掛けて演奏をしようとしたときに、ドラムセットは大きく、重たいため大変です。スティックにセンサを付けてエアドラムのように演奏できる電子ドラムを使えば、どこにでも出掛けて行って演奏することができます。しかし、ドラムには打面があるからこその演奏方法がたくさんあるため、この方法ではどんな曲でも自由に演奏できるというわけにはいきません。そこで、ドラムセットでよく使う楽器のみ打面を用意し、あまり使われない楽器はエアドラムのように演奏できるAirstic Drum の登場です。Airstic Drum はどこにでも簡単に持っていけて質の高いパフォーマンスが可能な、リアルとバーチャルのハイブリッド・ドラムなのです。
支援システム( 先生) から卒業するために
運動や音楽などの技能を習得するために手助けするシステムはたくさんありますが、その便利なシステムからいつかは自立し、自分一人で出来るようにならなければいけません。「愛を持って嘘をつく先生」はそんな支援システム( 先生) から卒業することを手助けしてくれます。多くの支援システム( 先生) は正しい方法を教えてくれますが、教えてくれた通りにできるようになったら敢えて嘘をつくようになるのです。嘘をつかれると、だんだん支援システム( 先生) のことを疑うようになります。最後は支援システム( 先生) の嘘に惑わされず、自立できるようになります。
いろんな教え方で教えてくれる
スポーツや楽器演奏、料理などの身体を使った技能を覚える時、本では文字や図などの視覚表現から学ぶしかありません。講座や教室に行けば先生に教わることが出来ますが、「マルチモーダルな先生」は視覚と聴覚と触覚など、いくつかの要素を組み合わせて提示することで、より豊かに、体験的に技能を習得することができます。
目で見えない視点からのアドバイス
ピアノを習いに行けば、先生は楽譜の読み方や練習の仕方だけでなく、指使いや姿勢、さらには音楽的な考え方まで教えてくれるかもしれません。しかし、一人の先生が見ることのできる範囲には限度があります。特に、ほんの些細な指の動かし方や置き方にまで注目することは大変です。「細かいところまで見逃さない先生」はピアノの先生が見ることのできない視点からあなたの練習をじっと見守り、アドバイスをくれます。もちろん、これはピアノに限った話ではありません。他の楽器やスポーツでも同じようにあらゆる視点からあなたの練習を見守り、上達を支えてくれるのです。
学習者のやる気をキープするために
身体を使った技能の習得には長い時間がかかります。また、ミスに気づくことは、正しい動きを習得する第一歩です。コンピュータの先生はもれなく、学習者のちょっとしたミスにも気づくことができます。ただ、そのミスのすべてを学習者に伝えると、学習者は怒られてばっかりで練習が嫌になってしまうでしょう。あえてミスを見逃す先生は、学習者の上達度合いに応じて学習者に伝えるミスを選択します。しかも、ミスをなかったことに、例えば、ピアノで間違った鍵を押したとしても正しい音を出します。こんな調子で練習してはたしてうまくなるのか心配になりますよね。心配ありません。ちゃんと上手になっていきます。
どのくらい練習すればできますか？
先の見えない練習や勉強は時に辛く苦しいものです。特に、練習しても技術が上がらないような時期やスランプに不安を感じた経験は誰しもが持っているのではないでしょうか？ 「予測が得意な先生」は現状の練習成果やテストの結果を見せるだけで、その後どのように上達していくのかを膨大な過去の記録から予測してくれます。あとこのくらい練習すれば、勉強すれば達成できるのだという将来への展望が辛い時期を乗り切る糧となってくれることでしょう。
視線はウソをつかない
楽器を演奏している人の隣で一緒に楽譜の演奏箇所を目で追うことは、あなたにとってそれほど難しい事ではないかも知れません。しかし、システムが同じことをしようとすると一筋縄では行きません。演奏のテンポは表現によって常に変化し、時には演奏されない音や、ミスをすることもあります。練習では苦手なところだけを抜き出して、同じ箇所を繰り返し演奏することもあります。Score Gazing は音や楽器への入力だけでなく、視線の情報を組み合わせることで、演奏箇所を確実に推定します。
知覚するボウリングのボール
ボウリングが上手になるためには助走やフォーム、ボールの速度や回転数など様々な要素について考えなければなりません。しかし、投げた後のボールがどのような状態にあるのかを完全に把握することはできません。Smart Bowling ball には複数のセンサーを埋め込み、ボールに知覚情報を与えました。ボールに記録された速度、回転などの情報を読み取ることで、投球後のボールの状態をより詳しく、数値で確認することができます。ボール自身が投球についてアドバイスをしてくれるような未来も訪れるかもしれません。
カーリングストーンを科学する
「氷上のチェス」とも呼ばれるカーリングは非常に戦略性の高い競技として知られています。しかし、競技に使われるストーンが氷上でどんな動きをするのか、その力学的なメカニズムは解明されていません。StoneRecorder は赤外線LED と赤外線カメラを用いてストーンの動きを記録し、リンク上にその軌跡をプロジェクション・マッピングします。軌跡の可視化や予測ができるようになると、 戦略も 練習も、鑑賞の仕方さえも変わっていくかもしれません。
Perceptive bowling ball
To become good at bowling, it is necessary to consider various factors, such as approach, form and the speed and number of rotations of the ball. However, it is impossible to grasp exactly what state the ball is in once it has been bowled. Smart Bowling Ball has several sensors embedded in it, endowing it with sensory information. By reading the information recorded by the ball, such as speed and rotation, it is possible to confirm the status of the ball after bowling, in more detail and in numerical values. Perhaps we will see a future in which the ball itself gives you advice on your bowling.
Smart Bowling ball
知覚するボウリングのボール
ボウリングが上手になるためには助走やフォーム、ボールの速度や回転数など様々な要素について考えなければなりません。しかし、投げた後のボールがどのような状態にあるのかを完全に把握することはできません。Smart Bowling ball には複数のセンサーを埋め込み、ボールに知覚情報を与えました。ボールに記録された速度、回転などの情報を読み取ることで、投球後のボールの状態をより詳しく、数値で確認することができます。ボール自身が投球についてアドバイスをしてくれるような未来も訪れるかもしれません。
Perceptive bowling ball
To become good at bowling, it is necessary to consider various factors, such as approach, form and the speed and number of rotations of the ball. However, it is impossible to grasp exactly what state the ball is in once it has been bowled. Smart Bowling Ball has several sensors embedded in it, endowing it with sensory information. By reading the information recorded by the ball, such as speed and rotation, it is possible to confirm the status of the ball after bowling, in more detail and in numerical values. Perhaps we will see a future in which the ball itself gives you advice on your bowling.
Teaching through a variety of methods
When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.
Advice from a viewpoint you cannot see with your own eyes
When you go to have piano lessons, the teacher has to consider not only score reading and practise method, but also fingering, posture and even your musical way of thinking. However, there is a limit to the area that a single teacher can look at. In particular, paying attention to every minute movement and placement of the fingers is very difficult. `Teacher who doesn’t overlook the little things’ scrutinizes your piano practise from viewpoints from which the teacher cannot, and gives advice. Of course, this concept is not limited to learning the piano. The system could watch over practice of other instruments and sports from every angle, to support progression.
Teaching through comparison to daily movements
In sport or playing instruments, when using the body in a different way from in everyday life, it can be difficult to visualize what you need to do to master certain skills. `Teacher with a knack for analogy’, uses comparison to everyday actions to teach those ways of usng the body that are difficult to visualize. By inputting all kinds of everyday action, this system can tell you the daily action in which the way you use your body is closest to the action of a professional. When you learn which of your everyday actions is similar to the action of a pro, you can more rapidly become competent at a sport or an instrument.
日常の動きに例えて教えてくれる
スポーツや楽器演奏など、日常生活とは違う身体の使い方をする時、どうしたら出来るようになるのかイメージすることは難しいでしょう。「たとえ表現が上手な先生」はイメージしにくい身体の使い方を日常の動作に例えて教えてくれます。日常のあらゆる動作をインプットしておくことで、プロの動作と最も近い身体の使い方をしている日常の動作を教えてくれます。自分にとって日常のどんな動作が近いのかを知ることで、スポーツや楽器演奏の上達がずっと早くなるのです。
How much do I need to practise to improve?
Practise or study with no end in sight is hard and frustrating. Doubtless everyone has experienced a period during which their skills do not improve even though they practice, or of feeling uncertain during a slump in progress. Simply by being shown current practise outcomes, test results etc., `Teacher who is good at prediction’ estimates how a person will progress in future, from a vast amount of past records. The future prospect of improving if you practise this much, study this much, becomes an incentive to overcome the difficult periods.
The eyes don’t lie
You may not find it difficult, when sat next to someone who is playing the piano, to follow his place on the score with your eyes. However, when a computer system tries to do the same thing it is not so straightforward. Playing tempo changes constantly according to expression, and there are times when a note may not be played or a mistake made. In practise the player may also miss out difficult parts and repeatedly practice the same places. By using not only sound and input to the musical instrument, but also combining these with gaze information, the score gazing system follows the score as though it is right beside the player, to support performance.
Slow and steady wins the race when it comes to skill acquirement
There is a saying (slow and steady wins the race) which means that, if you want to hurry, you can sometimes get there more quickly in the end by taking the long way round. What happens if we apply the essence of this to skill acquisition (Illustration)? As an example, we considered an erasure-oriented illustration method, which incorporates the idea of ‘erasing’ as you draw. In actual practice this means, when drawing a shape like a UFO, for example, simply drawing two overlapping circles then erasing the unneeded parts. How does that sound? Don’t you think you could draw better that way than by trying to draw the shape of a UFO as it is? When you master this illustration method, you become able to draw more complex illustrations, skillfully. By taking the long way round, you are able to draw more easily and simply. Sounds like a pretty good method, don’t you think?
“Switching” manipulating multiple cameras
In a live television broadcast, footage is taken with various cameras and the image aired is simultaneously decided by choosing the optimum camera image from among these. The task of choosing between these camera shots is called `switching’. Switching is work carried out by professional `switchers’, based on their experience and know-how, and is very difficult for amateurs. However, it is thanks to this process that even live video is easy for viewers to comprehend. AIdoridesu7 is the name of a switching support system. Essentially it is a system to assist amateurs with the difficult task of switching. The results of a survey showed that experienced switchers take occurrences (events) in video as hints for selecting and switching between camera images. Therefore, AIdoridesu7 provides a function for automatic detection of events and an event-based interface that is simple to operate even for beginners, enabling any person to broadcast optimum images easily.
Dance Instrument and Projection Dance
ダンサーのための新表現
ダンス楽器は、ダンサーの新しい表現ツールです。ブレイクダンスではダンスバトルといって互いのダンスを表現で競い合います。ダンス楽器はBGMに合わせて、かっこいい効果音をダンスしながらタイミングよくだします。プロジェクションダンスはかっこいい映像効果を出します。「ここっ！」というタイミングで効果音や映像効果を出す、これに実はすごい技術が使われているのです。
Dance Instrument and Projection Dance
Dance Instrument is a new expression tool for dancers. In breakdancing, dancers take part in dance battles in which opponents compete by demonstrating their dance skills. Dance Instrument plays impressive sound effects at appropriate moments during dance, in time with the BGM. Projection Dance produces slick visual effects. Producing sound effects and visual effects just at the right moment – there is actually an amazing technology behind that.
Multimodal teacher
いろんな教え方で教えてくれる
スポーツや楽器演奏、料理などの身体を使った技能を覚える時、本では文字や図などの視覚表現から学ぶしかありません。講座や教室に行けば先生に教わることが出来ますが、「マルチモーダルな先生」は視覚と聴覚と触覚など、いくつかの要素を組み合わせて提示することで、より豊かに、体験的に技能を習得することができます。
Teaching through a variety of methods
When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.
Teacher who lies, out of love
支援システム( 先生) から卒業するために
運動や音楽などの技能を習得するために手助けするシステムはたくさんありますが、その便利なシステムからいつかは自立し、自分一人で出来るようにならなければいけません。「愛を持って嘘をつく先生」はそんな支援システム( 先生) から卒業することを手助けしてくれます。多くの支援システム( 先生) は正しい方法を教えてくれますが、教えてくれた通りにできるようになったら敢えて嘘をつくようになるのです。嘘をつかれると、だんだん支援システム( 先生) のことを疑うようになります。最後は支援システム( 先生) の嘘に惑わされず、自立できるようになります。
For graduation from the support system (teacher)
There are many systems to aid with the acquisition of skills in sport, music and so on, but at some point you have to become independent of the system and able to perform skills by yourself. ‘Teacher who lies, out of love’ helps you to graduate from this kind of support system (the teacher). The majority of support systems (teachers) teach the correct way of doing something, but this system begins to tell lies once the user has learned to perform a skill as taught. Being lied to causes the user gradually to come to mistrust the system (teacher). Finally the user is no longer misled by the system’s (teacher’s) lies, and can become independent.
Teacher who doesn’t overlook the little things
目で見えない視点からのアドバイス
ピアノを習いに行けば、先生は楽譜の読み方や練習の仕方だけでなく、指使いや姿勢、さらには音楽的な考え方まで教えてくれるかもしれません。しかし、一人の先生が見ることのできる範囲には限度があります。特に、ほんの些細な指の動かし方や置き方にまで注目することは大変です。「細かいところまで見逃さない先生」はピアノの先生が見ることのできない視点からあなたの練習をじっと見守り、アドバイスをくれます。もちろん、これはピアノに限った話ではありません。他の楽器やスポーツでも同じようにあらゆる視点からあなたの練習を見守り、上達を支えてくれるのです。
Advice from a viewpoint you cannot see with your own eyes
When you go to have piano lessons, the teacher has to consider not only score reading and practise method, but also fingering, posture and even your musical way of thinking. However, there is a limit to the area that a single teacher can look at. In particular, paying attention to every minute movement and placement of the fingers is very difficult. `Teacher who doesn’t overlook the little things’ scrutinizes your piano practise from viewpoints from which the teacher cannot, and gives advice. Of course, this concept is not limited to learning the piano. The system could watch over practice of other instruments and sports from every angle, to support progression.
Teacher who deliberately overlooks, or even covers up, your mistakes
学習者のやる気をキープするために
身体を使った技能の習得には長い時間がかかります。また、ミスに気づくことは、正しい動きを習得する第一歩です。コンピュータの先生はもれなく、学習者のちょっとしたミスにも気づくことができます。ただ、そのミスのすべてを学習者に伝えると、学習者は怒られてばっかりで練習が嫌になってしまうでしょう。あえてミスを見逃す先生は、学習者の上達度合いに応じて学習者に伝えるミスを選択します。しかも、ミスをなかったことに、例えば、ピアノで間違った鍵を押したとしても正しい音を出します。こんな調子で練習してはたしてうまくなるのか心配になりますよね。心配ありません。ちゃんと上手になっていきます。
To keep learners motivated
Acquirement of skills that use the body takes a long time. Noticing mistakes is the first step to achieving correct movement. A ‘computer teacher’ can unfailingly notice even slight mistakes made by learners. However, if all these mistakes are pointed out to learners, they will feel they are always being criticized and come to loathe practice. ‘Teacher who deliberately overlooks mistakes’ selects the mistakes that will be pointed out to learners, based on their proficiency levels. Furthermore, the system covers up certain mistakes, for example, by outputting the correct sound from a piano even when an incorrect key has been pressed. But you worry about whether you can actually improve by practicing in this way, don’t you? Don’t worry. You will improve.
Teacher with a knack for analogy
日常の動きに例えて教えてくれる
スポーツや楽器演奏など、日常生活とは違う身体の使い方をする時、どうしたら出来るようになるのかイメージすることは難しいでしょう。「たとえ表現が上手な先生」はイメージしにくい身体の使い方を日常の動作に例えて教えてくれます。日常のあらゆる動作をインプットしておくことで、プロの動作と最も近い身体の使い方をしている日常の動作を教えてくれます。自分にとって日常のどんな動作が近いのかを知ることで、スポーツや楽器演奏の上達がずっと早くなるのです。
Teaching through comparison to daily movements
In sport or playing instruments, when using the body in a different way from in everyday life, it can be difficult to visualize what you need to do to master certain skills. `Teacher with a knack for analogy’, uses comparison to everyday actions to teach those ways of usng the body that are difficult to visualize. By inputting all kinds of everyday action, this system can tell you the daily action in which the way you use your body is closest to the action of a professional. When you learn which of your everyday actions is similar to the action of a pro, you can more rapidly become competent at a sport or an instrument.
Teacher who is good at prediction
どのくらい練習すればできますか？
先の見えない練習や勉強は時に辛く苦しいものです。特に、練習しても技術が上がらないような時期やスランプに不安を感じた経験は誰しもが持っているのではないでしょうか？ 「予測が得意な先生」は現状の練習成果やテストの結果を見せるだけで、その後どのように上達していくのかを膨大な過去の記録から予測してくれます。あとこのくらい練習すれば、勉強すれば達成できるのだという将来への展望が辛い時期を乗り切る糧となってくれることでしょう。
How much do I need to practise to improve?
Practise or study with no end in sight is hard and frustrating. Doubtless everyone has experienced a period during which their skills do not improve even though they practice, or of feeling uncertain during a slump in progress. Simply by being shown current practise outcomes, test results etc., `Teacher who is good at prediction’ estimates how a person will progress in future, from a vast amount of past records. The future prospect of improving if you practise this much, study this much, becomes an incentive to overcome the difficult periods.
Score Gazing
視線はウソをつかない
楽器を演奏している人の隣で一緒に楽譜の演奏箇所を目で追うことは、あなたにとってそれほど難しい事ではないかも知れません。しかし、システムが同じことをしようとすると一筋縄では行きません。演奏のテンポは表現によって常に変化し、時には演奏されない音や、ミスをすることもあります。練習では苦手なところだけを抜き出して、同じ箇所を繰り返し演奏することもあります。Score Gazing は音や楽器への入力だけでなく、視線の情報を組み合わせることで、演奏箇所を確実に推定します。
The eyes don’t lie
You may not find it difficult, when sat next to someone who is playing the piano, to follow his place on the score with your eyes. However, when a computer system tries to do the same thing it is not so straightforward. Playing tempo changes constantly according to expression, and there are times when a note may not be played or a mistake made. In practise the player may also miss out difficult parts and repeatedly practice the same places. By using not only sound and input to the musical instrument, but also combining these with gaze information, the score gazing system follows the score as though it is right beside the player, to support performance.
Strone Recorder
カーリングストーンを科学する
「氷上のチェス」とも呼ばれるカーリングは非常に戦略性の高い競技として知られています。しかし、競技に使われるストーンが氷上でどんな動きをするのか、その力学的なメカニズムは解明されていません。StoneRecorder は赤外線LED と赤外線カメラを用いてストーンの動きを記録し、リンク上にその軌跡をプロジェクション・マッピングします。軌跡の可視化や予測ができるようになると、 戦略も 練習も、鑑賞の仕方さえも変わっていくかもしれません。
Turning curling stones into science
Often called `chess on ice’, curling is known to be a competitive sport that is extrememly tactical. However, how the stones used in the sport will move on the ice, and the physical mechanism involved, have yet to be made clear. StoneRecorder uses infrared LEDs and an infrared camera to record the movement of stones and displays their trajectories on the rink, using projection mapping. Making it possible to visualize or predict the trajectory of the stones could change both tactics and practise, and even the nature of spectation.
Tablet Handwriting
タブレット上で毛筆を使って練習する書写
文字を綺麗に書くためには、正しい書き順や文字のバランスを意識して書かねばなりません。文字の来歴を学ぶ意味でも毛筆による書き取りの練習はとても有意義です。しかし、慣れない毛筆の扱いに加え、手本と見比べながらバランスや筆運びを意識しなければならないため、上手く書けているのか一見しただけではわかりません。タブレット書写は手本を表示したタブレットの上に半紙を乗せ、水をつけた筆で手本をなぞることで文字のバランスを学ぶことができます。書いた文字の採点も自動でしてくれるので、文字の上達を数値で実感できます。
Transcription in which a learner practices using a brush on a tablet
Instances of writing by hand are decreasing, but people still enjoy receiving handwritten letters and greetings cards. To write characters neatly, it is essential to consider the correct order of penstrokes and the balance of each character. Practising writing with a brush is worthwhile, even if just to learn the history of the characters. However, in addition to the difficulty of using a brush, which is probably unfamiliar, one must consider balance and brush control while comparing with a sample image. This makes it very difficult to tell, just by looking, whether or not the character is drawn correctly. In tablet calligraphy, the user can learn character balance by placing a piece of Japanese calligraphy paper over a tablet displaying an example character, and tracing with a brush dipped in water. Characters written are automatically assigned a score, enabling users to undertsand their progress in terms of a numerical value.
Projection Piano
ピアノマスターへの近道
ピアノが弾けるようになるには、楽譜を読む勉強や指使いの練習、リズムをとる練習、強弱のつけ方などたくさんの壁を突破しなければなりません。また、これらをひとりで練習するのはとても大変で、途中で心が折れてしまう人も多いはずです。
こんな問題を解決するのが「プロジェクションピアノ」です。プロジェクションピアノは、ピアノの練習を始めた人がつまづきやすい壁をできるだけ減らし、楽しくピアノの練習ができるように設計されています。プロジェクションピアノで練習すれば、途中で挫折することなく楽しくピアノをマスターすることができるでしょう。
The shortcut to piano mastery
To become able to play the piano, there are many hurdles to overcome, such as learning to read music, practicing fingering and maintaining rhythm, and learning how to apply strength when pressing the keys. Furthermore, it is very hard to learn these skills alone, causing some players to become disheartened partway through. Projection Piano is the answer to such a problem. Projection Piano is designed to reduce the hurdles that tend to trip up people starting to learn the piano and make piano practice fun. By practicing with Projection Piano, a player should be able to enjoy mastering the piano without becoming disheartened along the way.
Erasure-oriented Illustration Method
急がば回れ的技能の習得
このエッセンスを技能の習得（イラストの描画）に応用するとどうなるでしょうか？その一例として，イラストを描くときに「消すこと」を織り込んで描くという消去指向なイラスト描画方法を考えました．具体的には，UFOのような形を描くときに2つの楕円を描いてからいらない箇所を消すという具合です．どうでしょう？UFOの形をそのまま描くより，うまく描けませんか？この描画方法を使いこなせるようになると，もっと複雑なイラストをキレイに描けるようになるのです．ちょっと回り道をすることで，もっと楽に簡単にできるようになる．こんな方法もアリだと思いませんか．
Slow and steady wins the race when it comes to skill acquirement
There is a saying (slow and steady wins the race) which means that, if you want to hurry, you can sometimes get there more quickly in the end by taking the long way round. What happens if we apply the essence of this to skill acquisition (Illustration)? As an example, we considered an erasure-oriented illustration method, which incorporates the idea of ‘erasing’ as you draw. In actual practice this means, when drawing a shape like a UFO, for example, simply drawing two overlapping circles then erasing the unneeded parts. How does that sound? Don’t you think you could draw better that way than by trying to draw the shape of a UFO as it is? When you master this illustration method, you become able to draw more complex illustrations, skillfully. By taking the long way round, you are able to draw more easily and simply. Sounds like a pretty good method, don’t you think?
Voice Loudness Controller
声のボリュームダイアル
人間は、自分の耳で聞いた自分の声の大きさから、自分の声がどれだけ周りに届いているのかを判断します。そこで聞こえた自分の声が小さければ大きく話そうと調整し、大きすぎれば小さい声で話すように調整します。実際に相手の耳でどのように聞こえているかはわからないため、自分の声で判断しています。
声量コントローラーは、「声のボリュームダイヤル」を調整することで声の大きさを変えてしまう装置です。マイクから声を取り込んで、耳に届く声の大きさを変化させることでコントロールします。声のボリュームダイヤルを回すことで、ヘッドホンから聞こえる自分の声の大きさが変わるので、その人の声の大きさをコントロールすることができます。声の大きさが目で見えるように、声のボリュームモニターに自分の声量が表示されます。
A vocal volume dial
From the way they hear their own voices with their own ears, humans judge how far their voices are carrying. Accordingly, if the voice sounds quiet the speaker will adjust by trying to talk more loudly, while if the voice sounds too loud the speaker will try to talk more quietly. A person cannot tell how someone to whom he is speaking actually hears him, thus he judges by his own voice. Voice Loudness Controller is a device for changing voice loudness by adjusting the user’s `voice volume dial’. This is done by capturing the user’s voice with a microphone then altering the loudness of the voice that is fed back to the user’s ears. Turning the voice volume dial changes the loudness of the voice heard through the headphones, allowing the user’s voice to be controlled. Vocal volume is displayed on a voice volume monitor, so that the user can see the loudness of his voice with his own eyes.
Projection Mapping LED
凸凹面への光の演出を可能にする
例えばクリスマスツリーのように、凸凹していて、白くもないところにプロジェクションマッピングするのは大変です。クリスマスツリーに巻き付けるLEDのケーブルがありますよね。全体を光らせたり点滅させたりするのは簡単ですが、模様を出したりしようとすると途端に難しくなります。プロジェクションマッピングLEDは、LEDにプロジェクタの光の色を感知するセンサがついているちょっと高機能なLEDです。ある特定の色のプロジェクタの光があたったLEDだけ光らせることで、模様を浮かび上がらせます。
The possibility to produce light displays on even bumpy surfaces
It is very difficult to project onto, for example, a Christmas tree, which is has an uneven surface and is not white. There are LED cables that can be wrapped around a Christmas tree, aren’t there? With these, it is easy to make all the lights shine or flash, but, when it comes to creating a pattern, things get a lot more complicated. Projection Mapping LEDs are hi-tech LEDs with sensors that detect the color of light from a projector. By lighting up only the LEDs that the light from a certain specialized projector has shone on, you can make a pattern appear.
Baatarina
ステージパフォーマンスでの場当たり支援
ダンサーや歌手などステージパフォーマは、リハーサルにて場当たりというステージ上での立ち位置を確認します。公演はいつも同じステージであるわけではありません。ステージの形や大きさはさまざまですし、特にダンスや歌などステージ上で立ち位置が激しく変わります。リハーサルに十分な時間がかけられない場合もあります。自分が正しい位置にいるのか確認するためにHMD(メガネ型ディスプレイ）を着用します。自分がステージ上のどのあたりにいるのか、適切な位置はどこなのかを確認できる情報をHMDに表示することでパフォーマを支援します。
Support for finding your position in stage performance
A dancer or singer’s stage performance involves confirming his/her position on the stage in advance, during rehearsal. Performances will not necessarily always be given on the same stage. Stages come in all shapes and sizes and this greatly affects a performer’s position on the stage, especially in the case of dancers or singers. There are times when sufficient rehearsal time cannot be spent on confirming position. To enable a performer to check whether he/she is in the correct position, we attach an HMD (a glasses-type display). We support performance by displaying information on the HMD that allows the performer to confirm where he/she is on the stage and whether he/she is in the proper position.
Wearable Projector
いつでもどこでもプロジェクションマッピング
プロジェクタは重くて大きいものというのは一昔前のことです。手のひらサイズのプロジェクタはすでに販売されています。プロジェクタは小さく安価になっていくことでしょう。ウェアラブルプロジェクタは装着型プロジェクタで、手首・肩・腰などさまざまな身体の部位に装着でき、いつでもどこでも壁や床といったいろんな場所に情報を出せます。また、歩いているときでも安定して映像を出せるので、例えば、友達と知らない街を散策しているときに地図を一緒に見たり、歩きながらゲームをしたりとかいろんな使い方ができますね。
Projection Mapping anytime, anywhere
The days when projectors were heavy and large are long gone. You can already buy a projector that fits in the palm of your hand; and surely projectors will just continue to get smaller and cheaper. Wearable Projector can be attached to your wrist, shoulder, waist and various other body parts, to display information on all kinds of surface, such as walls or floors. What’s more, you can display stable images even while walking, so there are countless ways to use it. For example, when walking through an unknown town with a friend, you can project a map while you walk, or even play games on the go.
AIdoridesu7 (AI Switcher)
複数のカメラを操る「スイッチング」
テレビのライブ中継では、たくさんのカメラを使って映像を撮りながら、状況に合わせて最適なカメラの映像を選びながら配信映像を決めています。その映像切替の作業を「スイッチング」といいます。これはプロの「スイッチャー」と呼ばれる人達が自分の経験やノウハウをもとに行う作業で、素人にはとてもむずかしい作業です。しかし、この工程があるおかげでライブ中継でも視聴者にわかりやすい映像になっています。
AI 撮りデスセブンとは、スイッチング支援システムの名称です。本来は素人には難しい「スイッチング」を支援するシステムです。スイッチングの熟練者は、映像の出来事（イベント）を手がかりとして映像の選択・切替を行っているという調査結果をえました。AI 撮りデスセブンでは、イベントを自動検出する機能や、初心者でも簡単に操作できるイベントベースなインタフェースを提供することで、だれでも簡単に最適な映像を配信することができます。
“Switching” manipulating multiple cameras
In a live television broadcast, footage is taken with various cameras and the image aired is simultaneously decided by choosing the optimum camera image from among these. The task of choosing between these camera shots is called `switching’. Switching is work carried out by professional `switchers’, based on their experience and know-how, and is very difficult for amateurs. However, it is thanks to this process that even live video is easy for viewers to comprehend. AIdoridesu7 is the name of a switching support system. Essentially it is a system to assist amateurs with the difficult task of switching. The results of a survey showed that experienced switchers take occurrences (events) in video as hints for selecting and switching between camera images. Therefore, AIdoridesu7 provides a function for automatic detection of events and an event-based interface that is simple to operate even for beginners, enabling any person to broadcast optimum images easily.
Pokerepo GO
持ち歩けるテレビ局
テレビ番組などの映像を作るにはたくさんの人と時間が必要です。どんな映像を撮るのか、何を撮るのか、どう見せるのかを決める編集会議に始まり、撮影のための下調べや準備、撮影、編集、さらにコメントを重ねるならばスタジオ収録も必要になります。また撮影には、色々な機材や指揮を撮る人、カメラを回す人、音声を撮る人など、多くの物と人が必要になります。ポケレポ GO はそんな映像制作を一人でこなすための道具です。ポケレポGO 一つで映像の撮影と編集が一度にできます。
A portable TV station
Creating footage for TV programs etc. requires a lot of people and time. There are many necessary processes, beginning with an editors’meeting to decide what kind of footage to take, what to film and how to present it; then research and preparation, filming, editing, and, in the case of any narration or voiceover, studio recording. Furthermore, filming involves various equipment and many people, such as someone to direct, someone to operate the camera and someone to record sound. Pokerepo GO is a tool to enable this kind of video to be created by one person. Filming and editing can be performed simultaneously with a single Pokerepo GO unit.
Unit Instruments
ブロックのように組み替えられる楽器
アコースティック楽器は音の高さや音の強さ、音の長さや音色などを演奏の仕方で変化させることで音楽を奏でます。一方、電子楽器はアコースティック楽器の演奏方法を真似してセンサやボタンで音の高さや音の強さ、音の長さや音色などを入力し、コンピュータがその信号を解釈して音を鳴らします。Unit Instruments では様々な電子楽器の入力部分を要素ごとに分解したものを「ユニット」と呼びます。このユニットの組み合わせを変化させることで、ギターとピアノが組み合わさったような楽器や鍵盤の数が多いピアノなど、新しい演奏方法を持つ電子楽器を作ることができます。
Like LEGO with instruments
When playing acoustic instruments, music is produced by altering the pitch, strength, length or timbre of sounds through different playing techniques. In contrast, electronic instruments imitate the playing techniques of acoustic instruments then use sensors or buttons to input pitch, strength, length or timbre of notes into a computer which interprets these signals and outputs sound. In Unit Instruments, the results of disassembling the input parts of various electronic instruments into individual components are called `units’. By altering the combination of these units, electronic instruments affording new playing techniques can be created, such as an instrument that is a combination of a guitar and a piano, or a piano with additional keyboards.
Painted Musical Instrument
楽器になる絵
絵楽器は、紙の上に描くだけで、簡単に好きな電子楽器を作れる装置です。普段，私たちは世の中にすでにあたりまえに存在する楽器を利用しますが、もしまだこの世のどこにもないオリジナルの楽器を簡単に作れるようになれば、夢が広がります。例えば、自分の体のサイズにあった楽器を手軽に作ることができ、これにより演奏の難しい箇所を難なく弾けるようになったり、もっと表現豊かに演奏できるようになるかもしれません。さらには、絵楽器装置を応用すると、紙だけでなく、階段・椅子・ドアノブ・手すりなど、家の中のモノをすべて楽器にしてしまうことも夢ではありません。50 年後や100 年後の未来に広く使われている楽器は，楽器のことを熟知した専門家ではなく、子どもたちや演奏経験のない人たちがなにげなくデザインした楽器になっているのかもしれません。
Painted musical instrument
Illustrated Musical Instrument is a device that enables you to create any kind of electronic instrument you like, simply by drawing on paper. Usually, we use instruments that already ordinarily exist in the world, but if we were able simply to create original instruments that do not yet exist anywhere in the world, our dreams would expand. For example, you could easily make an instrument suited to your own body size, which might allow you to play difficult parts of music with ease, or play with a greater range of expression. Besides this, when you apply the Illustrated Musical Instrument device, being able to turn a staircase, chair, doorknob, handrail, or any household item, into an instrument need not be a mere dream. 50 or 100 years in the future, the instruments most widely used may not be those designed by well-informed instrument experts, but those casually designed by children or people with no musical experience.
e2 mask
表情豊かなお面
e2 マスクにはディスプレイ、カメラ、マイクがついています。e2 マスクをつけた人側のディスプレイには、話し相手の顔が映し出されます。話し相手側のディスプレイは、e2 マスクをつけた人の顔がアバター（キャラクター）に変えられて表示されます。この時、マスクをつけている人の目線や表情もアバターに反映されます。また、ボイスチェンジ機能も付いているので、アバターに合わせた声に変えることで、よりそのアバターになりきることができます。
Expressive face mask
The e2 mask has display screens, a camera and microphone attached. The display facing the user wearing the mask shows the face of the person to whom the user is talking. The display facing the other person shows the face of the mask-wearer, transformed into an avatar (character). At this time, the gaze and facial expression of the mask-wearer are reflected onto the avatar. In addition, thanks to the mask’s voice-changer function, the wearer can become even more like the avatar, by altering his/her voice to suit it.
Wearable Piano Illuminated Piano
ピアニストのための新表現・新体験
着るピアノは、ピアノがワンピースにデザインとしてあしらわれているだけではありません。本当に鍵盤から音がでます。光るピアノは、着るピアノの演奏にあわせて、ドレスがファッショナブルに光ります。日常生活を音楽で彩るそんな未来もアリじゃないでしょうか?!
New form of expression and experience for pianists
Wearable Piano is not just a piano that has been turned into a dress. The keyboard really produces sound. With Illuminated Piano, the dress lights up attractively in time to the playing of Wearable Piano. A future where you can color your daily life with music? It could be just around the corner!
Airstic Drum
リアルとバーチャルのハイブリッド・ドラム
様々な場所へ出掛けて演奏をしようとしたときに、ドラムセットは大きく、重たいため大変です。スティックにセンサを付けてエアドラムのように演奏できる電子ドラムを使えば、どこにでも出掛けて行って演奏することができます。しかし、ドラムには打面があるからこその演奏方法がたくさんあるため、この方法ではどんな曲でも自由に演奏できるというわけにはいきません。そこで、ドラムセットでよく使う楽器のみ打面を用意し、あまり使われない楽器はエアドラムのように演奏できるAirstic Drum の登場です。Airstic Drum はどこにでも簡単に持っていけて質の高いパフォーマンスが可能な、リアルとバーチャルのハイブリッド・ドラムなのです。
A hybrid drum combining the real and the virtual
When it comes to travelling to perform in various places, transporting a large and heavy drum kit is problematic. Using an electric drum, comprising sensors attached to drumsticks so that the performer can play as on an `air drum’, allows a performer to go out and perform anywhere. However, as drumming involves many techniques that can only be performed using the actual surface of a drum, it cannot be said that the electric drum allows the user freely to perform any piece of music. This is where Airtstic Drum comes in. Airstic Drum provides a surface to act as the parts of the drum kit that are often used, while those parts less frequently used are recreated with the electric drumsticks. This is a hybrid of the real and the virtual that makes it possible to take the drum anywhere and deliver high quality performance.
ポップアップテスト