e2マスク

表情豊かなお面

e2 マスクにはディスプレイ、カメラ、マイクがついています。e2 マスクをつけた人側のディスプレイには、話し相手の顔が映し出されます。話し相手側のディスプレイは、e2 マスクをつけた人の顔がアバター（キャラクター）に変えられて表示されます。この時、マスクをつけている人の目線や表情もアバターに反映されます。また、ボイスチェンジ機能も付いているので、アバターに合わせた声に変えることで、よりそのアバターになりきることができます。

詳細はこちら

Multimodal Teacher

Teaching through a variety of methods

When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.

Teacher who Doesn’t Overlook the Little Things

Advice from a viewpoint you cannot see with your own eyes

When you go to have piano lessons, the teacher has to consider not only score reading and practise method, but also fingering, posture and even your musical way of thinking. However, there is a limit to the area that a single teacher can look at. In particular, paying attention to every minute movement and placement of the fingers is very difficult. `Teacher who doesn’t overlook the little things’ scrutinizes your piano practise from viewpoints from which the teacher cannot, and gives advice. Of course, this concept is not limited to learning the piano. The system could watch over practice of other instruments and sports from every angle, to support progression.

Teacher who Deliberately Overlooks, or even Covers up, Your Mistakes

To keep learners motivated

Acquirement of skills that use the body takes a long time. Noticing mistakes is the first step to achieving correct movement. A ‘computer teacher’ can unfailingly notice even slight mistakes made by learners. However, if all these mistakes are pointed out to learners, they will feel they are always being criticized and come to loathe practice. ‘Teacher who deliberately overlooks mistakes’ selects the mistakes that will be pointed out to learners, based on their proficiency levels. Furthermore, the system covers up certain mistakes, for example, by outputting the correct sound from a piano even when an incorrect key has been pressed. But you worry about whether you can actually improve by practicing in this way, don’t you? Don’t worry. You will improve.

Detailed information

Smart Bowling Ball

Perceptive bowling ball

To become good at bowling, it is necessary to consider various factors, such as approach, form and the speed and number of rotations of the ball. However, it is impossible to grasp exactly what state the ball is in once it has been bowled. Smart Bowling Ball has several sensors embedded in it, endowing it with sensory information. By reading the information recorded by the ball, such as speed and rotation, it is possible to confirm the status of the ball after bowling, in more detail and in numerical values. Perhaps we will see a future in which the ball itself gives you advice on your bowling.

Score Gazing

The eyes don’t lie

You may not find it difficult, when sat next to someone who is playing the piano, to follow his place on the score with your eyes. However, when a computer system tries to do the same thing it is not so straightforward. Playing tempo changes constantly according to expression, and there are times when a note may not be played or a mistake made. In practise the player may also miss out difficult parts and repeatedly practice the same places. By using not only sound and input to the musical instrument, but also combining these with gaze information, the score gazing system follows the score as though it is right beside the player, to support performance.

AIdoridesu7 (AI Switcher)

“Switching” manipulating multiple cameras

In a live television broadcast, footage is taken with various cameras and the image aired is simultaneously decided by choosing the optimum camera image from among these. The task of choosing between these camera shots is called `switching’. Switching is work carried out by professional `switchers’, based on their experience and know-how, and is very difficult for amateurs. However, it is thanks to this process that even live video is easy for viewers to comprehend. AIdoridesu7 is the name of a switching support system. Essentially it is a system to assist amateurs with the difficult task of switching. The results of a survey showed that experienced switchers take occurrences (events) in video as hints for selecting and switching between camera images. Therefore, AIdoridesu7 provides a function for automatic detection of events and an event-based interface that is simple to operate even for beginners, enabling any person to broadcast optimum images easily.

マルチモーダルな先生

いろんな教え方で教えてくれる

スポーツや楽器演奏、料理などの身体を使った技能を覚える時、本では文字や図などの視覚表現から学ぶしかありません。講座や教室に行けば先生に教わることが出来ますが、「マルチモーダルな先生」は視覚と聴覚と触覚など、いくつかの要素を組み合わせて提示することで、より豊かに、体験的に技能を習得することができます。

詳細はこちら

見つめ合う私と楽譜

視線はウソをつかない

楽器を演奏している人の隣で一緒に楽譜の演奏箇所を目で追うことは、あなたにとってそれほど難しい事ではないかも知れません。しかし、システムが同じことをしようとすると一筋縄では行きません。演奏のテンポは表現によって常に変化し、時には演奏されない音や、ミスをすることもあります。練習では苦手なところだけを抜き出して、同じ箇所を繰り返し演奏することもあります。Score Gazing は音や楽器への入力だけでなく、視線の情報を組み合わせることで、演奏箇所を確実に推定します。

詳細はこちら

スマートボウリングボール

知覚するボウリングのボール

ボウリングが上手になるためには助走やフォーム、ボールの速度や回転数など様々な要素について考えなければなりません。しかし、投げた後のボールがどのような状態にあるのかを完全に把握することはできません。Smart Bowling ball には複数のセンサーを埋め込み、ボールに知覚情報を与えました。ボールに記録された速度、回転などの情報を読み取ることで、投球後のボールの状態をより詳しく、数値で確認することができます。ボール自身が投球についてアドバイスをしてくれるような未来も訪れるかもしれません。

詳細はこちら

ダンス楽器とプロジェクションダンス

ダンサーのための新表現

ダンス楽器は、ダンサーの新しい表現ツールです。ブレイクダンスではダンスバトルといって互いのダンスを表現で競い合います。ダンス楽器はBGMに合わせて、かっこいい効果音をダンスしながらタイミングよくだします。プロジェクションダンスはかっこいい映像効果を出します。「ここっ！」というタイミングで効果音や映像効果を出す、これに実はすごい技術が使われているのです。

詳細情報

ダンシング楽器

ダンスパフォーマンスのための映像効果制御

Stone Recorder

Turning curling stones into science

Often called `chess on ice’, curling is known to be a competitive sport that is extrememly tactical. However, how the stones used in the sport will move on the ice, and the physical mechanism involved, have yet to be made clear. StoneRecorder uses infrared LEDs and an infrared camera to record the movement of stones and displays their trajectories on the rink, using projection mapping. Making it possible to visualize or predict the trajectory of the stones could change both tactics and practise, and even the nature of spectation.

Wearable Projector

Projection Mapping anytime, anywhere

The days when projectors were heavy and large are long gone. You can already buy a projector that fits in the palm of your hand; and surely projectors will just continue to get smaller and cheaper. Wearable Projector can be attached to your wrist, shoulder, waist and various other body parts, to display information on all kinds of surface, such as walls or floors. What’s more, you can display stable images even while walking, so there are countless ways to use it. For example, when walking through an unknown town with a friend, you can project a map while you walk, or even play games on the go.

Detailed information

Projection Piano

The shortcut to piano mastery

To become able to play the piano, there are many hurdles to overcome, such as learning to read music, practicing fingering and maintaining rhythm, and learning how to apply strength when pressing the keys. Furthermore, it is very hard to learn these skills alone, causing some players to become disheartened partway through. Projection Piano is the answer to such a problem. Projection Piano is designed to reduce the hurdles that tend to trip up people starting to learn the piano and make piano practice fun. By practicing with Projection Piano, a player should be able to enjoy mastering the piano without becoming disheartened along the way.

Detailed information

Unit Instruments

Like LEGO with instruments

When playing acoustic instruments, music is produced by altering the pitch, strength, length or timbre of sounds through different playing techniques. In contrast, electronic instruments imitate the playing techniques of acoustic instruments then use sensors or buttons to input pitch, strength, length or timbre of notes into a computer which interprets these signals and outputs sound. In Unit Instruments, the results of disassembling the input parts of various electronic instruments into individual components are called `units’. By altering the combination of these units, electronic instruments affording new playing techniques can be created, such as an instrument that is a combination of a guitar and a piano, or a piano with additional keyboards.

Detailed information

UnitKeyboard: An Easily Configurable Compact Clavier

UnitInstruments: Easy Configurable Musical Instruments

Airstic Drum

A hybrid drum combining the real and the virtual

When it comes to travelling to perform in various places, transporting a large and heavy drum kit is problematic. Using an electric drum, comprising sensors attached to drumsticks so that the performer can play as on an `air drum’, allows a performer to go out and perform anywhere. However, as drumming involves many techniques that can only be performed using the actual surface of a drum, it cannot be said that the electric drum allows the user freely to perform any piece of music. This is where Airtstic Drum comes in. Airstic Drum provides a surface to act as the parts of the drum kit that are often used, while those parts less frequently used are recreated with the electric drumsticks. This is a hybrid of the real and the virtual that makes it possible to take the drum anywhere and deliver high quality performance.

Detailed information

Projection Mapping LED

The possibility to produce light displays on even bumpy surfaces

It is very difficult to project onto, for example, a Christmas tree, which is has an uneven surface and is not white. There are LED cables that can be wrapped around a Christmas tree, aren’t there? With these, it is easy to make all the lights shine or flash, but, when it comes to creating a pattern, things get a lot more complicated. Projection Mapping LEDs are hi-tech LEDs with sensors that detect the color of light from a projector. By lighting up only the LEDs that the light from a certain specialized projector has shone on, you can make a pattern appear.

Detailed information

Baatarina

Support for finding your position in stage performance

A dancer or singer’s stage performance involves confirming his/her position on the stage in advance, during rehearsal. Performances will not necessarily always be given on the same stage. Stages come in all shapes and sizes and this greatly affects a performer’s position on the stage, especially in the case of dancers or singers. There are times when sufficient rehearsal time cannot be spent on confirming position. To enable a performer to check whether he/she is in the correct position, we attach an HMD (a glasses-type display). We support performance by displaying information on the HMD that allows the performer to confirm where he/she is on the stage and whether he/she is in the proper position.

Detailed information

Dance Instrument and Projection Dance

Dance Instrument and Projection Dance

Dance Instrument is a new expression tool for dancers. In breakdancing, dancers take part in dance battles in which opponents compete by demonstrating their dance skills. Dance Instrument plays impressive sound effects at appropriate moments during dance, in time with the BGM. Projection Dance produces slick visual effects. Producing sound effects and visual effects just at the right moment – there is actually an amazing technology behind that.

Detailed information

Design and Implementation of a Wearable Dancing Musical Instrument

A Visual Effects Management System Controlled by Performer’s Motion for Dance Performances

ユニット楽器

ブロックのように組み替えられる楽器

アコースティック楽器は音の高さや音の強さ、音の長さや音色などを演奏の仕方で変化させることで音楽を奏でます。一方、電子楽器はアコースティック楽器の演奏方法を真似してセンサやボタンで音の高さや音の強さ、音の長さや音色などを入力し、コンピュータがその信号を解釈して音を鳴らします。Unit Instruments では様々な電子楽器の入力部分を要素ごとに分解したものを「ユニット」と呼びます。このユニットの組み合わせを変化させることで、ギターとピアノが組み合わさったような楽器や鍵盤の数が多いピアノなど、新しい演奏方法を持つ電子楽器を作ることができます。

詳細情報

さまざまな演奏スタイルに適応可能なユニット鍵盤

楽器の機能要素を再構築可能なユニット楽器

プロジェクションピアノ

ピアノマスターへの近道

　ピアノが弾けるようになるには、楽譜を読む勉強や指使いの練習、リズムをとる練習、強弱のつけ方などたくさんの壁を突破しなければなりません。また、これらをひとりで練習するのはとても大変で、途中で心が折れてしまう人も多いはずです。

　こんな問題を解決するのが「プロジェクションピアノ」です。プロジェクションピアノは、ピアノの練習を始めた人がつまづきやすい壁をできるだけ減らし、楽しくピアノの練習ができるように設計されています。プロジェクションピアノで練習すれば、途中で挫折することなく楽しくピアノをマスターすることができるでしょう。

詳細はこちら

プロジェクションマッピングLED

凸凹面への光の演出を可能にする

例えばクリスマスツリーのように、凸凹していて、白くもないところにプロジェクションマッピングするのは大変です。クリスマスツリーに巻き付けるLEDのケーブルがありますよね。全体を光らせたり点滅させたりするのは簡単ですが、模様を出したりしようとすると途端に難しくなります。プロジェクションマッピングLEDは、LEDにプロジェクタの光の色を感知するセンサがついているちょっと高機能なLEDです。ある特定の色のプロジェクタの光があたったLEDだけ光らせることで、模様を浮かび上がらせます。

詳細はこちら

バアタリーナ

ステージパフォーマンスでの場当たり支援

ダンサーや歌手などステージパフォーマは、リハーサルにて場当たりというステージ上での立ち位置を確認します。公演はいつも同じステージであるわけではありません。ステージの形や大きさはさまざまですし、特にダンスや歌などステージ上で立ち位置が激しく変わります。リハーサルに十分な時間がかけられない場合もあります。自分が正しい位置にいるのか確認するためにHMD(メガネ型ディスプレイ）を着用します。自分がステージ上のどのあたりにいるのか、適切な位置はどこなのかを確認できる情報をHMDに表示することでパフォーマを支援します。

詳細はこちら

ウェアラブルプロジェクタ

いつでもどこでもプロジェクションマッピング

プロジェクタは重くて大きいものというのは一昔前のことです。手のひらサイズのプロジェクタはすでに販売されています。プロジェクタは小さく安価になっていくことでしょう。ウェアラブルプロジェクタは装着型プロジェクタで、手首・肩・腰などさまざまな身体の部位に装着でき、いつでもどこでも壁や床といったいろんな場所に情報を出せます。また、歩いているときでも安定して映像を出せるので、例えば、友達と知らない街を散策しているときに地図を一緒に見たり、歩きながらゲームをしたりとかいろんな使い方ができますね。

詳細はこちら

AI 撮りデスセブン

複数のカメラを操る「スイッチング」

　テレビのライブ中継では、たくさんのカメラを使って映像を撮りながら、状況に合わせて最適なカメラの映像を選びながら配信映像を決めています。その映像切替の作業を「スイッチング」といいます。これはプロの「スイッチャー」と呼ばれる人達が自分の経験やノウハウをもとに行う作業で、素人にはとてもむずかしい作業です。しかし、この工程があるおかげでライブ中継でも視聴者にわかりやすい映像になっています。

　AI 撮りデスセブンとは、スイッチング支援システムの名称です。本来は素人には難しい「スイッチング」を支援するシステムです。スイッチングの熟練者は、映像の出来事（イベント）を手がかりとして映像の選択・切替を行っているという調査結果をえました。AI 撮りデスセブンでは、イベントを自動検出する機能や、初心者でも簡単に操作できるイベントベースなインタフェースを提供することで、だれでも簡単に最適な映像を配信することができます。

詳細はこちら

エアスティックドラム

リアルとバーチャルのハイブリッド・ドラム

様々な場所へ出掛けて演奏をしようとしたときに、ドラムセットは大きく、重たいため大変です。スティックにセンサを付けてエアドラムのように演奏できる電子ドラムを使えば、どこにでも出掛けて行って演奏することができます。しかし、ドラムには打面があるからこその演奏方法がたくさんあるため、この方法ではどんな曲でも自由に演奏できるというわけにはいきません。そこで、ドラムセットでよく使う楽器のみ打面を用意し、あまり使われない楽器はエアドラムのように演奏できるAirstic Drum の登場です。Airstic Drum はどこにでも簡単に持っていけて質の高いパフォーマンスが可能な、リアルとバーチャルのハイブリッド・ドラムなのです。

詳細はこちら

細かいところまで見逃さない先生

目で見えない視点からのアドバイス

ピアノを習いに行けば、先生は楽譜の読み方や練習の仕方だけでなく、指使いや姿勢、さらには音楽的な考え方まで教えてくれるかもしれません。しかし、一人の先生が見ることのできる範囲には限度があります。特に、ほんの些細な指の動かし方や置き方にまで注目することは大変です。「細かいところまで見逃さない先生」はピアノの先生が見ることのできない視点からあなたの練習をじっと見守り、アドバイスをくれます。もちろん、これはピアノに限った話ではありません。他の楽器やスポーツでも同じようにあらゆる視点からあなたの練習を見守り、上達を支えてくれるのです。

詳細はこちら

ストーンレコーダー

カーリングストーンを科学する

「氷上のチェス」とも呼ばれるカーリングは非常に戦略性の高い競技として知られています。しかし、競技に使われるストーンが氷上でどんな動きをするのか、その力学的なメカニズムは解明されていません。StoneRecorder は赤外線LED と赤外線カメラを用いてストーンの動きを記録し、リンク上にその軌跡をプロジェクション・マッピングします。軌跡の可視化や予測ができるようになると、 戦略も 練習も、鑑賞の仕方さえも変わっていくかもしれません。

詳細はこちら

スマートボウリングボール

Smart Bowling ball

知覚するボウリングのボール

ボウリングが上手になるためには助走やフォーム、ボールの速度や回転数など様々な要素について考えなければなりません。しかし、投げた後のボールがどのような状態にあるのかを完全に把握することはできません。Smart Bowling ball には複数のセンサーを埋め込み、ボールに知覚情報を与えました。ボールに記録された速度、回転などの情報を読み取ることで、投球後のボールの状態をより詳しく、数値で確認することができます。ボール自身が投球についてアドバイスをしてくれるような未来も訪れるかもしれません。

Perceptive bowling ball

To become good at bowling, it is necessary to consider various factors, such as approach, form and the speed and number of rotations of the ball. However, it is impossible to grasp exactly what state the ball is in once it has been bowled. Smart Bowling Ball has several sensors embedded in it, endowing it with sensory information. By reading the information recorded by the ball, such as speed and rotation, it is possible to confirm the status of the ball after bowling, in more detail and in numerical values. Perhaps we will see a future in which the ball itself gives you advice on your bowling.

ダンス楽器とプロジェクションダンス

Dance Instrument and Projection Dance

ダンサーのための新表現

ダンス楽器は、ダンサーの新しい表現ツールです。ブレイクダンスではダンスバトルといって互いのダンスを表現で競い合います。ダンス楽器はBGMに合わせて、かっこいい効果音をダンスしながらタイミングよくだします。プロジェクションダンスはかっこいい映像効果を出します。「ここっ！」というタイミングで効果音や映像効果を出す、これに実はすごい技術が使われているのです。

Dance Instrument and Projection Dance

Dance Instrument is a new expression tool for dancers. In breakdancing, dancers take part in dance battles in which opponents compete by demonstrating their dance skills. Dance Instrument plays impressive sound effects at appropriate moments during dance, in time with the BGM. Projection Dance produces slick visual effects. Producing sound effects and visual effects just at the right moment – there is actually an amazing technology behind that.

マルチモーダルな先生

Multimodal teacher

いろんな教え方で教えてくれる

スポーツや楽器演奏、料理などの身体を使った技能を覚える時、本では文字や図などの視覚表現から学ぶしかありません。講座や教室に行けば先生に教わることが出来ますが、「マルチモーダルな先生」は視覚と聴覚と触覚など、いくつかの要素を組み合わせて提示することで、より豊かに、体験的に技能を習得することができます。

Teaching through a variety of methods

When learning skills that use the body, such as sport, playing a musical instrument, or cookery, in books there is no choice but to learn from visual expression such as text and diagrams. If you attend lectures or classes you can learn from a teacher, but with `Multimodal Teacher’ you can learn skills through experiences, more richly, thanks to a teaching presentation style produced by the combination of several components, such as sight, sound and touch.

愛をもって嘘をつく先生

Teacher who lies, out of love

支援システム( 先生) から卒業するために

運動や音楽などの技能を習得するために手助けするシステムはたくさんありますが、その便利なシステムからいつかは自立し、自分一人で出来るようにならなければいけません。「愛を持って嘘をつく先生」はそんな支援システム( 先生) から卒業することを手助けしてくれます。多くの支援システム( 先生) は正しい方法を教えてくれますが、教えてくれた通りにできるようになったら敢えて嘘をつくようになるのです。嘘をつかれると、だんだん支援システム( 先生) のことを疑うようになります。最後は支援システム( 先生) の嘘に惑わされず、自立できるようになります。

For graduation from the support system (teacher)

There are many systems to aid with the acquisition of skills in sport, music and so on, but at some point you have to become independent of the system and able to perform skills by yourself. ‘Teacher who lies, out of love’ helps you to graduate from this kind of support system (the teacher). The majority of support systems (teachers) teach the correct way of doing something, but this system begins to tell lies once the user has learned to perform a skill as taught. Being lied to causes the user gradually to come to mistrust the system (teacher). Finally the user is no longer misled by the system’s (teacher’s) lies, and can become independent.

細かいところまで見逃さない先生

Teacher who doesn’t overlook the little things

目で見えない視点からのアドバイス

ピアノを習いに行けば、先生は楽譜の読み方や練習の仕方だけでなく、指使いや姿勢、さらには音楽的な考え方まで教えてくれるかもしれません。しかし、一人の先生が見ることのできる範囲には限度があります。特に、ほんの些細な指の動かし方や置き方にまで注目することは大変です。「細かいところまで見逃さない先生」はピアノの先生が見ることのできない視点からあなたの練習をじっと見守り、アドバイスをくれます。もちろん、これはピアノに限った話ではありません。他の楽器やスポーツでも同じようにあらゆる視点からあなたの練習を見守り、上達を支えてくれるのです。

Advice from a viewpoint you cannot see with your own eyes

When you go to have piano lessons, the teacher has to consider not only score reading and practise method, but also fingering, posture and even your musical way of thinking. However, there is a limit to the area that a single teacher can look at. In particular, paying attention to every minute movement and placement of the fingers is very difficult. `Teacher who doesn’t overlook the little things’ scrutinizes your piano practise from viewpoints from which the teacher cannot, and gives advice. Of course, this concept is not limited to learning the piano. The system could watch over practice of other instruments and sports from every angle, to support progression.

あえてミスを見逃し、ミスをなかったことにしてくれる先生

Teacher who deliberately overlooks, or even covers up, your mistakes

学習者のやる気をキープするために

身体を使った技能の習得には長い時間がかかります。また、ミスに気づくことは、正しい動きを習得する第一歩です。コンピュータの先生はもれなく、学習者のちょっとしたミスにも気づくことができます。ただ、そのミスのすべてを学習者に伝えると、学習者は怒られてばっかりで練習が嫌になってしまうでしょう。あえてミスを見逃す先生は、学習者の上達度合いに応じて学習者に伝えるミスを選択します。しかも、ミスをなかったことに、例えば、ピアノで間違った鍵を押したとしても正しい音を出します。こんな調子で練習してはたしてうまくなるのか心配になりますよね。心配ありません。ちゃんと上手になっていきます。

To keep learners motivated

Acquirement of skills that use the body takes a long time. Noticing mistakes is the first step to achieving correct movement. A ‘computer teacher’ can unfailingly notice even slight mistakes made by learners. However, if all these mistakes are pointed out to learners, they will feel they are always being criticized and come to loathe practice. ‘Teacher who deliberately overlooks mistakes’ selects the mistakes that will be pointed out to learners, based on their proficiency levels. Furthermore, the system covers up certain mistakes, for example, by outputting the correct sound from a piano even when an incorrect key has been pressed. But you worry about whether you can actually improve by practicing in this way, don’t you? Don’t worry. You will improve.

たとえ表現が上手な先生

Teacher with a knack for analogy

日常の動きに例えて教えてくれる

スポーツや楽器演奏など、日常生活とは違う身体の使い方をする時、どうしたら出来るようになるのかイメージすることは難しいでしょう。「たとえ表現が上手な先生」はイメージしにくい身体の使い方を日常の動作に例えて教えてくれます。日常のあらゆる動作をインプットしておくことで、プロの動作と最も近い身体の使い方をしている日常の動作を教えてくれます。自分にとって日常のどんな動作が近いのかを知ることで、スポーツや楽器演奏の上達がずっと早くなるのです。

Teaching through comparison to daily movements

In sport or playing instruments, when using the body in a different way from in everyday life, it can be difficult to visualize what you need to do to master certain skills. `Teacher with a knack for analogy’, uses comparison to everyday actions to teach those ways of usng the body that are difficult to visualize. By inputting all kinds of everyday action, this system can tell you the daily action in which the way you use your body is closest to the action of a professional. When you learn which of your everyday actions is similar to the action of a pro, you can more rapidly become competent at a sport or an instrument.

予測が得意な先生

Teacher who is good at prediction

どのくらい練習すればできますか？

先の見えない練習や勉強は時に辛く苦しいものです。特に、練習しても技術が上がらないような時期やスランプに不安を感じた経験は誰しもが持っているのではないでしょうか？　「予測が得意な先生」は現状の練習成果やテストの結果を見せるだけで、その後どのように上達していくのかを膨大な過去の記録から予測してくれます。あとこのくらい練習すれば、勉強すれば達成できるのだという将来への展望が辛い時期を乗り切る糧となってくれることでしょう。

How much do I need to practise to improve?

Practise or study with no end in sight is hard and frustrating. Doubtless everyone has experienced a period during which their skills do not improve even though they practice, or of feeling uncertain during a slump in progress. Simply by being shown current practise outcomes, test results etc., `Teacher who is good at prediction’ estimates how a person will progress in future, from a vast amount of past records. The future prospect of improving if you practise this much, study this much, becomes an incentive to overcome the difficult periods.

見つめ合う私と楽譜

Score Gazing

視線はウソをつかない

楽器を演奏している人の隣で一緒に楽譜の演奏箇所を目で追うことは、あなたにとってそれほど難しい事ではないかも知れません。しかし、システムが同じことをしようとすると一筋縄では行きません。演奏のテンポは表現によって常に変化し、時には演奏されない音や、ミスをすることもあります。練習では苦手なところだけを抜き出して、同じ箇所を繰り返し演奏することもあります。Score Gazing は音や楽器への入力だけでなく、視線の情報を組み合わせることで、演奏箇所を確実に推定します。

The eyes don’t lie

You may not find it difficult, when sat next to someone who is playing the piano, to follow his place on the score with your eyes. However, when a computer system tries to do the same thing it is not so straightforward. Playing tempo changes constantly according to expression, and there are times when a note may not be played or a mistake made. In practise the player may also miss out difficult parts and repeatedly practice the same places. By using not only sound and input to the musical instrument, but also combining these with gaze information, the score gazing system follows the score as though it is right beside the player, to support performance.

ストーンレコーダー

Strone Recorder

カーリングストーンを科学する

「氷上のチェス」とも呼ばれるカーリングは非常に戦略性の高い競技として知られています。しかし、競技に使われるストーンが氷上でどんな動きをするのか、その力学的なメカニズムは解明されていません。StoneRecorder は赤外線LED と赤外線カメラを用いてストーンの動きを記録し、リンク上にその軌跡をプロジェクション・マッピングします。軌跡の可視化や予測ができるようになると、 戦略も 練習も、鑑賞の仕方さえも変わっていくかもしれません。

Turning curling stones into science

Often called `chess on ice’, curling is known to be a competitive sport that is extrememly tactical. However, how the stones used in the sport will move on the ice, and the physical mechanism involved, have yet to be made clear. StoneRecorder uses infrared LEDs and an infrared camera to record the movement of stones and displays their trajectories on the rink, using projection mapping. Making it possible to visualize or predict the trajectory of the stones could change both tactics and practise, and even the nature of spectation.

タブレット書写

Tablet Handwriting

タブレット上で毛筆を使って練習する書写

文字を綺麗に書くためには、正しい書き順や文字のバランスを意識して書かねばなりません。文字の来歴を学ぶ意味でも毛筆による書き取りの練習はとても有意義です。しかし、慣れない毛筆の扱いに加え、手本と見比べながらバランスや筆運びを意識しなければならないため、上手く書けているのか一見しただけではわかりません。タブレット書写は手本を表示したタブレットの上に半紙を乗せ、水をつけた筆で手本をなぞることで文字のバランスを学ぶことができます。書いた文字の採点も自動でしてくれるので、文字の上達を数値で実感できます。

Transcription in which a learner practices using a brush on a tablet

Instances of writing by hand are decreasing, but people still enjoy receiving handwritten letters and greetings cards. To write characters neatly, it is essential to consider the correct order of penstrokes and the balance of each character. Practising writing with a brush is worthwhile, even if just to learn the history of the characters. However, in addition to the difficulty of using a brush, which is probably unfamiliar, one must consider balance and brush control while comparing with a sample image. This makes it very difficult to tell, just by looking, whether or not the character is drawn correctly. In tablet calligraphy, the user can learn character balance by placing a piece of Japanese calligraphy paper over a tablet displaying an example character, and tracing with a brush dipped in water. Characters written are automatically assigned a score, enabling users to undertsand their progress in terms of a numerical value.

プロジェクションピアノ

Projection Piano

ピアノマスターへの近道

　ピアノが弾けるようになるには、楽譜を読む勉強や指使いの練習、リズムをとる練習、強弱のつけ方などたくさんの壁を突破しなければなりません。また、これらをひとりで練習するのはとても大変で、途中で心が折れてしまう人も多いはずです。

　こんな問題を解決するのが「プロジェクションピアノ」です。プロジェクションピアノは、ピアノの練習を始めた人がつまづきやすい壁をできるだけ減らし、楽しくピアノの練習ができるように設計されています。プロジェクションピアノで練習すれば、途中で挫折することなく楽しくピアノをマスターすることができるでしょう。

The shortcut to piano mastery

To become able to play the piano, there are many hurdles to overcome, such as learning to read music, practicing fingering and maintaining rhythm, and learning how to apply strength when pressing the keys. Furthermore, it is very hard to learn these skills alone, causing some players to become disheartened partway through. Projection Piano is the answer to such a problem. Projection Piano is designed to reduce the hurdles that tend to trip up people starting to learn the piano and make piano practice fun. By practicing with Projection Piano, a player should be able to enjoy mastering the piano without becoming disheartened along the way.

消去指向なイラスト描画方法

Erasure-oriented Illustration Method

急がば回れ的技能の習得

このエッセンスを技能の習得（イラストの描画）に応用するとどうなるでしょうか？その一例として，イラストを描くときに「消すこと」を織り込んで描くという消去指向なイラスト描画方法を考えました．具体的には，UFOのような形を描くときに2つの楕円を描いてからいらない箇所を消すという具合です．どうでしょう？UFOの形をそのまま描くより，うまく描けませんか？この描画方法を使いこなせるようになると，もっと複雑なイラストをキレイに描けるようになるのです．ちょっと回り道をすることで，もっと楽に簡単にできるようになる．こんな方法もアリだと思いませんか．

Slow and steady wins the race when it comes to skill acquirement

There is a saying (slow and steady wins the race) which means that, if you want to hurry, you can sometimes get there more quickly in the end by taking the long way round. What happens if we apply the essence of this to skill acquisition (Illustration)? As an example, we considered an erasure-oriented illustration method, which incorporates the idea of ‘erasing’ as you draw. In actual practice this means, when drawing a shape like a UFO, for example, simply drawing two overlapping circles then erasing the unneeded parts. How does that sound? Don’t you think you could draw better that way than by trying to draw the shape of a UFO as it is? When you master this illustration method, you become able to draw more complex illustrations, skillfully. By taking the long way round, you are able to draw more easily and simply. Sounds like a pretty good method, don’t you think?

声量コントローラー

Voice Loudness Controller

声のボリュームダイアル

　人間は、自分の耳で聞いた自分の声の大きさから、自分の声がどれだけ周りに届いているのかを判断します。そこで聞こえた自分の声が小さければ大きく話そうと調整し、大きすぎれば小さい声で話すように調整します。実際に相手の耳でどのように聞こえているかはわからないため、自分の声で判断しています。

　声量コントローラーは、「声のボリュームダイヤル」を調整することで声の大きさを変えてしまう装置です。マイクから声を取り込んで、耳に届く声の大きさを変化させることでコントロールします。声のボリュームダイヤルを回すことで、ヘッドホンから聞こえる自分の声の大きさが変わるので、その人の声の大きさをコントロールすることができます。声の大きさが目で見えるように、声のボリュームモニターに自分の声量が表示されます。

A vocal volume dial

From the way they hear their own voices with their own ears, humans judge how far their voices are carrying. Accordingly, if the voice sounds quiet the speaker will adjust by trying to talk more loudly, while if the voice sounds too loud the speaker will try to talk more quietly. A person cannot tell how someone to whom he is speaking actually hears him, thus he judges by his own voice. Voice Loudness Controller is a device for changing voice loudness by adjusting the user’s `voice volume dial’. This is done by capturing the user’s voice with a microphone then altering the loudness of the voice that is fed back to the user’s ears. Turning the voice volume dial changes the loudness of the voice heard through the headphones, allowing the user’s voice to be controlled. Vocal volume is displayed on a voice volume monitor, so that the user can see the loudness of his voice with his own eyes.

プロジェクションマッピングLED

Projection Mapping LED

凸凹面への光の演出を可能にする

例えばクリスマスツリーのように、凸凹していて、白くもないところにプロジェクションマッピングするのは大変です。クリスマスツリーに巻き付けるLEDのケーブルがありますよね。全体を光らせたり点滅させたりするのは簡単ですが、模様を出したりしようとすると途端に難しくなります。プロジェクションマッピングLEDは、LEDにプロジェクタの光の色を感知するセンサがついているちょっと高機能なLEDです。ある特定の色のプロジェクタの光があたったLEDだけ光らせることで、模様を浮かび上がらせます。

The possibility to produce light displays on even bumpy surfaces

It is very difficult to project onto, for example, a Christmas tree, which is has an uneven surface and is not white. There are LED cables that can be wrapped around a Christmas tree, aren’t there? With these, it is easy to make all the lights shine or flash, but, when it comes to creating a pattern, things get a lot more complicated. Projection Mapping LEDs are hi-tech LEDs with sensors that detect the color of light from a projector. By lighting up only the LEDs that the light from a certain specialized projector has shone on, you can make a pattern appear.

バアタリーナ

Baatarina

ステージパフォーマンスでの場当たり支援

ダンサーや歌手などステージパフォーマは、リハーサルにて場当たりというステージ上での立ち位置を確認します。公演はいつも同じステージであるわけではありません。ステージの形や大きさはさまざまですし、特にダンスや歌などステージ上で立ち位置が激しく変わります。リハーサルに十分な時間がかけられない場合もあります。自分が正しい位置にいるのか確認するためにHMD(メガネ型ディスプレイ）を着用します。自分がステージ上のどのあたりにいるのか、適切な位置はどこなのかを確認できる情報をHMDに表示することでパフォーマを支援します。

Support for finding your position in stage performance

A dancer or singer’s stage performance involves confirming his/her position on the stage in advance, during rehearsal. Performances will not necessarily always be given on the same stage. Stages come in all shapes and sizes and this greatly affects a performer’s position on the stage, especially in the case of dancers or singers. There are times when sufficient rehearsal time cannot be spent on confirming position. To enable a performer to check whether he/she is in the correct position, we attach an HMD (a glasses-type display). We support performance by displaying information on the HMD that allows the performer to confirm where he/she is on the stage and whether he/she is in the proper position.

ウェアラブルプロジェクタ

Wearable Projector

いつでもどこでもプロジェクションマッピング

プロジェクタは重くて大きいものというのは一昔前のことです。手のひらサイズのプロジェクタはすでに販売されています。プロジェクタは小さく安価になっていくことでしょう。ウェアラブルプロジェクタは装着型プロジェクタで、手首・肩・腰などさまざまな身体の部位に装着でき、いつでもどこでも壁や床といったいろんな場所に情報を出せます。また、歩いているときでも安定して映像を出せるので、例えば、友達と知らない街を散策しているときに地図を一緒に見たり、歩きながらゲームをしたりとかいろんな使い方ができますね。

Projection Mapping anytime, anywhere

The days when projectors were heavy and large are long gone. You can already buy a projector that fits in the palm of your hand; and surely projectors will just continue to get smaller and cheaper. Wearable Projector can be attached to your wrist, shoulder, waist and various other body parts, to display information on all kinds of surface, such as walls or floors. What’s more, you can display stable images even while walking, so there are countless ways to use it. For example, when walking through an unknown town with a friend, you can project a map while you walk, or even play games on the go.

AI 撮りデスセブン

AIdoridesu7 (AI Switcher)

複数のカメラを操る「スイッチング」

　テレビのライブ中継では、たくさんのカメラを使って映像を撮りながら、状況に合わせて最適なカメラの映像を選びながら配信映像を決めています。その映像切替の作業を「スイッチング」といいます。これはプロの「スイッチャー」と呼ばれる人達が自分の経験やノウハウをもとに行う作業で、素人にはとてもむずかしい作業です。しかし、この工程があるおかげでライブ中継でも視聴者にわかりやすい映像になっています。

　AI 撮りデスセブンとは、スイッチング支援システムの名称です。本来は素人には難しい「スイッチング」を支援するシステムです。スイッチングの熟練者は、映像の出来事（イベント）を手がかりとして映像の選択・切替を行っているという調査結果をえました。AI 撮りデスセブンでは、イベントを自動検出する機能や、初心者でも簡単に操作できるイベントベースなインタフェースを提供することで、だれでも簡単に最適な映像を配信することができます。

“Switching” manipulating multiple cameras

In a live television broadcast, footage is taken with various cameras and the image aired is simultaneously decided by choosing the optimum camera image from among these. The task of choosing between these camera shots is called `switching’. Switching is work carried out by professional `switchers’, based on their experience and know-how, and is very difficult for amateurs. However, it is thanks to this process that even live video is easy for viewers to comprehend. AIdoridesu7 is the name of a switching support system. Essentially it is a system to assist amateurs with the difficult task of switching. The results of a survey showed that experienced switchers take occurrences (events) in video as hints for selecting and switching between camera images. Therefore, AIdoridesu7 provides a function for automatic detection of events and an event-based interface that is simple to operate even for beginners, enabling any person to broadcast optimum images easily.

ポケレポGO

Pokerepo GO

持ち歩けるテレビ局

テレビ番組などの映像を作るにはたくさんの人と時間が必要です。どんな映像を撮るのか、何を撮るのか、どう見せるのかを決める編集会議に始まり、撮影のための下調べや準備、撮影、編集、さらにコメントを重ねるならばスタジオ収録も必要になります。また撮影には、色々な機材や指揮を撮る人、カメラを回す人、音声を撮る人など、多くの物と人が必要になります。ポケレポ GO はそんな映像制作を一人でこなすための道具です。ポケレポGO 一つで映像の撮影と編集が一度にできます。

A portable TV station

Creating footage for TV programs etc. requires a lot of people and time. There are many necessary processes, beginning with an editors’meeting to decide what kind of footage to take, what to film and how to present it; then research and preparation, filming, editing, and, in the case of any narration or voiceover, studio recording. Furthermore, filming involves various equipment and many people, such as someone to direct, someone to operate the camera and someone to record sound. Pokerepo GO is a tool to enable this kind of video to be created by one person. Filming and editing can be performed simultaneously with a single Pokerepo GO unit.

ユニット楽器

Unit Instruments

ブロックのように組み替えられる楽器

アコースティック楽器は音の高さや音の強さ、音の長さや音色などを演奏の仕方で変化させることで音楽を奏でます。一方、電子楽器はアコースティック楽器の演奏方法を真似してセンサやボタンで音の高さや音の強さ、音の長さや音色などを入力し、コンピュータがその信号を解釈して音を鳴らします。Unit Instruments では様々な電子楽器の入力部分を要素ごとに分解したものを「ユニット」と呼びます。このユニットの組み合わせを変化させることで、ギターとピアノが組み合わさったような楽器や鍵盤の数が多いピアノなど、新しい演奏方法を持つ電子楽器を作ることができます。

Like LEGO with instruments

When playing acoustic instruments, music is produced by altering the pitch, strength, length or timbre of sounds through different playing techniques. In contrast, electronic instruments imitate the playing techniques of acoustic instruments then use sensors or buttons to input pitch, strength, length or timbre of notes into a computer which interprets these signals and outputs sound. In Unit Instruments, the results of disassembling the input parts of various electronic instruments into individual components are called `units’. By altering the combination of these units, electronic instruments affording new playing techniques can be created, such as an instrument that is a combination of a guitar and a piano, or a piano with additional keyboards.

絵楽器

Painted Musical Instrument

楽器になる絵

絵楽器は、紙の上に描くだけで、簡単に好きな電子楽器を作れる装置です。普段，私たちは世の中にすでにあたりまえに存在する楽器を利用しますが、もしまだこの世のどこにもないオリジナルの楽器を簡単に作れるようになれば、夢が広がります。例えば、自分の体のサイズにあった楽器を手軽に作ることができ、これにより演奏の難しい箇所を難なく弾けるようになったり、もっと表現豊かに演奏できるようになるかもしれません。さらには、絵楽器装置を応用すると、紙だけでなく、階段・椅子・ドアノブ・手すりなど、家の中のモノをすべて楽器にしてしまうことも夢ではありません。50 年後や100 年後の未来に広く使われている楽器は，楽器のことを熟知した専門家ではなく、子どもたちや演奏経験のない人たちがなにげなくデザインした楽器になっているのかもしれません。

Painted musical instrument

Illustrated Musical Instrument is a device that enables you to create any kind of electronic instrument you like, simply by drawing on paper. Usually, we use instruments that already ordinarily exist in the world, but if we were able simply to create original instruments that do not yet exist anywhere in the world, our dreams would expand. For example, you could easily make an instrument suited to your own body size, which might allow you to play difficult parts of music with ease, or play with a greater range of expression. Besides this, when you apply the Illustrated Musical Instrument device, being able to turn a staircase, chair, doorknob, handrail, or any household item, into an instrument need not be a mere dream. 50 or 100 years in the future, the instruments most widely used may not be those designed by well-informed instrument experts, but those casually designed by children or people with no musical experience.

e2 マスク

e2 mask

表情豊かなお面

e2 マスクにはディスプレイ、カメラ、マイクがついています。e2 マスクをつけた人側のディスプレイには、話し相手の顔が映し出されます。話し相手側のディスプレイは、e2 マスクをつけた人の顔がアバター（キャラクター）に変えられて表示されます。この時、マスクをつけている人の目線や表情もアバターに反映されます。また、ボイスチェンジ機能も付いているので、アバターに合わせた声に変えることで、よりそのアバターになりきることができます。

Expressive face mask

The e2 mask has display screens, a camera and microphone attached. The display facing the user wearing the mask shows the face of the person to whom the user is talking. The display facing the other person shows the face of the mask-wearer, transformed into an avatar (character). At this time, the gaze and facial expression of the mask-wearer are reflected onto the avatar. In addition, thanks to the mask’s voice-changer function, the wearer can become even more like the avatar, by altering his/her voice to suit it.

着るピアノと光るピアノ

Wearable Piano Illuminated Piano

ピアニストのための新表現・新体験

着るピアノは、ピアノがワンピースにデザインとしてあしらわれているだけではありません。本当に鍵盤から音がでます。光るピアノは、着るピアノの演奏にあわせて、ドレスがファッショナブルに光ります。日常生活を音楽で彩るそんな未来もアリじゃないでしょうか?!

New form of expression and experience for pianists

Wearable Piano is not just a piano that has been turned into a dress. The keyboard really produces sound. With Illuminated Piano, the dress lights up attractively in time to the playing of Wearable Piano. A future where you can color your daily life with music? It could be just around the corner!

エアスティックドラム

Airstic Drum

リアルとバーチャルのハイブリッド・ドラム

様々な場所へ出掛けて演奏をしようとしたときに、ドラムセットは大きく、重たいため大変です。スティックにセンサを付けてエアドラムのように演奏できる電子ドラムを使えば、どこにでも出掛けて行って演奏することができます。しかし、ドラムには打面があるからこその演奏方法がたくさんあるため、この方法ではどんな曲でも自由に演奏できるというわけにはいきません。そこで、ドラムセットでよく使う楽器のみ打面を用意し、あまり使われない楽器はエアドラムのように演奏できるAirstic Drum の登場です。Airstic Drum はどこにでも簡単に持っていけて質の高いパフォーマンスが可能な、リアルとバーチャルのハイブリッド・ドラムなのです。

A hybrid drum combining the real and the virtual

When it comes to travelling to perform in various places, transporting a large and heavy drum kit is problematic. Using an electric drum, comprising sensors attached to drumsticks so that the performer can play as on an `air drum’, allows a performer to go out and perform anywhere. However, as drumming involves many techniques that can only be performed using the actual surface of a drum, it cannot be said that the electric drum allows the user freely to perform any piece of music. This is where Airtstic Drum comes in. Airstic Drum provides a surface to act as the parts of the drum kit that are often used, while those parts less frequently used are recreated with the electric drumsticks. This is a hybrid of the real and the virtual that makes it possible to take the drum anywhere and deliver high quality performance.