平田先生のメッセージ
仮想的な同行体験を支援する「ポケレポJoin」の開発
所属する平田♪竹川研究室では、継続してウェアラブル実況中継システムの研究を行っています。私たちは、1人でのライブ中継形式のレポートを支援する「ポケレポGO」を発展させ、観光に行けない人を対象とした観光支援システム「ポケレポJoin」の開発に取り組みました。スマートフォンやタブレットによる通常のビデオ通話では、液晶ディスプレイ側にある「インカメラ」と背面の「アウトカメラ」を同時に使用することはできません。そこで、システムを導入したデバイスを背中合わせに接続することで、2台のインカメラで同時に撮影しながら会話できるようにしました。
自撮りしながら街を歩くと、目の前のシーンも同時に相手に送ることができるので、お互いに相手の顔を見ながら同じ景色を楽しむことができ、一緒に旅をしている気分が味わえます。COVID-19の影響で来日できなくなった留学生に函館の街を案内するオンラインツアーや、富士サファリパークと提携した仮想オンライン観光ツアーにも挑戦しました。今後の課題としては、誰にでも使いやすいデザインや装置の軽量化などが挙げられます。ぜひ実用化させて、外出が困難な人々の利用はもちろん、コロナ禍で大きな打撃を受けた観光業界の支援にも役立てていければと考えています。
西村南海 Minami Nishimura
システム情報科学研究科知能情報科学領域 / 函館稜北高校卒（北海道）
綱谷優 Yuu Tsunatani
情報システムコース / 金光八尾高校卒（大阪府）
豊田翔護 Shogo Toyota
システム情報科学研究科情報アーキテクチャ領域 / 筑波大学附属高校卒（東京都）
遠隔レッスンシステムの開発で気軽にピアノが習える世界を
学部生の頃は音楽に熱中していて、大学院など考えたこともありませんでした。配属になった平田先生と竹川先生の研究室の発表で、情報の知識を生かした音楽研究に興味を持ち、先生たちからの誘いもあって、必死に学んで大学院に進みました。進学後に取り組んだのは、今も続けている「遠隔ピアノレッスン支援システム：Tel-Gerich」の研究です。私が開発したTel-Gerichは、遠隔地同士でも指さしなどのジェスチャを共有でき、教師の視線移動を模した複数カメラの自動スイッチング機能などを有しています。直接的なコミュニケーションが可能になり、レッスンを円滑に進めることができます。 この遠隔レッスンシステムが電話ポックスのように街中に設置され、誰もが気軽にピアノを習える世界を創ることが将来の夢です。また人間としては、平田・竹川両先生のように、研究に対して常に真摯で誠実でありたいと思っています。
松井遼太 Ryota Matsui
複雑系知能学科 複雑系コース / 2016年3月修了 / 小樽潮陵高校卒（北海道）
人がもっと生きやすくなるヒューマンインタフェース
私が注力している「 ヒューマンインタフェース」とは、人間と機械が情報をやり取りする手段や、そのための装置やソフトウェアなどのことです。苦手なことを機械がカバーすることで、その人が生きやすい環境を作ることが目的です。研究室の学生たちと一緒に開発してきたインタフェースが今後のポストコロナ社会に役立つ可能性について、何度もメディアに取り上げられました。
その1つが「デジタルカメン」です。コロナ禍での必需品となったフェイスシールドのように、すっぼりと顔を覆った液晶ディスプレイにキャラクターを投影して、その表肩を変化させることができます。仮面の裏側にある40個の光センサーが顔の筋肉の微妙な動きを認識し、それをもとにAlが推定した表情をキャラクターで再現しています。今は装着した人の表情をリアルタイムで表示していますが、あまり笑わない人をもっと笑顔にしたり、アニメのようなオーバーな表情にしたり、感清を豊かに表現するツールとしても活用できるのではないかと考えています。
また、聞こえづらいマスク時の会話をスムーズにするアプリを開発している学生もいます。声を発すると、耳のそばに装着したイヤホンから骨伝導で雑音が聞こえてきて、自然と声が大きくなるというシステムです。人は自分に聞こえる音塁によって声の大きさを調節するため、無意識のうちに大きな声が出て、ストレスなく円滑なコミュニケーションが可能になるのです。
デジタルカメンの開発のきっかけも、自分の表情がよく誤解されるという学生の悩みでした。このように、日常にある「困った」を楽しく解決するというのが私たちの研究の大きなテーマです。まだまだ改良の余地はありますが、10年後には誰もがデジタルカメンを羞けて、服を着替えるように顔も変える時代になっているかもしれません。自分の空想や妄想を現実化してみたいという人を、平田♪竹川研究室は大歓迎します。現状では実現が難しいようなアイデアにどうやってアプローチするか、ワクワクしながら新しいヒューマンインタフェースを作りませんか。
竹川佳成 准教授
情報アーキテクチャ学科
コンピュータ科学の国際会議で学部生として希有な論文採択
オノマトペを用いた書道の学習支援システムを開発しています。オノマトペとは「すーっ」「とん」といった擬音語のことで、筆の運び方やスピード、筆圧などを指導する際、感覚を伝えるために有効な手段です。「はね」「はらい」など点画のそれぞれにオノマトペを割り当てるのですが、イメージの感じ方には個人差があるため、実験と検証を何度も繰り返しました。研究室の竹川先生に勧められて応募したところ、イタリアで開催される国際会議「ACMIUI2020」に論文が採択されました。学部生の論文採択は奇跡的と言われるハイレベルな会議での発表が、今から楽しみでなりません。
田中紗江香 Saeka Tanaka
情報アーキテクチャ学科 情報システムコース / 網走南ヶ丘高校卒（北海道）
世界的な研究環境に刺激を受けた貴重な経験
竹川先生からの勧めもあり、修士1年次の夏季休暇を利用して留学しました。身体的・距離的な問題などで博物館や美術館にいけないユーザを対象とした展示物鑑賞を支援するシステムを研究している私にとって、世界有数のミュージアムが多くあるイギリスはまさに理想の留学先でした。教授陣にノーベル賞受賞者もいるサセックス大学では、特に国際開発の研究分野での評価が高い大学です。そんなハイレベルな環境で、日本とイギリスでの実運用実験や比較実験を行い、ハード面での改善点を発見することができました。
西村南海 Minami Nishimura
システム情報科学研究科知能情報科学領域 / 函館稜北高校卒（北海道）
未来大の大学院から音楽情報処理と人工知能の研究職へ
革新的な人工知能基盤技術の開発と応用を目指す研究施設で、音楽情報処理と人工知能に関する研究に従事しています。一般ユーザによるコンテンツ制作を用意にするためのシステムや、プロのデザイナーが生産性をあげる技術のひとつとして貢献できるシステムの開発に関わるほか、OJT現場・演奏指導現場における知識獲得やオントロジー、インタラクティブな音楽演奏システムの開発といったHuman-Computer Interactionなどの研究テーマについても取り組んでいます。
これらの研究には、ディープラーニングをはじめとする機械学習の最新技術を用いています。また最新研究では、一般社団法人未踏が実施するAIフロンティアプログラムにおいて「AIを身体にインプットさせて演奏するアンサンブルシステムの開発」のテーマで採択されました。
三浦寛也 Hiroya Miura
システム情報科学研究科知能情報科学領域 / 2019年3月修了 / 盛岡北高校卒（岩手県）
自分の本当の感情を仮面の表情で伝える新しいコミュニケーション
表情の変化で感情を表現する仮面型デバイスを開発
自分では普通のつもりの表情が、まわりからは不機嫌そうに見えるらし く、よく誤解されることがありました。表情で感情を伝える方法はないかと考え、仮面を使うことを思いっきました。変形する眉や、マンガで使われる涙や怒りなどの感情記号を表示して仮面の表情を変化させ、感情を 明確に表現するもの。一定の温度になると色が消えるインクを使い、小型のキーボードで操作します。好きなキャラクターの仮面に意図的な表情をさせることで、そのキャラクターになりきる体験も可能です。ゼミの竹川先生に勧められて経産省外部団体である情報処理推進機構(JST)「 未踏プロジェクト」に応募したのですが、採択されたことで大きな自信になりました。
梅澤章乃 Akino Umezawa
システム情報科学研究科情報アーキテクチャ領域 / 博土（前期）課程 / 国際情報高校卒（新潟県）
「これ、間違いかも？」学習支援にもその気づきを活かせたら
バイオリン初心者を対象としたひっかけ要素のある学習支援システム
小学生の頃からのバイオリン経験を活かし、初心者を対象とした学習支援システムを研究しています。画面の指板上で押さえる位置を教える ポインタを指示するもので、あえて間違った位置や複数の位置を示すことで、正解を指示し続けるよりも効率的に学習することがわかりました。他の楽器はもちろん、さまざまな分野にも応用できると考えていますが、 大好きなゲームもその1つ。ゲームメーカーのプランナーもめざし、東京大学の研究室でVRの研究もしています。ゲームの本筋とは別に、意函 的に仕組まれたバグを探すという楽しみ方を提案して、バグをゲームの 新ジャンルとして確立させるのが夢です。
熊木万莉母 MarimoKumaki
システム情報科学研究科メディアデザイン 領域 / 2019年3月修了 / 富土見中学高等学校卒（東京都）
自分の好きなことや趣味をITの研究に結びつけられる それが未来大の魅力です
視線情報を活用することで楽譜を追跡するシステム
楽器を演奏する時、演奏者は譜面を見ています。私の研究は、演奏 者の視線により譜面上の演奏箇所を追跡するシステムの構築。デイスプレイ上に譜面を表示し、演奏者がどの部分を見ているのかを視線追跡装置と人工知能で推定しています。このテーマの研究論文を執筆し て国際会議(ICMC2017、上海）に提出し、採択されました。今後の展望として、自動で譜面をめくるシステムなどのほか、肢体が不自由な方が 視線で身のまわりの家電を操作するということへの応用も視野に入れて います。大学院修了後は総合エレクトロニクスメーカーヘの就職が内定しているので、これからも視線を使った研究を進めていきたいです。
寺崎栞里 Shiori Terasaki
システム情報科学研究科情報アーキテクチャ領域 / 2018年3月修了 / 仙台向山高校卒（宮城県）
楽譜の単旋律から作曲者が誰なのかを推定するという試み
暗意実現モデルに基づく作曲者らしさ識別
幼少時からピアノを習っており、音楽大学への進学も考えていましたが、 オープンキャンパスで平田研究室の展示を見て、音楽と情報を結びつけた研究ができる未来大へ進学しました。
卒業研究は「暗意実現モデルに基づく隠れマルコフモデルによる作曲家識別」というテーマ。わかりやすく言うと、人工知能を用いて楽譜のシンプルな単旋律から作曲者を推定するもので、将来的に演奏者が音楽を理解するための支援に役立つと考えています。現状では、バッハと現代ロシアの作曲家といった、年代的にも地理的にも離れた作曲家同土の場合は識別可能となっています。しかし、差異が小さいバッハとベートーベンでは識別が難しく、この精度を上げるのが課題です。
能登楓 Kaede Noto
システム情報科学研究科知能情報科学領域 / 博土（前期）課程 / 函館中部高校卒（北海道）
プログラミングが分からずに不安しかなかった頃の自分に今の私を見せてあげたい
文章全体の一貫性に着目して推敲を支援するシステム
ロジカルな論文を対象に文章構造の推敲を支援するシステムを研究しています。私自身、文章を書くことが苦手なので、自然言語処理の技術を使って克服できないかと考えたことがきっかけでした。文章全体の流れのスムーズさを点数で判定するシステムで、単語の類似性から文章の一貫性を計測しています。将来的に実用化されてエディタソフトに搭載されるようになれば、書き直すべきポイントが明快になるはずです。情報系の大学は授業が難しそう……と心配な人には「大丈夫！」と言いたいです。入学した頃、まさにそんな感じだった私が、大学院まで進んで研究をしているんですから。
庵愛 Mana Ihori
システム情報科学研究科情報アーキテクチャ領域 / 2019年3月修了 / 札幌手稲高校卒（北海道）
さまざまな人々の身になって 価値ある使いやすい技術を開発
情報サービスをデザインするにあたり、障害のある方、シニアの方、子育て中の方など、さまざまな人々にとって価値のある新しい技術を考える業務に就いています。インタビューや共同作業を通じて課題やニーズを発掘し、その解決 のために必要な技術を開発する部分を担当しており、調査結果を踏まえてどのような技術が必要か考えたり、実際にプロトタイプを作ったりしています。会社 では毎年「R&Dフォーラム」という研究技術の展示イベントを行っていますが、 展示説明員としてお客様に技術を説明する中で、自分の仕事が非常に多くの人たちと関わっていることを実感しています。
どんな仕事にしても、設計やプログラミングにおいても、必ずどこかで人間との関わりがあります。「使う人のことを考える」という、今の業務の根本となる考え 方を身につけることができたのは、人間そのものに焦点を当てた未来大での学びのおかげです。
斎藤俊英 Toshihide Saito
システム情報科学研究科情報アーキテクチャ領域 / 2017年3月修了 / 山形東高校卒（山形県）
学生の興味と感心で自分の研究領域も広がっていきます
平田竹川研究室は、知能システムコースの平田圭二教授と情報デザインコースの竹川佳成准教授と共同運営する研究室で、30名ほどの学生が「音楽情報処理」「教育・学習支援」
「応用認知心理学」「技能熟達」の4班に分かれ て研究活動を行っています。
私どもの研究室は、教員も学生と一緒に勉強するというスタンス。学生の興味や関心によって 、教員の研究領域もどんどん広がつています。自分のスタイルを持ったマイペースな学生が多く、いつ研究室に顔を出しても、誰かが何かをやっています。やる気に満ちた学生と真正面から向き合える環境は、毎日がとても刺激的で楽しいです。
平田圭二教授
複雑系知能学科 知能システムコース
「できた！」の喜びを増やしたい
大人の習い事を応援するシステムで人生の質を豊かに、そして健やかに
皆さんは小さい頃に自転車の補助輪を使 ったことがありますか。私の研究はITを使っ て「新しい補助輪を作ること」。その補助輪 で大人の初心者の学習を支援する研究を行なっています。学習の内容は、ピアノなどの楽器や書道、ダンス、スポ一ツといった 体を動かす技能全般です。20世紀後半の IT革命以降、私たちは生活の便利さが増すにつれ、運動する機会を徐々に手放すことになりました。21世紀の超高齢社会に向け、これからの時代は「生存のための運動」から「人生の質を豊かにするための運動」へ。そんな運動の質の変化を意識しな がら、従来の方法だけでは挫折する人があとを絶たない「大人の習い事」支援を行な っています。
この研究の面白いところは、自分が好き な、もしくは克服したいと思っている技能が そのまま研究テーマとなるところです。3歳からピアノを始めた私の場合、鍵盤のプロジェクションマッピングで演奏を補助するピアノを作りましたが、研究室の学生たちを見ていると、タブレット端末を使った書道の書写支援（図①）や、バレーボールのスパイクを 打つ瞬間（図②）あるいはスノーボ一ドのタ一ン時の重心のかけ方（函③）、ボウリングの投球フォーム（図④）、自分では客観的に確認できない動作をセンサ一を用いて記録に残して振り返るなど、研究範囲は実に多彩です。本来の補助輪は「外す・外さな い」の二択ですが、ITを使えば「補助輪を段階的に外す」ことも可能になりました。
大人の習い事は教わる側が自我のある大人であるため、教える側との相性や単純作業にすぐに飽きてしまうこと、本人が納得しなければ練習法を変えられないことなど、 基礎段階でいくつもの落とし穴があります。 そこにITを導入して、基礎の底上げに役立ちたい。ITが得意なところはITが教え、人が 得意なところは人が教える。両者の協調による相乗効果を期待しています。
この研究で一番嬉しい瞬間は、学生たちが支援システムを使った結果「できた！」と 喜ぶ現場に立ち会えること。その成長ぶりを見て、「この研究をやっていてよかった」という大きな手応えを感じます。今後も世の中の「食わず嫌い」や「自分にはムリ」というあきらめに働きかけて、一つでも多くの笑顔を増やしていきたいです。
竹川佳成准教授
情報アーキテクチャ学科 情報デザインコース
