モジュール構造を用いた空間創出インタフェース

IMG_7253m

建築物の有用性とメディア技術の統合を目指すインタラクティブなインタフェース

Yuki Matsuoka  Saki Yamamoto  Yoshimi Iijima Kazumi Sato  Tetsuaki Baba  Shin Tsuchiya  Kumiko Kushiyama  Verl Adams

私たちはインタラクティブなモジュール構造を用いた光の空間創出のためのインタフェースを開発しました。ひとつのモジュールはとてもシンプルですが、複数あることによって単純な動きも複雑化され、空間に美しい陰影を作り出します。今回はこのシンプルなモジュールを積層することで、美しさはもちろん、あらゆる場面でフレキシブルに利用できます。また、従来とは違った立体的なサイネージなどの情報発信の手段としても活躍する新しい空間のカタチを提案します。

This research integrates interactive media technologies, such as motion detectors, light sensors and motion actuators, into the design of architectural modular screen structures in order to create new types of intelligent, interactive screen wall systems. The results will have multiple practical and artistic applications, including architectural sun shading, privacy screening and varied interactive media applications. This work will combine  the beauty, utility and spatial qualities found in architectural screen design with the intelligence and interface of interactive media.


Paper

  • [PDF]

和音の協調性を用いた他者との調和インタフェース

p09_ito

本研究では、他者と協調関係を視覚と聴覚により再構築するインターフェースを提案します。ここで言う協調関係とは、二人のユーザが相手の行動を意識しながら自分の行動を決定する状態を指します。深度カメラを用いてタッチ位置を測定できる透過スクリーンを利用し、対面している状態の2人のユーザが重ねた音の協和性をリサージュ曲線によって可視化します。

This research proposes an interface where users can build cooperative relationships through visual and auditory communication. In this context, “cooperative relationship” refers to users determining their actions while being aware of another user’s actions. We made a transparent screen that measures touch position by using depth camera, and visually mapped sound harmonics by Lissajous curve.


Paper

  • [PDF]

Shiftbeat

p16_yoha

Shiftbeatはユーザが直感的に音楽演奏ができるインタフェースです。静電容量センサーによるジェスチャー認識を用いて直感的な入力を実現しました。入力センサに触る強さ、時間などの触り方の変化でパラメーターを調整できます。本作では、既存の音楽インタフェースでは入力しづらかった人為的なリズムのズレや音の強弱などを表現することを目標としました。
Shiftbeat is an interface that allows the user to intuitively perform music. Intuitive input was created by using gesture recognition through the use of a capacitive sensor. By adjusting the amount of pressure applied to the input sensor, you can adjust parameters, such as time intervals. We aimed to produce an artificial rhythm and an efficient way of producing sound that is not possible to perform with existing musical interfaces.


Paper

  • [PDF]

Hand Writing

p18_yin

Hand Writingは小学生における漢字の書き取りをより効率的に行うためのシステムです。デジタルペンを利用したり、ゲーム性を持たせたりするなど、小学生が飽きずに漢字練習できるインタラクティブなシステムにしました。デジタルペンを用いて紙面に漢字を書くと、事前に登録した手書き漢字データと書かれた筆跡を比較して識別し、スクリーンに書かれた漢字を表示します。書かれた漢字はデジタルペンを用いることで操作できます。それぞれの漢字ごとに音階を割り当てており、一つ一つをぶつけると音が鳴ります。

本作は、手書き漢字を活かしたインタラクティブな漢字学習で小学生の漢字学習を楽しくさせ、学習者の学習意欲をあげることを研究目的としています。今回では小学校一年生で習う80字漢字は手書きデータを登録しました。今後は更に上の学年で習う漢字のデータを登録することが課題です。

Hand Writing is a system which can efficiently improve the ability to read and write Chinese characters of elementary school students. We created a fun interactive gameplay system where students can practice Chinese characters using a digital pen. By writing Chinese characters with the digital pen, the system recognizes the hand-written characters and compares them with the Chinese characters stored in database. It is possible to manipulate characters on the screen. Different characters have different tones, and sounds play when characters collide. We aimed to utilize the interactive system to provide students with a more enjoyable experience when writing Chinese characters, thus increasing their willingness to learn. The system currently contains 80 characters from the first grade of school. A future research goal is to provide all the Chinese characters that students learn in upper grades of school.


Paper

  • [PDF]

GROOVE

p08_komiya

GROOVEはダンサーの動作によって映像や音楽を変更できるデバイスです。近年、ダンスの義務教育化やダンスアイドルの人気などにより、人々のダンスへの興味関心が高まっています。しかし、ダンスは既存の音楽や動画に合わせて演技をすることが多く、ダンサーが自身の動きに合わせてリアルタイムで音や映像を変化させ、会場を演出するような演技はほとんど見られません。そこで、マルチメディアを演出するためのデバイスを提案します。ダンスの中でも他のダンスに比べて手の動きが特徴的であり、手の動きが映える「LOCK」というジャンルに対象を絞っています。演者が本デバイスを身につけることで、搭載した様々なセンサから動きの速さや力の入れ具合を認識し、それらを元に総合的な演出を演者自身が行えます。

In recent years, due to the inclusion of popular dance in compulsory education, and the popularity of dance idols, there is a growing interest in dance. However, dance is often carried out in accordance with the music and video, rather than the sound and video responding to the dance. Therefore, we proposed a device for directing multimedia. For the purpose of this study, we focused on the dance genre known as “Lock”, which features prominent hand motions when compared to other styles of dance. When worn by the performer, this device – through various sensors – recognizes the speed and force of the performer’s movements, which affects the music and video accordingly.


Paper

  • [PDF]

ComBand

p12_saito

ComBandは遠隔地間の触覚コミュニケーションを可能にするリストバンド型デバイスおよびその通信システムです。本デバイスはユーザが本デバイスに触れた位置や圧力を取得し、通信相手に対して取得した情報を振動モータらを用いた触覚呈示によって伝達します。そうして本デバイスを介することで、触覚による対話が可能になります。

ComBand is a wristband device and communication system to allow haptic communication between remote locations. This device obtains the position and pressure of the user touching the device, and transmits the information to a communication partner by tactile display using a vibration motor and rotary motor. We enable haptic conversations through this device.


Paper

  • [PDF]

ボールリフティングの動作分析アプリケーション

p19_uda

加速度やジャイロ、GPSなどのセンサを用いた身体運動分析に関する研究が報告されている中、本研究ではサッカーの個人トレーニングの一つであるボールリフティングに着眼しました。そして、スマートフォンのみで計測できるボールリフティング評価手法を検討しました。まず、被験者のズボン前部のポケットにスマートフォンを挿入し、任意の時間ボールリフティングを行ってもらいます。その間に得られたスマートフォン内の加速度センサの値から周波数解析を行い、リフティングのスキル評価に有用な特徴量を実験、考察しました。結果として、経験者による主観的なスキル評価とデータから分類されたクラスタ間に一定の類似が確認できました。

Previously, there has been extensive research regarding the measurement of movement within the context of sports skills. In this research, we focused on football – one of the most famous sports in the world. Specifically, we focused on football juggling: one of the most practical exercises for novice footballers to obtain fundamental skills such as kicking, passing, dribbling and trapping. The aim of this study is to utilize a smartphone’s accelerometer as a sensor to measure football juggling skills. Unique points of this study included the use of machine leaning and frequency analysis. To score the football juggling skills of a user, we developed a prediction model to measure their skills, as well as a smartphone application.


Paper

  • [PDF]

採光による陰影に倣った間接照明LEDモジュール

p06_iijima

私達はインタラクティブメディアの技術を建築分野に応用するIMSSプロジェクトの実践を通じ、 プロトタイプ制作を重ねています。IMSSプロジェクトとはデジタル技術を空間に取り込むことで、既存の空間設計とは異なる新たな可能性を研究することを目的としています。 そして、さらにその技術をモジュール機構として統一してシステム化することで、より容易にインタラクティブメディアを空間に応用できると考えています。本研究では、これまでのモジュール機構を用いた対話的な間接照明プロダクトに着眼しました。モジュール機構および光と影を適切に用いることで、従来の間接照明にアンビエントメディアとしての機能を包含させ、さらにはユーザーが自由に形状や振る舞いをデザインできる間接照明システムを開発します。

By incorporating digital technology in spaces, this research aims to explore new possibilities beyond conventional spatial design. By unifying the technology as module mechanisms, we believe digital technology can more easily be applied to spatial design. In this study, we focus on interactive indirect lighting products using module mechanisms. By using these module mechanisms of ambient media, we are developing an indirect lighting system that users can freely design the shape and behavior of.

 


Paper

  • [PDF]

Tapcon

p11_yamaguchi

Tapconは小型で消費電力の少ない触覚呈示手法を用いたゲームコントローラです。本研究では視覚よりも触覚の方が人間の大脳に送られる情報量が多いことに着目し、触覚呈示を利用して臨場感を向上させたオリジナルのゲームを開発しました。センサとアクチュエータ双方の性質があるモータフェーダを用いることで従来の触覚呈示手法よりも重量を軽くし、消費電力を比較的抑えることができました。また、このコントローラを用いて「弓矢を実際に引いて撃つ触覚を呈示するシューティングゲーム」と「掘っている地面の硬さによって振動の強弱が変わるアクションゲーム」の2種類を遊べます。

Tapcon is an energy-efficient game controller which utilizes tactile presentation techniques. By using this tactile presentation, we developed original games with improved realism. By using a motor fader with sensors and actuators, we were able to produce a light-weight controller with reduced power consumption. Additionally, we created two games where this controller can be used: a digging action game, where the intensity of vibration changes depending on the hardness of the ground; and a bow and arrow shooting game, which presents a tactile experience of actually pulling the bow and arrow.


Paper

  • [PDF]

映像におけるシーンの自動検出とインタラクションの自動付加システム

p14_nyunoya

特徴シーンの解析と検出、およびそれによる温度呈示を行うシステム。近年、プロジェクションマッピングや体験型シアターである4DXシステムを利用して映像にインタラクションを付加することで、より臨場感のある映像表現が可能となっています。一方で、臨場感の高い映像を家庭でも簡単に楽しめるシステムは少ないです。本研究では、openframeworksとArduinoを用いてユーザが用意した映像を自動検知し、特徴的なシーンに合わせて温度や振動などを呈示することで映像の臨場感やエンターテイメント性を向上できるシステムを提案します。

Recently, by utilizing the 4DX system, projection mapping and interactive theater have made image expression more realistic by adding interactive aspects to video. On the other hand, there are few systems to enjoy highly realistic and interactive images at home. In this study, we propose a system – created with openframeworks and Arduino – that can improve realism and entertainment of images. This automated system can change the temperature and create vibrations accordingly to suit the characteristics of a scene.


Paper

  • [PDF]