Still Music

Still Music は空間の中の人や物の数を検出しそこから音楽を生成します。その数が多ければ音数も多く賑やかに、逆に数が減っていくと静かな音楽になっていきます。また、空間内に何も物 がなければ無音状態となります。このように、空間の状況に応 じて音楽を生成していくことで私たちはその状態を音として聴くことができるようりなります。空間においてはその場を演出する目的にのみ用いられることの多い音楽に情報を付与することで、音楽にその空間の状態を伝えるメディアとしての価値をもたらすことができます。またそれは「音は情報を持つ」ということを再度認識し、情報を伝達するメディアとして音を考え ることにもつながっていくのではないかと考えています。

Still Music can detect the number of people and objects in a specific space and generate music based on these information. Larger the number, sounds generated will be more lively. Vise versa, smaller the number, sounds generated will be more peaceful. If there’s nothing inside a space, the space will be completely silent. In this way, by generating music according to the situation of the space, we can “listen” to the status of a space in terms of sounds. We can view music as a media of delivering the status of a space since music can be assigned information which is often used only for the purpose of directing the scene. This could somehow lead us to rethink on the topic of sounds as a carrier of information.

共感覚をモチーフとした映像アプリケーション


本研究では「色聴」と呼ばれる、音を聴いて色を感じる共感覚に着目し、入力された音声情報に対して、リアルタイムでユーザー独自の色聴感を可視化する映像アプリケーションの制作を行いました。アプリケーションは、入力された音声情報からリアルタイムに映像を生成するビジュアライザと、ユーザー固有の共感に基づく「音高と色の対応」を入力するためのツールから構成されています。感覚の再現にはまだまだ足りない部分の多いものですが、このアプリケーションを利用して、あなたの持っている未知の領域や感情に少しでも興味を持っていたら嬉しいです。

In this research, we focused on synesthesia, which is defined as someone who can feel the color by hearing the sound. We made an application to visualize user’s own color perception in real time. The application consists of a visualizer that generates images from the input audio in real time, and a tool to show the correspondence between pitch and color based on user’s empathy. Although these tools and methods are still insufficient to represent the sensation, it would be my pleasure if the application will be helpful for you to develop the interests you may already have in the unknown territory and emotions studies.

プロジェクタによる可変投影型壁紙の提案

現在、短焦点プロジェクタの登場により、壁近くに置いても綺麗に投影が可能になりました。今では多くの人が暮らしているマンションやアパートなどの賃貸では、壁紙を気軽に貼り替えることができません。そこで、インテリアをデザインする手段 の一つとして、映す壁紙「プロジェクション壁紙」を提案します。日本や海外の代表的なパターンを参考に壁紙を制作し、模型に投影しました。プロジェクタの利点として、写真や絵を映し出すという利用法があります。思い出の場所、お気に入りの絵など、壁紙という枠を超えた使い方があります。

The short focus projector makes it possible to project beautifully even if placed near the wall. It was difficult to change our room’s wallpaper easily. However, nowaday we could change it easily if we use this kind of projector. I made wallpaper based on typical patterns in Japan and abroad, and projected on the model. In this way, it becomes possible to project not only pattern but also pictures, which means any images can be wallpaper by using it, so that we can change wallpaper by moods.

Fantasia Circus Book

本の電子書籍化が進み、絵本もデジタルならではの表現を用い た体験型のものが増えてきました。しかし自分でページをめくったり、紙の質感を手で感じたりと、実物体であるがゆえの面白さも絵本にはあるのではないかと思い、紙の本の面白さに着目したインタラクティブな作品を制作しました。開いているページに合わせてプロジェクタが動画を絵本に投影します。実 物体の絵本ならではの表現である立体仕掛けと、平面的な動画 を組み合わせることで絵本の世界を拡張する試みを行いました。また、立体表現としてプラスチック板を用いて映像が立体 視のように見えるページを作り、紙の本だけでは不可能な表現 も取り入れました。

Today, paper books are changing the forms into E-books. Especially picture books got new expressions, and they are now possible to give more immersive experience. But I thought paper book has the particular way to express the story and using definitely different experience when read story with book or devices even if it is a same story. This is an interactive popup book. By using infrared sensor to get page number and the projector will project the movie to the picture book according to the opened page. I hope the reader who could feel the world of the story, therefore I made some pages has a gimmick which could see the 3D hologram by using plastic plate.

cosmix

「cosmix」はLED ライトを取り付けた衣装と加速度センサを 取り付けたペンライトによるパフォーマンス支援システムです。音楽ライブやステージイベントなどにおいて観客が演出に参加し、一体感を高めるとともに、演者は観客の動きや盛り上 がりを光として身にまとう新たな交流の形を提案します。ペンライト型デバイスには加速度センサが搭載され、ペンライトの 動きを検出、動きに対応したパターンで衣装のLED が点灯します。演者サイドから制御される、観客のライトをつかったステージ演出は多くありますが、観客が制御する形にすることでよりライブ感のある光の演出を実現したいと考え制作を行いました。

“Cosmix” is a performance support system with costumes fitted with LED lights and a pen light fitted with an acceleration sensor.In the music live and stage events, the audience participates in the production and improves the sense of unity, and the performer proposes a form of new exchange wearing the movement and excitement of the audience as light. The pen light device is equipped with an acceleration sensor which detect movement of the pen light, the costume LED lights in a pattern corresponding to movement.Although there are many stage directories using the audience’s light controlled from the side of the performer, I made a work that I wanted to realize the production of live light with a lively feeling by controlling it by the audience.

popo/dodo

近年、バーチャルリアリティ技術の普及に伴って触覚呈示に関 する研究がされるようになってきました。本研究では、スピーカから出力する波形によって作られた空気振動の触覚と、その応用例を模索し、スピーカを用いた触覚アート表現の手がかりの一つとして提案します。スピーカを用いた空気振動を表現 するために、スピーカごとに異なる空気振動や音を発生させることで、それぞれの触感を体験することができる6 つのスピー カを用いたインスタレーションを制作しました。

In recent years, studies on tactile presentation have come to be carried out with the spread of virtual reality technology. In this research, we developing a tactile sensation of air vibrations made by the waveform output from the speaker as one of the clues for tactile art expression using the speaker. In order to express air vibrations by using speakers, we have created an installation using six speakers so that people can experience different tactile sensations by generating different air vibrations and sounds for each speaker.

Emotional Plant

近年、映像等のディスプレイには不可能な、実体物の構成要素の動きや変形によって情報提示を行う装置、ディスプレイが human machine interface の分野において多数報告されています。中でも植物の動きは非常に興味深く、例えば一面に広がっ た草原が風になびく時、人は自然の情景や生物の美しさに感動 を覚える瞬間があります。そういった植物の動きに基づいた研究作品は多くある一方で、葉や茎、花びら一本一本の動きを制御し、全体の動きとする表現方法にはまだまだ検討の余地があります。そこで多数の人工の造草を用いたアクチュエータを一 括で効率的に制御することによって、ディスプレイとしての表 現の幅や規模の拡大を容易に行い、複数のアクチュエータを効 率的に制御したディスプレイの表現方法を提案します。

Recently, there are many devices and displays that present information by motion or deformation of components in the field of human machine interface. Especially the movement of plants is very interesting, for example, when the grassland spreading over the surface is blown by the wind, people have a moment to be moved by the scenes of nature and the beauty of living things. While there are many research works based on the movement of plants, there is still room for consideration in the expression method of controlling the motion of leaves, stems, and petals. Therefore, we propose a expression method of display which expands the range and the scale of expression and efficiently controls multiple actuators by efficiently controlling actuators using a large number of artificial weeds at once.

Fuji-chan

Fuji-chan は災害情報を今までにない形で可視化するディス プレイです。富士山は多くの人が訪れる日本の観光名所ですが、それが活火山であることを理解している人は多くありません。Fuji-chan のデバイスは聴覚情報と共に、気温を表示する上部のLED と噴火情報を示す底部のLED によって、視覚的に 情報を提示します。Web サーバへ接続することで、5 秒ごとに富士山頂の天候と噴火の情報を取得します。レベル2 以上 の噴火警報が出ている場合、警告音が鳴り、底部のLED が警 戒レベルにあわせ光ります。このシンプルな情報伝達によって、ヴァーチャルに警戒情報を伝えることができます。私たちはこのFuji-chan が、IoT 技術を美的価値を持つ心地よいインタラクティブ作品へと応用するという、「Internet of Beautiful Things」の考え方を広めていくことを期待しています。

Fuj i -chan was created as a way of visual ising hazard information in an unconventional way. Despite being a popular tourist attraction, few people realise that Mount Fuji is actually an active volcano. The Fuji-chan device provides information visually through LEDs at the top (indicating temperature) and base (indicating volcanic eruption), with an aural alarm also for volcano eruption warnings. The Fuji-chan device connects to a web server and retrieves weather and volcano eruption data every five seconds. If there is an eruption warning of level two or above for Mount Fuji, the alarm will sound and the base of the device emits a colour based on the warning level. By communicating this information simply, virtually anyone can understand the warnings. We also hope that this device promotes the idea of an “Internet of Beautiful Things”, with IoT technology being applied to aesthetically pleasing interactive works.

Taifūrin

台風鈴はインターネット上の台風情報を用い台風の接近を知らせるインタラクティブな風鈴です。日本の伝統的な風鈴をかたどったデバイスにはLED ライトと、モータを介しインター ネットに接続された小型シングルボードマイクロコントローラに接続されたインターフェースが取り付けられています。台風が300km 圏内に近づくと、モータが風鈴を鳴らし、台風の強さに応じてLED が光ります。このデバイスは、従来のマッピングソフトウェアに依存しない単純な方法によるリアルタイムな地理空間データの伝達と、IoT やMR/AR 技術の伝統工芸品への応用という2つのアイデアによって開発されました。我々はこのデバイスの開発によって、インタラクティブ作品における日本の美意識である、禅や侘び寂びの概念を探求しています。

Taifūrin is an interactive wind-chime device which uses internet-based typhoon data to alert people to an approaching typhoon. The device consists of LED lights and an interface based on a traditional Japanese wind-chime, which is connected via a motor to a small single-board microcontroller with a wireless internet connection. When a typhoon is within close proximity (<300km) to the device, the motor will ring the wind-chime and the LEDs illuminate based on the category (strength) of the typhoon. This device was created to explore two ideas: that near real-time geospatial data can be communicated in a simple but novel way that does not rely on conventional mapping software; and that Internet of Things (IoT) and Mixed/Augmented Reality technologies can also be applied to traditional cultural artefacts where technology has previously played no role. By creating this unique device, we are exploring the Japanese Zen aesthetic concept of wabisabi in interactive works.