実物体の本の特性を活かしたインタラクティブな絵本による読書体験の提案

黒崎 美聡 須田拓也 串山 久美子
Misato KUROSAKI   Hiroya SUDA   Kumiko KUSHIYAMA

今日、本の電子書籍化に伴い、紙の触覚や紙が空気を切る音など紙の本特有の体験は失われつつある。このような紙の本と電子書籍との読書体験の差に着目し、本作の制作を行なった。本はページをめくることで時間と空間の把握を感覚的に行うインターフェースであると言えるだろう。「開く」「引く」「回す」など形状を見ただけで作動方法が分かる物理的な仕掛けと、ストーリーやキャラクターの動きから得られる情報的な仕掛けを用意した。それにより普段紙の絵本に対しては行わない行為を誘発させ、人の行為がストーリーに関与していくインタラクティブな体験を生み出す。ページ判定をカメラで行い、プロジェクタで動画を投影する。また電子的仕掛けを体験者に感じさせないよう、プロジェクタとカメラをデスクライトの光源部分に格納し一体化させた。以上のシステムを用いて、没入感を高め絵本の世界を拡張し、インターフェースとしての本の持つ特性を活かした体験システムを制作した。今後、絵本を用いたインタラクティブな体験がもたらす効果に期待したい。

論文 kurosaki_suda_kushiyama_インタラクション2019

メディア

ワールドビジネスサテライト  2019/4/9
http://www.tv-tokyo.co.jp/mv/wbs/trend_tamago/post_175090/

日刊工業新聞  2019/4/5
https://www.nikkan.co.jp/articles/view/00512387

展示
TSUTAYA 大崎 2019/8/19-9/1
ワークショップ
TSUTAYA 大崎 2019/8/24
https://osaki0824oyako.peatix.com
https://osaki0824otona.peatix.com

GUGEN2017 – TEXTILE++優秀賞 / Fujichanウフル賞受賞

2017年12月16日秋葉原コンペンションホールにて行われたGUGEN2017において,本研究室内プロジェクト”TEXTILE++”が優秀賞,Fujichanがウフル賞をそれぞれ受賞しました.

TEXTILE++は低コストで製造が可能,応用の幅広さなどの点が評価されての受賞となりました.

IoT歯ブラシや繊維素材のタッチパネルなどが入賞 ーMakersの登竜門“GUGEN2017“レポート

 

Still Music

Still Music は空間の中の人や物の数を検出しそこから音楽を生成します。その数が多ければ音数も多く賑やかに、逆に数が減っていくと静かな音楽になっていきます。また、空間内に何も物 がなければ無音状態となります。このように、空間の状況に応 じて音楽を生成していくことで私たちはその状態を音として聴くことができるようりなります。空間においてはその場を演出する目的にのみ用いられることの多い音楽に情報を付与することで、音楽にその空間の状態を伝えるメディアとしての価値をもたらすことができます。またそれは「音は情報を持つ」ということを再度認識し、情報を伝達するメディアとして音を考え ることにもつながっていくのではないかと考えています。

Still Music can detect the number of people and objects in a specific space and generate music based on these information. Larger the number, sounds generated will be more lively. Vise versa, smaller the number, sounds generated will be more peaceful. If there’s nothing inside a space, the space will be completely silent. In this way, by generating music according to the situation of the space, we can “listen” to the status of a space in terms of sounds. We can view music as a media of delivering the status of a space since music can be assigned information which is often used only for the purpose of directing the scene. This could somehow lead us to rethink on the topic of sounds as a carrier of information.

共感覚をモチーフとした映像アプリケーション


本研究では「色聴」と呼ばれる、音を聴いて色を感じる共感覚に着目し、入力された音声情報に対して、リアルタイムでユーザー独自の色聴感を可視化する映像アプリケーションの制作を行いました。アプリケーションは、入力された音声情報からリアルタイムに映像を生成するビジュアライザと、ユーザー固有の共感に基づく「音高と色の対応」を入力するためのツールから構成されています。感覚の再現にはまだまだ足りない部分の多いものですが、このアプリケーションを利用して、あなたの持っている未知の領域や感情に少しでも興味を持っていたら嬉しいです。

In this research, we focused on synesthesia, which is defined as someone who can feel the color by hearing the sound. We made an application to visualize user’s own color perception in real time. The application consists of a visualizer that generates images from the input audio in real time, and a tool to show the correspondence between pitch and color based on user’s empathy. Although these tools and methods are still insufficient to represent the sensation, it would be my pleasure if the application will be helpful for you to develop the interests you may already have in the unknown territory and emotions studies.

プロジェクタによる可変投影型壁紙の提案

現在、短焦点プロジェクタの登場により、壁近くに置いても綺麗に投影が可能になりました。今では多くの人が暮らしているマンションやアパートなどの賃貸では、壁紙を気軽に貼り替えることができません。そこで、インテリアをデザインする手段 の一つとして、映す壁紙「プロジェクション壁紙」を提案します。日本や海外の代表的なパターンを参考に壁紙を制作し、模型に投影しました。プロジェクタの利点として、写真や絵を映し出すという利用法があります。思い出の場所、お気に入りの絵など、壁紙という枠を超えた使い方があります。

The short focus projector makes it possible to project beautifully even if placed near the wall. It was difficult to change our room’s wallpaper easily. However, nowaday we could change it easily if we use this kind of projector. I made wallpaper based on typical patterns in Japan and abroad, and projected on the model. In this way, it becomes possible to project not only pattern but also pictures, which means any images can be wallpaper by using it, so that we can change wallpaper by moods.

Fantasia Circus Book

本の電子書籍化が進み、絵本もデジタルならではの表現を用い た体験型のものが増えてきました。しかし自分でページをめくったり、紙の質感を手で感じたりと、実物体であるがゆえの面白さも絵本にはあるのではないかと思い、紙の本の面白さに着目したインタラクティブな作品を制作しました。開いているページに合わせてプロジェクタが動画を絵本に投影します。実 物体の絵本ならではの表現である立体仕掛けと、平面的な動画 を組み合わせることで絵本の世界を拡張する試みを行いました。また、立体表現としてプラスチック板を用いて映像が立体 視のように見えるページを作り、紙の本だけでは不可能な表現 も取り入れました。

Today, paper books are changing the forms into E-books. Especially picture books got new expressions, and they are now possible to give more immersive experience. But I thought paper book has the particular way to express the story and using definitely different experience when read story with book or devices even if it is a same story. This is an interactive popup book. By using infrared sensor to get page number and the projector will project the movie to the picture book according to the opened page. I hope the reader who could feel the world of the story, therefore I made some pages has a gimmick which could see the 3D hologram by using plastic plate.

cosmix

「cosmix」はLED ライトを取り付けた衣装と加速度センサを 取り付けたペンライトによるパフォーマンス支援システムです。音楽ライブやステージイベントなどにおいて観客が演出に参加し、一体感を高めるとともに、演者は観客の動きや盛り上 がりを光として身にまとう新たな交流の形を提案します。ペンライト型デバイスには加速度センサが搭載され、ペンライトの 動きを検出、動きに対応したパターンで衣装のLED が点灯します。演者サイドから制御される、観客のライトをつかったステージ演出は多くありますが、観客が制御する形にすることでよりライブ感のある光の演出を実現したいと考え制作を行いました。

“Cosmix” is a performance support system with costumes fitted with LED lights and a pen light fitted with an acceleration sensor.In the music live and stage events, the audience participates in the production and improves the sense of unity, and the performer proposes a form of new exchange wearing the movement and excitement of the audience as light. The pen light device is equipped with an acceleration sensor which detect movement of the pen light, the costume LED lights in a pattern corresponding to movement.Although there are many stage directories using the audience’s light controlled from the side of the performer, I made a work that I wanted to realize the production of live light with a lively feeling by controlling it by the audience.

popo/dodo

近年、バーチャルリアリティ技術の普及に伴って触覚呈示に関 する研究がされるようになってきました。本研究では、スピーカから出力する波形によって作られた空気振動の触覚と、その応用例を模索し、スピーカを用いた触覚アート表現の手がかりの一つとして提案します。スピーカを用いた空気振動を表現 するために、スピーカごとに異なる空気振動や音を発生させることで、それぞれの触感を体験することができる6 つのスピー カを用いたインスタレーションを制作しました。

In recent years, studies on tactile presentation have come to be carried out with the spread of virtual reality technology. In this research, we developing a tactile sensation of air vibrations made by the waveform output from the speaker as one of the clues for tactile art expression using the speaker. In order to express air vibrations by using speakers, we have created an installation using six speakers so that people can experience different tactile sensations by generating different air vibrations and sounds for each speaker.

Emotional Plant

近年、映像等のディスプレイには不可能な、実体物の構成要素の動きや変形によって情報提示を行う装置、ディスプレイが human machine interface の分野において多数報告されています。中でも植物の動きは非常に興味深く、例えば一面に広がっ た草原が風になびく時、人は自然の情景や生物の美しさに感動 を覚える瞬間があります。そういった植物の動きに基づいた研究作品は多くある一方で、葉や茎、花びら一本一本の動きを制御し、全体の動きとする表現方法にはまだまだ検討の余地があります。そこで多数の人工の造草を用いたアクチュエータを一 括で効率的に制御することによって、ディスプレイとしての表 現の幅や規模の拡大を容易に行い、複数のアクチュエータを効 率的に制御したディスプレイの表現方法を提案します。

Recently, there are many devices and displays that present information by motion or deformation of components in the field of human machine interface. Especially the movement of plants is very interesting, for example, when the grassland spreading over the surface is blown by the wind, people have a moment to be moved by the scenes of nature and the beauty of living things. While there are many research works based on the movement of plants, there is still room for consideration in the expression method of controlling the motion of leaves, stems, and petals. Therefore, we propose a expression method of display which expands the range and the scale of expression and efficiently controls multiple actuators by efficiently controlling actuators using a large number of artificial weeds at once.