実物体の本の特性を活かしたインタラクティブな絵本による読書体験の提案

黒崎 美聡 須田拓也 串山 久美子
Misato KUROSAKI   Hiroya SUDA   Kumiko KUSHIYAMA

今日、本の電子書籍化に伴い、紙の触覚や紙が空気を切る音など紙の本特有の体験は失われつつある。このような紙の本と電子書籍との読書体験の差に着目し、本作の制作を行なった。本はページをめくることで時間と空間の把握を感覚的に行うインターフェースであると言えるだろう。「開く」「引く」「回す」など形状を見ただけで作動方法が分かる物理的な仕掛けと、ストーリーやキャラクターの動きから得られる情報的な仕掛けを用意した。それにより普段紙の絵本に対しては行わない行為を誘発させ、人の行為がストーリーに関与していくインタラクティブな体験を生み出す。ページ判定をカメラで行い、プロジェクタで動画を投影する。また電子的仕掛けを体験者に感じさせないよう、プロジェクタとカメラをデスクライトの光源部分に格納し一体化させた。以上のシステムを用いて、没入感を高め絵本の世界を拡張し、インターフェースとしての本の持つ特性を活かした体験システムを制作した。今後、絵本を用いたインタラクティブな体験がもたらす効果に期待したい。

論文 kurosaki_suda_kushiyama_インタラクション2019

メディア

ワールドビジネスサテライト  2019/4/9
http://www.tv-tokyo.co.jp/mv/wbs/trend_tamago/post_175090/

日刊工業新聞  2019/4/5
https://www.nikkan.co.jp/articles/view/00512387

展示
TSUTAYA 大崎 2019/8/19-9/1
ワークショップ
TSUTAYA 大崎 2019/8/24
https://osaki0824oyako.peatix.com
https://osaki0824otona.peatix.com

第1回IDEEAワークショップ

本日の教材


首都大学東京システムデザイン学部インダストリアルアート学科の串山・馬場研究室10周年を記念して,OBを呼んで開発ワークショップを行います.IDEEAワークショップとして,第一回はOBの中西氏(no new folk studio)と松岡氏(Dentsu Isobar)を招いて,iOSとTouchDesingerを学ぶ回です.現場でのiOSソフトウェア開発や、プロトタイピングとその実践例を実習とともに学ぶ回となっています。これからプロトタイピングやメディアデザインを実践したい学生を対象とした内容を予定しております。

講師紹介

松岡湧紀(Dentsu Isobar: Creative Technologist)


2016年首都大学東京大学院システムデザイン研究科修了。その後、電通アイソバー株式会社に入社。デジタルマーケティングを起点としたオフライン施策の企画立案からプロトタイピング、実装に従事。現在は担当領域を広げるべく、VRコンテンツの制作や映像演出まで模索している。

 

中西恭介(no new folk studio: Chief Engineer)

株式会社no new folk studio チーフエンジニア。首都大学東京大学院にて電子楽器のインタフェースの研究に従事。研究として制作した作品の内、2本のiOS用の楽器アプリケーションをリリースする。
在学中にno new folk studioに設立メンバーとして入社。現在はスマートフットウェア Orphe に関するソフトウェアの設計・開発をファームウェアからアプリケーションまで一貫して担当する

日時

当日持参するもの

touchDesigner編

  • 操作にはマウスの使用を推奨しています。持参をお願いします。

iOS編

  • macOSを備えたラップトップコンピュータ
  • iPhone+Lightningケーブル(基本シミュレータでできるので、あればで大丈夫です)

事前に準備すること

touchDesigner編

  • TouchDesigner 099の最新版をインストールし、アクティベーションをお願いします

iOS編

参加する

申込みは締切りました.多数の申込みありがとうございました.

ワークショップ詳細

touchDesigner編

TouchDesignerは、カナダのDerivativeによって開発されたヴィジュアルプログラミングツールです。素早いプロトタイピングが可能でありながら、優れた拡張性と安定性を持つため、多くのクリエーターに実際の現場で活用されています。今回は事例紹介を交えながら、TouchDesignerへの第一歩を踏み出すキッカケを提供できればと思います。

iOS編

iOSアプリを開発する上で必要なプロセスや考え方を実際の開発事例を交えながら紹介します。また簡単なアプリの制作を通してiOSアプリ開発のフローを一通り体験します。基本的なSwiftの書き方やXcodeの使い方だけでなく、実践で役立つ豆知識などもご紹介します。このワークショップを通してiOSアプリ開発の全体像を理解することを目指します。

主催

  • 首都大学東京システムデザイン学部インダストリアルアート学科串山・馬場研究室(首都大学東京は、2020年4月1日に大学名称を東京都立大学に変更する手続きを進めています。)

協力

本ワークショップの趣旨に賛同いただき、以下の企業から協力を受けております。

  • 貝印株式会社
  • no new folk studio
  • Dentsu Isobar

GUGEN2017 – TEXTILE++優秀賞 / Fujichanウフル賞受賞

2017年12月16日秋葉原コンペンションホールにて行われたGUGEN2017において,本研究室内プロジェクト”TEXTILE++”が優秀賞,Fujichanがウフル賞をそれぞれ受賞しました.

TEXTILE++は低コストで製造が可能,応用の幅広さなどの点が評価されての受賞となりました.

IoT歯ブラシや繊維素材のタッチパネルなどが入賞 ーMakersの登竜門“GUGEN2017“レポート

 

Still Music

Still Music は空間の中の人や物の数を検出しそこから音楽を生成します。その数が多ければ音数も多く賑やかに、逆に数が減っていくと静かな音楽になっていきます。また、空間内に何も物 がなければ無音状態となります。このように、空間の状況に応 じて音楽を生成していくことで私たちはその状態を音として聴くことができるようりなります。空間においてはその場を演出する目的にのみ用いられることの多い音楽に情報を付与することで、音楽にその空間の状態を伝えるメディアとしての価値をもたらすことができます。またそれは「音は情報を持つ」ということを再度認識し、情報を伝達するメディアとして音を考え ることにもつながっていくのではないかと考えています。

Still Music can detect the number of people and objects in a specific space and generate music based on these information. Larger the number, sounds generated will be more lively. Vise versa, smaller the number, sounds generated will be more peaceful. If there’s nothing inside a space, the space will be completely silent. In this way, by generating music according to the situation of the space, we can “listen” to the status of a space in terms of sounds. We can view music as a media of delivering the status of a space since music can be assigned information which is often used only for the purpose of directing the scene. This could somehow lead us to rethink on the topic of sounds as a carrier of information.

共感覚をモチーフとした映像アプリケーション


本研究では「色聴」と呼ばれる、音を聴いて色を感じる共感覚に着目し、入力された音声情報に対して、リアルタイムでユーザー独自の色聴感を可視化する映像アプリケーションの制作を行いました。アプリケーションは、入力された音声情報からリアルタイムに映像を生成するビジュアライザと、ユーザー固有の共感に基づく「音高と色の対応」を入力するためのツールから構成されています。感覚の再現にはまだまだ足りない部分の多いものですが、このアプリケーションを利用して、あなたの持っている未知の領域や感情に少しでも興味を持っていたら嬉しいです。

In this research, we focused on synesthesia, which is defined as someone who can feel the color by hearing the sound. We made an application to visualize user’s own color perception in real time. The application consists of a visualizer that generates images from the input audio in real time, and a tool to show the correspondence between pitch and color based on user’s empathy. Although these tools and methods are still insufficient to represent the sensation, it would be my pleasure if the application will be helpful for you to develop the interests you may already have in the unknown territory and emotions studies.

プロジェクタによる可変投影型壁紙の提案

現在、短焦点プロジェクタの登場により、壁近くに置いても綺麗に投影が可能になりました。今では多くの人が暮らしているマンションやアパートなどの賃貸では、壁紙を気軽に貼り替えることができません。そこで、インテリアをデザインする手段 の一つとして、映す壁紙「プロジェクション壁紙」を提案します。日本や海外の代表的なパターンを参考に壁紙を制作し、模型に投影しました。プロジェクタの利点として、写真や絵を映し出すという利用法があります。思い出の場所、お気に入りの絵など、壁紙という枠を超えた使い方があります。

The short focus projector makes it possible to project beautifully even if placed near the wall. It was difficult to change our room’s wallpaper easily. However, nowaday we could change it easily if we use this kind of projector. I made wallpaper based on typical patterns in Japan and abroad, and projected on the model. In this way, it becomes possible to project not only pattern but also pictures, which means any images can be wallpaper by using it, so that we can change wallpaper by moods.

Fantasia Circus Book

本の電子書籍化が進み、絵本もデジタルならではの表現を用い た体験型のものが増えてきました。しかし自分でページをめくったり、紙の質感を手で感じたりと、実物体であるがゆえの面白さも絵本にはあるのではないかと思い、紙の本の面白さに着目したインタラクティブな作品を制作しました。開いているページに合わせてプロジェクタが動画を絵本に投影します。実 物体の絵本ならではの表現である立体仕掛けと、平面的な動画 を組み合わせることで絵本の世界を拡張する試みを行いました。また、立体表現としてプラスチック板を用いて映像が立体 視のように見えるページを作り、紙の本だけでは不可能な表現 も取り入れました。

Today, paper books are changing the forms into E-books. Especially picture books got new expressions, and they are now possible to give more immersive experience. But I thought paper book has the particular way to express the story and using definitely different experience when read story with book or devices even if it is a same story. This is an interactive popup book. By using infrared sensor to get page number and the projector will project the movie to the picture book according to the opened page. I hope the reader who could feel the world of the story, therefore I made some pages has a gimmick which could see the 3D hologram by using plastic plate.

cosmix

「cosmix」はLED ライトを取り付けた衣装と加速度センサを 取り付けたペンライトによるパフォーマンス支援システムです。音楽ライブやステージイベントなどにおいて観客が演出に参加し、一体感を高めるとともに、演者は観客の動きや盛り上 がりを光として身にまとう新たな交流の形を提案します。ペンライト型デバイスには加速度センサが搭載され、ペンライトの 動きを検出、動きに対応したパターンで衣装のLED が点灯します。演者サイドから制御される、観客のライトをつかったステージ演出は多くありますが、観客が制御する形にすることでよりライブ感のある光の演出を実現したいと考え制作を行いました。

“Cosmix” is a performance support system with costumes fitted with LED lights and a pen light fitted with an acceleration sensor.In the music live and stage events, the audience participates in the production and improves the sense of unity, and the performer proposes a form of new exchange wearing the movement and excitement of the audience as light. The pen light device is equipped with an acceleration sensor which detect movement of the pen light, the costume LED lights in a pattern corresponding to movement.Although there are many stage directories using the audience’s light controlled from the side of the performer, I made a work that I wanted to realize the production of live light with a lively feeling by controlling it by the audience.