Braille Pad Project

Print
Print

点字Padプロジェクト

視覚障がい教育において、点字学習は基礎的な読み書きのコミュニケーション手段として重要な教育です。近年タブレット型の情報機器を取り入れた教育が普及されつつありますが、視覚障がい者にとって点字などの触覚提示教育と併用して使用することが難しいことに課題があります。そこで、本プロジェクトは触覚提示に乏しい既成のタブレット型ディバイスと点字を同時に使用できる、触って楽しい点字教育支援システムの開発をしました。この開発によりこれまでの点字学習を生かしながら情報機器を使用した学習を図り,点字を入り口としたアクセシブルな教育への関心を推進します。

まるちゃんのおさんぽ

NAKANISYNTH

プロジェクトメンバー:

首都大学東京システムデザイン研究科 | 串山 久美子, 馬場 晢晃, 渡辺 真太郎, 中西 恭介, 茂木 龍太, 兼松 祥央, ポール・ヘイメズ, 松岡 湧紀, 横溝 有希子, 須田 拓也, 韓 旭, 山口 晃人

筑波大学附属視覚特別支援学校 | 山口 崇

Braille Pad Project

In the education of visually-impaired people, learning Braille is an important facilitator of basic communication through reading and writing. In recent years, education that incorporates information through tablet devices has become increasingly popular, but is difficult to use in conjunction with tactile presentation, such as Braille for visually-impaired people. Therefore, this project is developing tactile Braille presentation delivered through everyday tablet devices as a fun way of supporting Braille education. Through the development of this system for learning Braille, we hope to promote an interest in increasing the accessibility of Braille education.

MARUCHAN’s Walk

NAKANISYNTH

Project members:

Tokyo Metropolitan University Graduate School of System Design | Kumiko KUSHIYAMA, Tetsuaki BABA, Shintaro WATANABE, Kyosuke NAKANISHI, Ryuta MOTEGI, Yoshihisa KANEMATSU, Paul HAIMES, Yuki MATSUOKA, Yukiko YOKOMIZO, Takuya SUDA, Xu HAN, Akirahito YAMAGUCHI

Special Needs Education School for the Visually Impaired, University of Tsukuba | Takashi YAMAGUCHI

未来シティのsheepsleep

首都大学東京・システムデザイン学部の串山久美子が実現を目指す“未来の枕”。この枕­は、各個人に合った睡眠をサポートしてくれる抱き枕。睡眠とは浅い眠りの「レム睡眠」­と深い眠りの「ノンレム睡眠」の繰り返しで構成されています。「レム睡眠」状態の時に­起きることで、疲労感や眠気が残らず、スッキリとした気持ちのよい目覚めとなる。この­“未来の枕”は、起床の鍵となるこの「レム睡眠」を狙って起床させてくれる。加速度セ­ンサで寝返りの振動を感知し、個々に違いのある「レム睡眠」と「ノンレム睡眠」の継続­時間を計測。このデータを元に、自分が起きたい時刻に一番近い「レム睡眠」時に光と音­の効果により目覚めさせてくれる。この技術により、日中の活動レベルを下げることなく­、効率よく仕事や家事に打ち込むことができる未来が訪れるだろう。

ビデオ:http://www.tv-tokyo.co.jp/miraicity/backnumber/044.html

ダンスパフォーマンスを拡張する装着式デバイスの開発

p07_kotegawa

近年様々なメディアでダンスが取り上げられており,そうした中で新たなダンスの表現が生まれてきている. ダンスと何かを組み合わせるものが多くその中で「LED」の衣装をまとったものがある.しかし,これらのシステムは楽曲や舞台の進行と同期して発行タイミングを合わせるものが多くシステムが大掛かりであると同時に演者光をコントロールることが困難である.そこで本研究では動きにあった光り方をするようなアルゴリズムを見つけその動きにあった光り方を提供可能なデバイスを提案する.

In recent years, dance has been featured in a variety of media, and as such, has led to new forms of dance. Amongst these new forms are combinations of dance and costumes that utilise digital technology such as LEDs. However, these systems do not synchronise easily with other aspects of dance performance, such as music and lighting. Therefore, in this research we propose to develop a device that utilises an algorithm that allows for a performance where lighting reacts to the performer’s movements.


Paper

Gocen

In both childhood and adulthood, training is necessary to read music scores, which sometimes makes music composition and performance difficult to learn and enjoy. In this research, we proposed a system that enables users to play their own handwritten musical notation by using our intuitive musical interface.

Since the 1960s, Optical Music Recognition (OMR) has become established in the field of printed scores. Recently, Yamamoto proposed an interactive musical system that directly utilizes printed music scores as an instrument using matching keypoints. However, little research on handwritten notation has been done, nor on interactive systems for OMR. Therefore we created a system that combines notating with performing in order to make music more intuitive as a way to assist those learning how to read and write musical scores.

ウェブサイト

Papers

  • Tetsuaki Baba, Yuya Kikukawa, Kumiko Kushiyama, Gocen: Appropriating Simplified Handwritten Notation as a Musical Interface, Journal of Asia Digital Art and Design Association, ADADA, Vol.18, No.1, 2014 [PDF]
  • 馬場哲晃,菊川裕也,串山久美子,青木允,簡易な手書き譜面を利用した演奏システム Gocen の設計,情報処理学会論文誌,一般社団法人情報処理学会,Vol.54, No.4, pp.1327–1337, 2013-4 [PDF]

モジュール構造を用いた空間創出インタフェース

IMG_7253m

建築物の有用性とメディア技術の統合を目指すインタラクティブなインタフェース

Yuki Matsuoka  Saki Yamamoto  Yoshimi Iijima Kazumi Sato  Tetsuaki Baba  Shin Tsuchiya  Kumiko Kushiyama  Verl Adams

私たちはインタラクティブなモジュール構造を用いた光の空間創出のためのインタフェースを開発しました。ひとつのモジュールはとてもシンプルですが、複数あることによって単純な動きも複雑化され、空間に美しい陰影を作り出します。今回はこのシンプルなモジュールを積層することで、美しさはもちろん、あらゆる場面でフレキシブルに利用できます。また、従来とは違った立体的なサイネージなどの情報発信の手段としても活躍する新しい空間のカタチを提案します。

This research integrates interactive media technologies, such as motion detectors, light sensors and motion actuators, into the design of architectural modular screen structures in order to create new types of intelligent, interactive screen wall systems. The results will have multiple practical and artistic applications, including architectural sun shading, privacy screening and varied interactive media applications. This work will combine  the beauty, utility and spatial qualities found in architectural screen design with the intelligence and interface of interactive media.


Paper

  • [PDF]

和音の協調性を用いた他者との調和インタフェース

p09_ito

本研究では、他者と協調関係を視覚と聴覚により再構築するインターフェースを提案します。ここで言う協調関係とは、二人のユーザが相手の行動を意識しながら自分の行動を決定する状態を指します。深度カメラを用いてタッチ位置を測定できる透過スクリーンを利用し、対面している状態の2人のユーザが重ねた音の協和性をリサージュ曲線によって可視化します。

This research proposes an interface where users can build cooperative relationships through visual and auditory communication. In this context, “cooperative relationship” refers to users determining their actions while being aware of another user’s actions. We made a transparent screen that measures touch position by using depth camera, and visually mapped sound harmonics by Lissajous curve.


Paper

  • [PDF]

Shiftbeat

p16_yoha

Shiftbeatはユーザが直感的に音楽演奏ができるインタフェースです。静電容量センサーによるジェスチャー認識を用いて直感的な入力を実現しました。入力センサに触る強さ、時間などの触り方の変化でパラメーターを調整できます。本作では、既存の音楽インタフェースでは入力しづらかった人為的なリズムのズレや音の強弱などを表現することを目標としました。
Shiftbeat is an interface that allows the user to intuitively perform music. Intuitive input was created by using gesture recognition through the use of a capacitive sensor. By adjusting the amount of pressure applied to the input sensor, you can adjust parameters, such as time intervals. We aimed to produce an artificial rhythm and an efficient way of producing sound that is not possible to perform with existing musical interfaces.


Paper

  • [PDF]

Hand Writing

p18_yin

Hand Writingは小学生における漢字の書き取りをより効率的に行うためのシステムです。デジタルペンを利用したり、ゲーム性を持たせたりするなど、小学生が飽きずに漢字練習できるインタラクティブなシステムにしました。デジタルペンを用いて紙面に漢字を書くと、事前に登録した手書き漢字データと書かれた筆跡を比較して識別し、スクリーンに書かれた漢字を表示します。書かれた漢字はデジタルペンを用いることで操作できます。それぞれの漢字ごとに音階を割り当てており、一つ一つをぶつけると音が鳴ります。

本作は、手書き漢字を活かしたインタラクティブな漢字学習で小学生の漢字学習を楽しくさせ、学習者の学習意欲をあげることを研究目的としています。今回では小学校一年生で習う80字漢字は手書きデータを登録しました。今後は更に上の学年で習う漢字のデータを登録することが課題です。

Hand Writing is a system which can efficiently improve the ability to read and write Chinese characters of elementary school students. We created a fun interactive gameplay system where students can practice Chinese characters using a digital pen. By writing Chinese characters with the digital pen, the system recognizes the hand-written characters and compares them with the Chinese characters stored in database. It is possible to manipulate characters on the screen. Different characters have different tones, and sounds play when characters collide. We aimed to utilize the interactive system to provide students with a more enjoyable experience when writing Chinese characters, thus increasing their willingness to learn. The system currently contains 80 characters from the first grade of school. A future research goal is to provide all the Chinese characters that students learn in upper grades of school.


Paper

  • [PDF]

GROOVE

p08_komiya

GROOVEはダンサーの動作によって映像や音楽を変更できるデバイスです。近年、ダンスの義務教育化やダンスアイドルの人気などにより、人々のダンスへの興味関心が高まっています。しかし、ダンスは既存の音楽や動画に合わせて演技をすることが多く、ダンサーが自身の動きに合わせてリアルタイムで音や映像を変化させ、会場を演出するような演技はほとんど見られません。そこで、マルチメディアを演出するためのデバイスを提案します。ダンスの中でも他のダンスに比べて手の動きが特徴的であり、手の動きが映える「LOCK」というジャンルに対象を絞っています。演者が本デバイスを身につけることで、搭載した様々なセンサから動きの速さや力の入れ具合を認識し、それらを元に総合的な演出を演者自身が行えます。

In recent years, due to the inclusion of popular dance in compulsory education, and the popularity of dance idols, there is a growing interest in dance. However, dance is often carried out in accordance with the music and video, rather than the sound and video responding to the dance. Therefore, we proposed a device for directing multimedia. For the purpose of this study, we focused on the dance genre known as “Lock”, which features prominent hand motions when compared to other styles of dance. When worn by the performer, this device – through various sensors – recognizes the speed and force of the performer’s movements, which affects the music and video accordingly.


Paper

  • [PDF]