本研究では「色聴」と呼ばれる、音を聴いて色を感じる共感覚に着目し、入力された音声情報に対して、リアルタイムでユーザー独自の色聴感を可視化する映像アプリケーションの制作を行いました。アプリケーションは、入力された音声情報からリアルタイムに映像を生成するビジュアライザと、ユーザー固有の共感に基づく「音高と色の対応」を入力するためのツールから構成されています。感覚の再現にはまだまだ足りない部分の多いものですが、このアプリケーションを利用して、あなたの持っている未知の領域や感情に少しでも興味を持っていたら嬉しいです。
In this research, we focused on synesthesia, which is defined as someone who can feel the color by hearing the sound. We made an application to visualize user’s own color perception in real time. The application consists of a visualizer that generates images from the input audio in real time, and a tool to show the correspondence between pitch and color based on user’s empathy. Although these tools and methods are still insufficient to represent the sensation, it would be my pleasure if the application will be helpful for you to develop the interests you may already have in the unknown territory and emotions studies.