Voicescapes (2025)
Interactive Art
System Design, AI Pipeline Development, Interaction & Hardware Fabrication
➊ Speech Recognition & Text Transcription: Whisper (OpenAI) / Python
➋ English Prompt Generation: OpenAI GPT API / Python
➌ Image Generation: StreamDiffusionTD
➍ Real-Time Interface & Video System: TouchDesigner
➎ Hardware Fabrication: Arduino / 3D Printing / Cinema 4D
Interactive Art
System Design, AI Pipeline Development, Interaction & Hardware Fabrication
➊ Speech Recognition & Text Transcription: Whisper (OpenAI) / Python
➋ English Prompt Generation: OpenAI GPT API / Python
➌ Image Generation: StreamDiffusionTD
➍ Real-Time Interface & Video System: TouchDesigner
➎ Hardware Fabrication: Arduino / 3D Printing / Cinema 4D
A voice becomes a sentence, a sentence is translated into an image, and the image flows across time
In the exhibition space, an automated system was built to extract text from the audience’s spoken voice through a microphone and use AI models to generate images and videos in real time. Ultimately, this project realizes a real-time interactive video system in which the viewer’s voice is transformed sequentially into text, images, and moving scenes—forming a continuous flow from speech to time-based visual experience.
목소리는 문장이 되고, 문장은 이미지가 되어 시간 속을 흐른다
전시 공간 내에 마이크를 통해 입력된 관객의 음성에서 텍스트를 추출하고, AI 모델을 활용해 실시간으로 이미지와 영상을 생성하는 자동화 시스템을 구축하였다. 결과적으로 본 프로젝트는 관객의 목소리가 텍스트와 이미지, 그리고 움직이는 장면으로 순차적으로 변환되는 실시간 인터랙티브 영상 시스템을 구현하며, 언어에서 시작해 시간 기반의 시각적 경험으로 이어지는 연속적인 흐름을 만들어낸다.
In the exhibition space, an automated system was built to extract text from the audience’s spoken voice through a microphone and use AI models to generate images and videos in real time. Ultimately, this project realizes a real-time interactive video system in which the viewer’s voice is transformed sequentially into text, images, and moving scenes—forming a continuous flow from speech to time-based visual experience.
목소리는 문장이 되고, 문장은 이미지가 되어 시간 속을 흐른다
전시 공간 내에 마이크를 통해 입력된 관객의 음성에서 텍스트를 추출하고, AI 모델을 활용해 실시간으로 이미지와 영상을 생성하는 자동화 시스템을 구축하였다. 결과적으로 본 프로젝트는 관객의 목소리가 텍스트와 이미지, 그리고 움직이는 장면으로 순차적으로 변환되는 실시간 인터랙티브 영상 시스템을 구현하며, 언어에서 시작해 시간 기반의 시각적 경험으로 이어지는 연속적인 흐름을 만들어낸다.