2025年初,我(钱誉文)与实验电子音乐人徐昊启动了《滴流》的核心研发,这一阶段的核心目标是突破”预渲染视频”的限制,实现真正的实时音画互动。我们基于OSC(Open Sound Control)协议,结合Blender的第三方Python OSC插件,搭建了以几何节点(模拟节点)为核心的生成视觉系统——简单来说,就是通过”blender midi + 几何节点 + audio2bl音频转曲线”的组合,让音乐直接驱动视觉元素的生成与流动。
2025年4月7日,我发布了技术验证视频(https://www.bilibili.com/video/BV12tRrYTEYB),验证了这套系统即使删除超过300帧的mesh点,仍能稳定保持60帧的实时渲染效果;5月14日,我们发布了1.0版本的内部展演实录,核心视觉是纯黑白的点线面阵列——把音乐频谱分析转化成立体、持续运动的环形阵列,点的轨迹流动构成了最核心的视觉语言。
这一阶段的音乐暂命名为《由一滴水构成的》,我们受相关演出的声场处理启发,摒弃了电子乐常见的”峰值爆发”逻辑,转而聚焦”由一个点出发的持续流动的声音”,并最终确定”滴流(Drop Flow)”这个名字。此时的创作仅聚焦技术验证,核心贡献者只有我(视觉)和徐昊(音乐),尚未引入交互艺术相关的创作。
2025年5月,我们受邀参与UFO Terminal「加载…创作营」的内部实验展演,这成为《滴流》2.0版本的核心背景。这个版本的核心是”多元尝试”——我们希望把数字生成,AI创作、现实扫描的碎片化素材串联成一个整体,同时做了一个关键的视觉创新:重新定义屏幕的角色。
以往的屏幕创作都把屏幕当作”发光的平面”,但我尝试把它建构为”光学引擎”,制造裸眼3D的视觉欺骗效果:首先搭建一个Trust架子,让架子的受光状态跟随屏幕内的光源移动而变化;画面部分不做发光效果,只保留透明通道的轮廓(呈现为黑色影子),再通过屏幕内的光源配合空间中的雾化介质,让这些”影子轮廓”以体积光的形式投射到现实空间中。这个逻辑刚好呼应了传统电影投影的原理——就像投影仪通过胶片将影像投到屏幕上,而我们是把屏幕里的”影子”通过光与雾,变成现实空间里可感知的”物体”,完美实现了”以假乱真”的裸眼3D效果,让画面不再局限于屏幕,而是像真实物体一样存在于空间中。
技术上,我们沿用了1.0的实时控制框架(并在展演说明中引用了4月7日的技术验证视频),演出前1/3是通过Akai APC mini控制器(推子、按钮)实时操控的纯生成视觉;视觉内容上,我们新增了两大维度:一是许思慧基于虚幻5粒子系统制作的、带有音频分析逻辑的方块类视觉,视觉冲击力极强;二是邀请黄敏萱(海外远程)贡献AI生成视觉内容,补充”数字生态/人工智能生态”的叙事维度。我还加入了关键的自然素材——把在雷克雅未克扫描的雏菊苗圃高斯点云素材,做成”黑白点云→逐步上色→生长流动”的动画,实现了”点→线→面→高斯splits→彩色持续流动”的视觉演进,让”一滴水发展出万物”的叙事有了具象的视觉支撑。
不过这个版本的表达还未形成完整的当代艺术语境,仅聚焦”持续流动、持续涌现”;现场执行也出现了小意外:后半段预渲染的视频素材因Blender加载路径错误导致全屏紫屏,调试两次都没解决,最后只能切换备用视频,没想到观众误以为这是设计效果。当时只有我和许思慧到场执行,徐昊(武汉)远程输出音乐,黄敏萱(海外)远程提供素材,也暴露了Blender播放长视频易卡顿的问题,让我们意识到需要搭建标准化的视觉系统。
2025年7月,PRE的夏天老师邀请我们制作 Rooooooom719 音画现场版本,这是《滴流》首次较成熟的公开演出。这个版本新增了马逍遥参与视觉内容制作,团队分工也更清楚:我负责视觉与场景,马逍遥负责部分视觉内容,徐昊负责电子音乐,许思慧负责声光装置。相比前一阶段,这一版更像一次把实时系统放进真实现场结构里的集中测试。
技术上,我们优化了实时互动系统,让音频分析与视觉参数实现全维度映射,每场演出的视觉都是独一无二的实时生成结果;空间光影编排受真锅大度地下空间个展作品的启发,强化了360°环形屏”边界消融”的包裹式沉浸感。视觉内容上,马逍遥加入了像素化元素,深海怪物和蜥蜴骨架(呼应他的昵称),我则连夜制作了关键桥段:用360度相机拍摄近距离的眼睛画面,营造”所有人都被装在罐子里,被外部注视”的沉浸感;同时继承了后续timer展览(2025.11-12)的高斯数字花园理念,设计了”点→现实空间”的视觉转换——两个三角形变形,”一滴水的声响”为空间引入巨型物体,配合雾气打造出弥漫的空间氛围。
不过这场演出时长只有6分钟,被反馈”时长过短”,也让我们埋下了”搭建标准化视觉系统”的种子。
2025年9月,徐昊带着《滴流》参与杭州国际电子音乐作曲比赛,拿下C组一等奖——这个竞赛版本精简了叙事结构,强化了电子音乐的核心表达,视觉部分则适配了比赛场地的硬件兼容性。
真正让《滴流》完成艺术语境闭环的是2025年10月的首届中国(杭州)艺术与科技国际双年展版本(国家级国际展览)。我们组建了完整的创作团队:沈轩(上海市多媒体行业协会副会长)担任艺术总监,王家明(东乌西兔艺术中心联合创始人)担任剧场导演,魏琴作为表演艺术家加入,我负责数字艺术,徐昊负责实验电子音乐,许思慧负责交互艺术。
这个版本分为“开幕式演出”和“常设展览”两部分:常设展览是 7 分钟固定影像版本,而开幕式演出重点处理的是屏幕边界、身体动作和球形全景视频之间的关系。演出前我们在中国美术学院的支持下,用动作捕捉设备在上海、杭州两地排练:魏琴佩戴 VR 头盔坐在 LED 屏前,开场时屏幕突然碎裂,一个承载《滴流》音画内容的球形全景视频撞开屏幕,随后围绕表演者运动。
球体围绕魏琴快速运动,她与球体互动,将头伸入球体;中间桥段通过快速的视觉和声音刺激,处理人面对科技 / AI 时的紧张状态;直到空间突然安静,画面中生长出绿色元素(用青海自然地理扫描的点云素材),团队成员戴上 AR/VR/Apple Vision Pro 上台,完成结尾段落。
2025年11月,《滴流》以“流光绘影”版本参与重庆光影科技艺术节,获得优秀作品奖。这个版本的重点在于装置适配:我们基于“等边矩形展开的 8K 全景视频”制作内容,使它能够适配艺术节的异形屏幕装置,并把系列原本的持续流动表达压缩为更适合展出环境的版本。
目前我们正在规划《滴流》2026版本,核心方向是”实时引擎升级 + 空间交互创新”:
迭代逻辑:”技术验证→多元实验→定型落地→适配拓展”,从纯技术的实时音画互动,逐步走向更明确的现场叙事与空间适配
关键创新:重新定义屏幕角色——从”发光平面”变为”光学引擎”,通过光、雾、轮廓的配合实现裸眼3D的视觉欺骗,让画面进入现实空间
表达内核:始终围绕“持续流动”,并逐步转向更明确的现场叙事与空间适配问题