TouchDesigner Unity PICO 4 Hand Tracking 非遗数字化

JINGWEI ZHIMENG 《经纬织梦》XR 交互艺术装置

以身体为织机,用姿态写纹样——把国家级非遗「藏毯」转化为可参与的 VR 游戏化体验。

ROLE
交互设计师 & TD 技术美术
DATE
2025.09 — 2025.12
CONTEXT
「薪火集」非遗数字化探索 · 独立技术验证项目
STATUS
已完成 · 核心交互验证通过

01 织梦背景介绍

织梦背景介绍视频

02 场景设计

场景设计

场景设计图与演示视频

03 藏毯纹样

藏毯纹样

04 项目概述

本项目以国家级非物质文化遗产「藏毯」为文化内核,针对其当代传承中「体验单一化、参与门槛高、年轻群体认知断层」的痛点,提出「以身体为织机,用姿态写纹样」的创新设计理念,通过 VR 体感交互技术构建「沉浸式编织 — 动态纹样生成 — 文化意义传递」的全链路体验。

以身体为织机,用姿态写纹样。

区别于静态非遗展示,用户姿态实时改变纹样——速度快则纹样扭曲拉伸,模拟「织毯张力」,让每一次编织都是独一无二的。两条并行的交互链路分别由手部精细动作与身体大动作驱动:手势控制图腾开合;用户姿态激活图腾、编织纹样、生成藏毯。

整个系统始于用户的动作输入。身体大动作由独立摄像头捕捉,精细手部操作则由 PICO 4 VR 头显自带的摄像头实时追踪。身体动作数据在 TouchDesigner 中进行骨骼识别与动作映射;手部数据由 PICO SDK 及 TouchDesigner 共同处理。两路控制指令均通过 OSC 通信协议实时发送给渲染核心 Unity 引擎,在沉浸式西藏雪山虚拟场域中完成藏毯的生成与展示。

关键技术创新:复杂的指示箭头、高亮光效等动态图形在 TouchDesigner 中生成并渲染为带透明通道的 PNG 序列帧,导入 Unity 后作为特殊材质应用到模型上,实现二维动态元素与三维虚拟场景的无缝、透明叠加。

05 藏毯人物对应

藏毯人物对应 1 藏毯人物对应 2

06 设计过程与操作演示

TouchDesigner 设计过程

TouchDesigner 节点设计过程

操作演示一

操作演示二

07 海报