世界上第一个VR端 3D版的角色扮演AI就在刚刚诞生了！

发布日期：2024-12-21 21:49    点击次数：127

AI角色扮演类游戏（如C.AI、Talkie）从发布以来，一直都是人们最喜欢的AI产品之一。虽然广受欢迎，但不少用户提出，期待和这些角色在VR中有更进一步的交流。

近日，来自南洋理工大学的研究团队在VR中实现了第一个3D版角色扮演AI系统SOLAMI，并公开其详细的技术报告。没错，这意味着和各种角色在VR中沉浸式聊天已经是可实现的！

从技术报告中我们可以看到，SOLAMI支持多种角色，有超级英雄蝙蝠侠，小可爱机器人，二次元老婆，香蕉猫，世界名人特朗普，……

SOLAMI驱动的AI角色能识别用户的肢体语言，从而去关心和理解用户.

展开剩余74%

想让角色跳个舞？只要说句话，角色就能听懂做到.

还可以和角色玩游戏，比如跟着用户节奏动起来，或者剪刀石头布.

大家有没有想过和一个虚拟角色进行面对面的深度对话?不仅仅是简单的语言交流,而是能像现实社交一样,观察对方的面部表情、自然的身体语言,甚至是细微的情绪变化。

心理学研究表明，在社交互动中，沉浸程度越高，用户体验就越好。但目前的AI角色（如Character.ai等) 仍然局限于文本或者语音的交互。这促使我们思考：如何构建具有更丰富模态的3D自主角色呢?

要实现这个目标，主要面临两个挑战:

1. 3D角色需要准确观察和理解用户行为信息，并基于上下文和角色设定通过语音、肢体动作和表情做出合适的回应。这已经超越了之前的单一任务（动作理解，动作生成，语音驱动肢体等）的范畴。

2. 数据稀缺的问题。人和3D角色进行多模态交互的数据极其稀缺，收集这类数据需要复杂的设备和巨大成本。

传统的LLM-Agent框架虽然在高层次任务（如规划和记忆）表现不错，但在理解用户行为和提供及时的肢体语言反馈上存在局限。这是因为用文本作为子模块之间联系的媒介会丢失很多细微的信息。

有趣的是，机器人领域的研究给了我们启发:对于低层次的操作任务,基于LLM构建的端到端视觉-语言-行为 (Vision-Language-Action，VLA)模型表现更好。

该系统利用先进的社交视觉-语言-行为模型，结合合成的数据集，提供更自然的交流体验，超越了传统的文本和语音交互。

数字角色本质上就是虚拟人形态的机器人，那么构建一个偏向于社交互动的VLA模型会不会是一个有潜力的方向?

研究团队表示，SOLAMI技术应用前景非常广阔，未来可能颠覆游戏、虚拟社交和教育培训等多个领域。

比如，游戏里的NPC角色可以变得更智能，更像真人一样和你互动;虚拟社交平台上的虚拟化身可以更个性化，让你在虚拟世界里也能找到志同道合的朋友;甚至还能创造出虚拟老师，让学习变得更生动有趣。

当然，SOLAMI目前还处于研究阶段，但它展现出的巨大潜力已经让科技圈为之振奋。

发布于：上海市