目前还没有用于在VR中学习手语的综合应用程序,但是,伯尔尼应用科学大学计算机科学系的一名学生正在使用Oculus Quest的自带手动跟踪功能,以实现在虚拟环境中学习手语的这一想法。
瑞士大学计算机感知与虚拟现实研究小组(cpvrLab)的学徒塞德里克· 吉拉丁(CédricGirardin)创建了一个初级的Quest应用程序,该应用程序可以识别并教给用户多达23种来自德语拼写字母的手势。您可以执行的每个信号都会被识别并以3D显示;该应用程序会实时分析您的手,并验证用户是否正确执行了签名。
作为Girardin的最后一个项目,所谓的“手指字母的VR-Trainings应用程序”仍然仅限于德语的手指拼写方法,但是Girardin打算尽快将其开源。Girardin在Reddit帖子中说:“该应用程序将保存的手部模型与当前手部姿势进行比较,从而在技术上可以向应用程序中添加任何类型的手势并将对其进行验证。”
如果您想自己尝试一下,实际上可以免费通过SideQuest(一个非官方的Quest游戏,体验和工具库)在Quest 上安装。
VR用户已经使用手语的简化版本(特定的手势控制指令)进行操控已有一段时间了。但是,聋哑用户在VR的当前状态方面遇到了麻烦,例如VR聊天用户'Quentin'总是会将“翻译”和“听取会议”这两个指令搞混。
在对2个女孩,1个播客的测试访谈中可以看出,由于VR控制器不允许全手指跟踪,因此根本不可能进行准确的签名。Girardin 说:“这套手语方案设计使用了一套新的手势,这让聋哑用户目前仍可以在VR中相互交流,但是仍然需要更多的开发,以便用户可以使用其本机的,未经修改的手势语言表达自己。
由于已经存在按语言组划分的几种手语类型,并且在某些情况下还需要区域语言,因此需要一种更准确的输入法,这样就不会使事情进一步复杂化。
也就是说,像在Quest上看到的那样,建立在光学基础上的手势跟踪并不是一种完美的方法,但它似乎确实可以解决迄今为止在聋哑玩家VR群体中看到的一些问题,而Quentin和其他一些正在使用的VR Chat签名者就是其中之一。
来源:roadtovr
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息