6月18日，微软举办的“HoloLens与混合现实技术集会深圳站”在腾讯大厦举行，微软（中国）开发者体验与合作平台事业部刘昕羽就HoloLens的应用设计做了相关分享。 以下内容由VR陀螺整理（有删减）： 交互设计的变化 对于开发者来说，以前的信息只是展示在2D的屏幕上，但在HoloLens里增加了3D空间的感知，信息可能会和物理化学结合在一起，所以交互上的框架或者信息的展现的思维方式发生了根本性的变化。 1.信息在空间中三种锁定方式 第一种，Display-lock（显示屏锁定）。现在汽车前面的玻璃上或者抬头显示设备上显示的信息HUD，典型的Display-lock。车在转动的时候，正前方的屏幕上面的信息根据你看到的这个物理环境，信息发生一些变化。直接把这个场景直接迁移达到HoloLens上，就是说镜片上贴了一层信息，当人在转动的时候，身体和头部运动是锁死的。 第二种，Body-lock（追随式的锁定）。把原来屏幕上常用的工具栏或者菜单放置在3D空间时，工具栏和菜单距离人有一些空间位置。当人在走动或者转动时，工具栏和菜单是一起转动的。Body-lock和Display-lock的区别是，Display-lock的屏幕是锁定的，相当于在头和信息中间，视线是一根钢丝。头在转动的过程中，信息位置是锁死的。而Body-lock，钢丝换成软管，头部转动，信息相对迟缓，滞后于头部运动。 我们发现，如果信息以Display lock的形式呈现给锁给用户，他会时刻想把这个东西甩开，所以建议大家有常用的工具栏、常用的菜单请把Display lock换成Body-lock的形式，客户更容易接受。 第三种，Word-lock（物理环境锁定）。它是指一个hologram或者常用的工具栏、菜单锁定在一个固定的物理位置，当人走动的时候，hologram像一个真实的物理物体一样固定在这个位置，不会追随这个人的走动去变化，这是最常用到的锁定方式。 2.三种应用类型 开发一款HoloLens的应用，我们大概把它分成3类。 一，以增强环境为主的体验。这对应的是现在应用商店用户可以下载到的一些2D的内容，包括HoloLens可以运行的IE浏览器，一些小的APP，它们是2D的。打开应用的时候依然是一个2D的视窗，只不过可以把这个贴在卧室或者厨房的墙上。 二，HoloLens最擅长的一种，叫混合现实的体验。这种是全息的物体和真实的物体之间互相映射拓展。 三，HoloLens也可以有趋向于虚拟现实的体验。HoloLens里有一款经典、标杆类型的游戏叫做《Fragments》，它是模拟第一人称视角的密室逃脱游戏。这款游戏提供了类似虚拟现实的体验，不同的是戴上HoloLens需要扫描房间的表面结构，之后HoloLens会基于扫描的地面、墙壁、房顶重新渲染，把整个房间变成游戏场景中一个特制的封闭的地下室的场景。游戏沉浸感非常强，但这种场景更多的依赖于真实环境。在这样的场景里会面临着大范围的渲染、贴图，这对于设备的耗能消耗是比较大的。 3.UI类型的拓展 UI的类型也能进行一定的拓展。传统的UI对话框或者HUD，还有剧情UI。剧情UI最开始来源于游戏场景。比如游戏场景里，手机、电话、PC等等游戏道具会自发的给用户提供一些线索，帮助用户完成游戏后面的一些流程，这就是剧情UI。但剧情UI不一定会被发现，尤其是用户第一次使用头戴体验应用。用户最开始体验产品的好奇心是非常强的，当他看到空间中有这么多虚拟的内容时候，哪个都想看，而哪个剧情UI能够引起用户的注意，这是设计师需要重点去关注的。 再加上，人正常的视野范围很广，210~220度。而现在市面上不管是HoloLens，还是VR设备，水平方向的范围并没有真实人眼的视场角广。那么会产生就遇到一个问题，比如我做了一款产品，混合现实的游戏场景，一定有些游戏线索是超出了用户视野范围的，该怎么去引起用户的注意？ 这一点或许有些难度，像HoloLens可以借助它灵敏的部件，比如它两边红色的小耳朵，空间音效的音箱给用户指引，也包括空间当中提供给用户一些视觉，比如箭头类的指引，或者通过游戏中间的一些虚拟人物的出现，虚拟人物在观察视野的角度，他观察的方向其实对于真实体验游戏的人来说，也可以间接指引告诉用户应该去看哪儿。 所以运用3D应用空间设计的时候，开发者要更多的关注产品和硬件本身性能特性，充分把它利用起来，给用户提供更多的线索 。 4.视角切换 对于用户来说，他现在的这个视角是第一人称。HoloLens上，官方建议hologram展现的屏幕可操作的区域距离在1m~5m，近裁面是0.85。这意味着展现位置是0.85m时，用户离hologram越来越近，用户会看见这个模型的裁切面。但如果说，开发者就想用户近距离的去探索一些细节，可以手动把这个近裁面调近（即<0.85m），但是有可能离hologram越来越近时，这个效果会变得模糊、跳帧。 六大交互组件 现在MR平台上的六大交互组件，注视、手势、语音是用户主动输入的交互方式。 1.注视 注视是指正前方的白色光标，开发者知道用户在看哪儿，可以充分调动它。除了像鼠标一样定位以外，也可以长时间注视后，实现按钮的激活。 注视是一个很好的帮手，当用户看不到光标会默认死机，他们会特别没有安全感。我们建议开发者如果没有特别需求，尽可能把光标展现在客户的眼前，让他用的时候能随时能够抓得到，千万别把它默认到看不见了，不然用户不知道下一步该做什么。 光标是一个入口，开发者可以自己定义光标的形态，颜色，视觉反馈的一些效果。现在有一些团队把光标做成了一个推广品牌的渠道，比如说品牌的颜色、跟品牌相关的一些视觉元素放到光标里。 再有，用户的头怎么动，他正前方的光标就怎么动，频繁地动头或者精准定位是非常累的。我们建议开发者千万别把视追角度做的太小，定位太严苛了，用户不会发太多时间在这上面去浪费时间。大家可以提供自动吸附的功能，那对于用户的脖颈压力会小一些。 2.手势 手势，现在支持的手势还很有限，像Bloom基本是系统独占的手势，专门来调起“开始”菜单或者帮助用户关闭第三方应用。开发者最常用的是“点击”或者“拖拽”实现放大缩小，调整位置的场景。手势API现在没开放是考虑到这个平台比较新，特别担心每一个产品大家都定制手势，这样对于用户来说，学习成本太高。毫无疑问，手势API肯定会开放，但不能确保时间点。 3.语音 语音，HoloLens进中国了，但这个版本上它只支持英文的。另外，小娜的语音识别比较苛刻，但凡有一点口音，识别都不是特别准。中文，开发者要求助微软一些做中文语音语译服务的技术或者像第三方科大讯飞。 语音是一个比较好的渠道，可以帮助用户跳过很多繁杂的步骤，但是语音也有一些受限的场景。比如，用户需要“放大、缩小”时，可以用手较好控制颗粒大小，而语音控制放多大，放多小，这是非常不好描述的。我们建议开发者把手势、语音、注视这几种交互方式把它搭配去使用，包括极端场景，比如一些公共场合用户是不能说话的，这种场景下用户可以通过语音以外的交互方式体验。 再则，微软平台上，语音有一个交互模型，用户看见什么就读什么，比如你正前方的这个按钮，它上面绘有简单文字的指令，用户看到了，注视到了这个按钮。接下来，按钮上写了什么就读什么，可能有一系列的按钮，开发者需要确保语音指令的简短，包括不同的指令发音相似。 4.空间扫描指引 空间映射、空间音效、世界坐标，无疑是开发者提示大家，设计思路要放开，不再是2D平面，要利用其Z轴的纵深。 大家认为HoloLens有意思是因为它本身对环境有感知能力，即利用Spatial Mapping能力，但同时也要知道Spatial Mapping带来的问题。比如，HoloLens在扫描空间会出现一些误差或者扫不到镜面，又或者扫不到平面会凹凸不平，出现不贴合的状态。这可能是因为光线和实际物理材质、颜色都可能对定位产生影响。 材质上，玻璃不行，HoloLens会默认什么东西都没有。颜色上，纯色、纯黑或纯白，尤其是带亮面反光，出错的几率非常高。大地色、木头颜色、木头纹路、地毯纹路、房间中有反差比较大的图形图像都能进行精准定位。精准扫描后才能确保在空间坐标系上增加的锚点，以及锚点上增加的这些hologram不会出现漂移的情况。光线对HoloLens色性来说，不是太好。之前很多人说HoloLens不能再室外用，其实不是不能在室外用，而是不能在室外这种有强烈光线照射下使用。再则变化的光源，像夜店或者一些展会的光特别闪，对于HoloLens来说，在定位时很容易出错。 这么多问题，怎么尽可能的避免？开发者首先要确定用户的使用场景，接下来设计上，如果产品对于空间的实际的环境要求非常严格，扫描之前需要加入一段引导扫描指南。比如，地面、墙面、房顶都增加一些维度，从而让扫描结果达到不同的等级。扫描足够精准时，再让用户开始应用体验。此外，尽可能在空间中去搭建锚点的网格体系，在一个锚点在2m~3m的范围之内，在此基础之上，多增加锚点的网格体系。 1.文字显示 HoloLens上的文字显示和微软在其他平台的文字非常类似。就微软而言，HoloLens上开发者所做的应用不只是针对娱乐，更多是帮助提高工作效率，文字的使用上尽可能选用易读文字。我们建议，英文用segou UI，中文用等线体，不管是放大还是缩小，识别率都非常高。HoloLens上不建议开发者用细体的文字。如果有些可交互的按钮，开发者尽可能在按钮之后加入一些反馈的色块衬托，一来用户看的特别清楚，二来，按钮交互的尺寸要大一些。 2.颜色显示 HoloLens有四层镜片，它们分层渲染，每一层镜片红、蓝、绿，这意味用户快速转动头时，尤其正前方是一个白色的球，快速移动头，色彩分离的现象就出来了，大家会看到每层镜片在渲染什么颜色。怎么去避免？不能避免，只能通过一些小的手段把这个问题绕开。比如，运动模式上用Body-lock锁定方式；纯白色很容易出现色彩分离现象，用Display-lock的锁定方式就会出现色彩分离，但是如果把换成Body-lock，效果就会好很多；要么调整颜色，要么改变展示形式，把固态的图像变化成模糊线的形式，两边渐变就消失掉。HoloLens里白色使用RGB 235，不用纯白。 3.设计考量要素 HoloLens不间断工作时长是2~3小时，技术上来说，眼镜视野范围是可以放大，但如果把镜片的视野范围放大，带来的直接结果就是只能支撑半个小时，这是用户无法接受的；扫描空间，10*10的会议室或者说10*10小的仓储房间应该是可以的，再大，我们也没试过；舒适度，尽量避免用户在使用的时候长时间举着胳膊去进行操作；刷新率，如果确保不了60帧的刷新率，尽可能确保稳定的30帧；慎用HUD；UI别像以前做平面设计或者app设计中常用工具栏放在在右上角或者右下角，HoloLens里，用头去够这些工具栏时，一定放在视野偏下的位置，这些地方对于用户是他头颈比较接受的范围；降低用户有可能出现晕眩的感觉，HoloLens相比VR产品好很多，但是也有体质特别敏感的人，尤其是一些动效，这种Z轴的带加速度的离远离近最有可能让他发生眩晕。 场景设计与原型制作 开发者通过一些平面软件或者一些交互的工具设计移动应用原型还比较方便，但做这种混合现实或者虚拟现实，没那么简单了。最直观的方法是手绘，而通过手绘去表现一个3d空间，却不能确保最后的体验和原型相互匹配上。比如，用一些手上可以找到的模型搭建开发者想要的场景，手里拿的软管是在模拟正前方的光标，篮框在试图模拟远近不同的时，有限视野范围能看见什么。我们建议开发者把这种相对简单，原始方式搭配使用，做一些测试。 福利：后台回复“HoloLens”，获取完整版PPT！ 关注微信公众号：VR陀螺（vrtuoluo）,定时推送，VR/AR行业干货分享、爆料揭秘、互动精彩多。