如果你想了解100人的线下互动到底怎么玩;如果你想了解其中的技术难点;那么这篇文章,就是为你准备哒。
如果你想了解100人的线下互动到底怎么玩;
如果你想了解其中的技术难点;
那么这篇文章,就是为你准备哒。
本文共3795字,阅读需要5分钟
本文您将了解到:
1,百人虚拟交互活动体验会遇到哪些问题?
2,百人虚拟交互活动体验的难点有哪些?
3,组织百人虚拟交互体验,你需要怎么做?
“这个事情真的很难,即使再尝试一次,心也是悬在半空中的。”
“这算是有史以来最大规模的VR互动体验了——现场一百个人,不仅能在虚拟的空间里操作汽车,还能相互之间打招呼。”
“你知道了市场到底要的是什么。而不是说,一拍脑袋,我今天再研发点什么功能,可能市场真的用不上。”
本期(第23期)来自诺亦腾科技公司首席技术官兼联合创始人戴若犁对VR价值论进行分享:想做到100人同时交互,4大难关必须攻克。
我们最近发现,汽车行业对新技术的接受程度是比较高的。
汽车行业,它整个的市场体量是非常惊人的。在中国,小规模的汽车企业,可以做到百亿级别;而大的,则是千亿级别。
这样的一个巨大体量,它对于新科技的容纳度也就比较大。
说白了,钱多就可以多试错。它对于成本高、不成熟或者比较费事的科技尝试,包容度非常大,也愿意做比较大的尝试。
4个月前,大众进口Tiguan的高层陆续来我们公司参观,体验,觉得:哟!这个技术好,比起传统的声光电,能让人更直接地获取信息,有更强的接受度,特别适合用在新车发布会的现场,也适合放在4S店,做一个辅助型的销售方式。
那我们基于此,也愿意做一次非常大胆的尝试。
这是给汽车发布会现场做的一个百人交互体验,算是有史以来最大规模的VR互动体验了——现场一百个人,不仅能在虚拟的空间里操作汽车,还能相互之间打招呼。
不过,这样的事情,真的是太难了,遇到了很多的问题。比如说:
识别的问题
我们之前做的Project Alice这套系统,可以同时在虚拟世界中,识别到7个人,而现在,需要识别100个人。从7个人,到100个人,怎么能让机器把这100个人都区别开呢?
大规模数据的处理
大规模数据的处理以往只用处理7个人的数据,现在要同时处理100个人的数据,后台这么大的数据量,怎么保证体验的流畅呢?
管理的问题
同时100个人在线,每台机器还都不能出现问题,怎么统一管理呢?
除了这些,这么大的一个现场活动,可能遇到各种各样想不到的突发情况,这就不仅是技术的问题了,而是关乎不断积累临场的经验。而每一个看似不起眼的小的环节出错,都可能导致整个活动的失败。
即使现在回过头去,再做一场这样的活动,心也是悬在半空中的。
我在这里分享一下,做这种大型的百人互动,我觉得至少需要攻克的四大难关。
1
追踪
如何让摄像头区分出几百个不同的点,这是很难的。
在活动中,100个人现场同时互动,这就得同时识别100个人——不仅要识别他们的头,还要识别他们手里的控制器。这就是说,需要同时识别的其实是200个点。
摄像头如何区别出每个点呢?
其中的玄机就在于:每个点所安装的一个小组件——被动光学mark点。
这个组件包括两个部分:四个小分支和分支上的光点。
在摄像头看来,这些光点都一样,唯一不同的,就是光片的位置。
而每个组件上的四个小分支,就是用来让光片呈现不同位置的。
这些四个小分支角度,形状,长短各不相同,使得光片呈现不同的位置组合,从而让摄像头将每个组件都能一一识别出来。
因此,每个组件上的分支,在空间里,都是独一无二的图形。
如果组件与组件的分支形状比较相似,就容易造成误识别。
那么难点就来了。
做一个组件容易,两、三个也容易,要做到200个,还能让摄像头准确识别,怎么搞?
这里面需要用到一套分型的算法,这个算法必须满足:形状要好看、不要奇怪,小巧、尺度不能太大,区分度足够,不能不可制作,要够结实等。还比如,相互构成的三角形不能太扁,也不能太肥。
这是一整套的图谱分析。
从1个人的识别,到7个人的识别,我们用了17个月;而从7个人,到100个人,我们又用了4个月,来跑这些算法。
2
数据传输
同时传输100个人的数据,怎么能保证不卡顿呢?
我们的方法是对数据进行优先级别的标定。
这个优先级别是根据人对于体验的要求来进行排序的。
那么,这就得回到另一个问题,人们在现场体验时,到底更在乎什么?
最最影响体验的,便是头转动时,会不会晕眩。
如果头部的延迟超过20毫秒,人们肯定会出现晕眩,而对于手,延迟30毫秒,也不太会影响到体验。
因此,在数据的传输中,个人头部转动的数据,就优先于手部控制的数据。
再如,人们在虚拟场景中,所看到的对方的头是不是动了,手是不是正在打开车门,可能就没那么在乎了。那么,别人的动作延迟100毫秒,自己是没有什么太大感觉的。
因此,就不同的个人而言,自己的数据,是优先于别人的数据的。
这就需要进行一整套的排列组合,把每个人的数据错开,哪个数据压缩,先上传,先下发给谁等等。
好比说,你有你的追踪设备,我有我的,这两个追踪设备的数据,你的应该早点到达你那里,我的应该早点到达我那里,我拿你的数据拿得太早没有用,你拿我得数据太早也没有用。
所有人的优先列表都是不一样的,所以我们做的大量工作就是,根据将所有的情况列出来,分类、排序,设定各类情况的1、2、3、4、5等优先级别。这样,就能保证有限的宽带情况下,体验的流畅度不受到影响。
3
控制系统
这对于超多人的互动,非常重要。
这不是一个技术性的难点,而更多是一个管理的难点,即如何实现高效管理:快速发现问题,解决问题。
什么意思呢?
比如,现场有100台机器,我怎么监看这100台机器,保证它们都在正常工作?如果有一台机器看起来像出了问题,或者体验者举止怪异,我该怎么做?
有两个办法。
● 第一个办法,我走过去说,对不起,先生,麻烦你把头盔取下去我看看怎么回事。这样很不礼貌,而且在现场人比较多的情况下,效率极低。
● 第二个办法是,我把跑到这位先生的背后,将其设备箱打开,插一个显示器和键盘,看看到底是不是出了故障。这样的方式,在现场也是很怪异的,同样效率低。
所以,为了配合超多人的同时互动,我们做了一套远程控制100台机器的管理系统,通过这套系统,可以一目了然地看到这100台机器实时呈现的屏幕,可以迅速地在切换想看的画面。
这里面更多的难点在于操作——迅速的切换,哪台机器切哪个屏幕,需要记熟。
再者,切换操作还不能占用特别大地宽带,不能影响到追踪设备数据流的传播。
反正就是为了这么一个互动,需要造很多的轮子,搭了很多工具,去方便管理。
4
各种不可控问题
这里面遇到好多的情况,我列一些我们遇到的事件。
散热
比如,这个多人交互的活动最终是要在深圳举行的,不过,我们是在北京做得预搭建。
在北京的测试结果,完全没有问题,但到了深圳,问题就来了。
问题出在哪?
这段时间,是北京最冷的日子,通常温度在0-7摄氏度之间,所有机器全开,画面没有任何问题。
可到了深圳,室内温度24摄氏度,100台高性能的PC同时跑,就出现了画面的卡顿。
当时,找来找去,都没找到原因。最后想到可能因为散热,于是又给每个坐席加了风扇,才解决了这个问题。
音响震动
发布会当天,我们把所有摄像头的角度都调好了,精准度也校准了,所有的标定完全没有问题。
彩排中,开场秀来了,“梆梆梆梆梆”的那个大低音炮震耳欲聋,然后所有的追踪都不准了。
究其原因,正是这些大的低音炮,把摄像头的位置给震偏了。
这些摄像头就是,稍微歪个零点几度,整个追踪就没了。
当时,我们就提出,你先给我震40分钟,把这些摄像头全都给震到位了,让它该偏的偏,该滑移的滑移,我们再重新标定,这样,才把这个问题给解决了。
闪光灯
体验过程中,不能使用闪光灯,因为所有的摄像头会过曝,又会导致追踪丢失,这样一来,就会正在体验的人,突然感觉到头飞掉了,有一个啪啪的抖动,这样人就会不舒服。
所以,在体验的过程中,我们打好招呼,一律不能使用闪光灯,全部换成大光圈,把ISO顶到1600,用暗光摄影。
距离
现场还需要考虑人们交互的距离。
比如,相互坐得太近,手拿着控制器,挥舞手臂,很容易戳到旁边的人。
要解决这个问题,就需要对交互做一些限定,比如去掉一些需要触碰的交互,而将大部分的交互限定在自己面前。
再一个,位置的安排,还需要考虑到,让人们能相互看到对方,却不会感觉到奇怪,让它们尽量能够对话。
由于戴着耳机是互相听不到对话的,所以,语音需要连接到内容里面。
来宾意想不到的问题
当时,有100位宾客进来,身上穿的是带有汽车Logo的反光条小外套,当时就傻眼了,内心相当崩溃。
因为这种反光条对摄像头有极大的干扰,一大片的反光,半片场地的追踪都给丢了。
这就要求来宾全都脱下来,才可以正常体验。
还有一些宾客,看到现场搭建的很漂亮的大伞,中间是柱子,觉得有意思,就去推一推。
这一推又出问题了。
因为柱子上都架着摄像头,这一推,又得全部重新标定。
所以,我们又专门放了一个小姑娘在那守着:对不起,谁都不能碰。
总结来说,这种大型活动,现场的应急发挥,其实已经远远超过了技术的范畴。现场做总控的那个人,必须要有极强的解决不可控因素的能力,争取资源的能力,沟通能力。
就像当时,我们发现来宾身上的反光条,印着大众的广告,那对不起,必须脱下来。虽然很不礼貌,但就得顶着压力把这事解决了。
比如,现场所有的人都在彩排,不光我们声光电的人,还有活动公司的,德方汽车公司的,本地嘉宾。但你得让所有人都停下来,去嘉宾室等着,低音炮震个40分钟,问题解决了再继续彩排。你能说出口吗?能够去争取到吗?
还有现场,不让使用闪光灯,他们说你疯了吧,但就是不能使用!你有没有这个魄力?
这样的一个大型活动,每个环节都可能掉链子,你能不能以极大的动员能力,在最后一刻,让所有人的肾上腺素全部上涌,让潜力飙升,所有人将注意力集中到一个点,将原本只有70%的成功率一下次飙到了99.9%。
最近我们也在配合大众,来申请吉尼斯世界纪录。
通过最近的几次磨练,最大的收获还有一点,就是说,你不是在闭门造车了,你终于知道了市场到底要的是什么,或者说,直到他们需要你解决的技术的关键点是什么。而不是说,一拍脑袋,我今天再研发点什么功能,可能市场真的用不上。
?版权申明:该文章系VR价值论独家采访或整理,不代表VR价值论观点。如需获得转载授权,请您添加价值菌微信号:VR-jzj(申请时请备注:转载文章)
每篇文章写透一个观点,解决一个问题
——VR价值论
我们不断寻找智慧的人,犀利的观点,扎实的干货和独到的判断,只为将沉在海里的价值打捞上岸。英雄勿论出处,唯价值论高下。如果你想分享有价值的内容,请联系微信vr-jzj
每周干货分享,有价值,你就上!