神级开源混合现实眼镜！200块钱视觉效果超HoloLens

我昨天晚上彻夜未眠，不是因为苹果昨天的发布会发布的ARKit，而是因为我体验的一个纸板做的增强/混合现实(AR/MR)眼镜，让我激动不已。

我被邀请到位于硅谷的科技创意工作室Amber Garage，参观他们的开源项目HoloKit。它由毕业于清华和斯坦福的胡伯涛和来自纽约大学的朱逢源研制。Holokit的核心运动估计功能是基于香港科技大学沈劭劼教授团队的开源技术开发的。

在我看来，他们送给了AR行业这份大礼，将改变整个增强/混合现实和虚拟现实（VR）行业的规则，森森的有一种增强/混合现实界的普罗米修斯的感觉！！

用生命担保这个是实拍图，于纽约地铁

众所周知，微软HoloLens商业版卖39188人民币，而开发版卖23488人民币，而且还限量！

而这个牛逼的研究团队用不到两百人民币的成本，接近甚至超过了微软HoloLens的视觉效果！要知道微软HoloLens上百人团队研发了数年时间，初略估计耗费上亿美元。(Hololens用的是waveguide波导成像，HoloKit用的是和Meta 2一样的传统光学方案)

而Holokit，不要39188，只要两百块！！！

更可怕的是，他们把软件和硬件方案全部无偿的开源出来，所以现在任! 何! 人！都可以做增强/混合现实的开发了。

对，就是这个看起来丑丑的纸板HoloKit眼镜，让整个增强现实行业面临洗牌，但成千上万的开发者将因此受益。

2017年6月6日的这个夜晚，这个眼镜也会让无数人激动，增强现实开启了新纪元。

影响的会是全球几十家增强现实和虚拟现实公司，包括英特尔、微软，谷歌、Facebook、Meta、Magic Leap等一大波VR/AR领域投入重金的科技及巨头。

激动的会是国内所有的VR开发者，创业者、厂商和代工厂，和所有想做AR/MR却无从下手的开发者、创业者、厂商和代工厂。

而如今，同样影响的还有苹果ARKit，ARKit这个昨天发布会上最容易被人忽视，却是昨天苹果发布会上最革命性的产品之一。

简单的说，ARKit基本实现了单目加惯性测量元件(IMU)的定位算法可以提供的大部分功能，凭借广泛的硬件覆盖率，iOS有望有活力的AR内容平台，类似PokeMon GO类的AR游戏体验肯定有质的飞跃，一大波真AR游戏应用可能会到来。

苹果封装了这些定位算法并提供给开发者调用，做的事情其实和HoloKit一样，所以并不会对苹果AR策略有影响。但根据目前通过粗略的与苹果的iOS 11测试版对比评测发现，HoloKit的VINS算法应该也能基本达到ARKit官方展示的效果，所以安卓厂商可能可以直接利用修改HoloKit开源的算法做到比苹果ARKit更牛逼！

为什么对行业有巨大影响？

先解释一下MR（混合现实）是什么呢？MR是将真实世界和虚拟世界混合在一起，来产生新的可视化环境，环境中同时包含了实时的物理实体与虚拟信息。当VR已经烂大街，MR的大门才刚刚开启，在Garnter的技术成熟度曲线上远远落后于VR，还处于幻灭期。

所有人都相信MR是未来，巨头也疯狂的投资AR/MR行业。

为了布局，Google和阿里等投资了13.9亿美元给Magic Leap，微软HoloLens上已经研发数年时间，腾讯和李嘉诚等投资5000万美元给Meta，而Google也花费重金在Project Tango上，英特尔在Project Alloy上也制定了明确的MR策略，要砸钱做头盔，连Facebook也开始大谈特谈AR策略。

尽管巨头们都花重金投入，然而从一个普通的消费者角度来讲却没有看到实质性进展：

1. Magic Leap依然还是个迷，流出来的信息也就是一张背包图，也有人说是头戴电冰箱。

2. Hololens还是限量的非消费者版，现在这个版本据胡伯涛说他2年前就用过了，东西是不错，感知部分空间定位做的很棒，显示部分一般（视场角只有45度），要价$3000（2万多人民币），消费者买不起，第三代版本据说要2019年发布。

3. 李嘉诚和腾讯投资的Meta 2开始预订，还没有发货，据说定位的延时超过100毫秒，显示部分清晰度一般，而且还需要一台PC连着，用户预定等了一年半还是没有拿到！

4. 其他的MR公司的眼镜也都停留在展会演示品阶段。

现在，这些都无所谓了，过去大家体验不到的神秘兮兮的混合现实眼镜已经向我们打开了大门。

因为任何一个人，利用开源的HoloKit的算法和硬件，不到两百块钱可以搞出世界上顶尖的混合现实眼镜。

（咦，上面的东西看起来好熟悉）

为什么有人要激动？

来说一下我的用户体验，我体验之后，说了大概十五个“我操，太牛逼了”。

其实用了HoloKit之后表示震惊的不止是我，还有斯坦福光场显示专家 Gordon Wetzstein教授，甚至是谷歌Project Tango的创始人Johnny Lee。

Johnny Lee of Google Project Tango

连Youtube第一网红Casey都拍手叫好！

Casey Neistat using Holokit in New York City, May 24 2017

来看看这段视频感受一下：

把增强现实产品行业水平前进了至少一年

先给一张表格对比HoloKit和其他产品的优劣。

(这么算 FOV : h = 30 deg, v = 17.5 deg for hololens. 2 * atan(sqrt((2 * tan(h degree /2))^2 + (2 * tan(v degree /2))^2) / 2) to degree)

交互部分

交互外设支持：你能想到的能连上手机的东西，都能做交互。

比如说一个蓝牙耳机的音量键 + 你头部指向中心的光标，就可以做几乎等价于HoloLens 主要交互模式。

比如说任意一个蓝牙控制器（$10以下），都能做交互。

比如说另外一个手机也能做控制器，还能实现了3自由度的交互呢。

下图中这两人一个用手柄，一个用手机做交互。其实效果都是一样的。是不是很便宜就实现了很多很科幻的效果？

手势识别

最简单的方式：我们可以装个 leap motion上去也实现了黑科技手势识别。

黑科技的方式：利用现有普通手机的单目摄像头做手势识别，不需要额外硬件。这个目前有很多库都能用，一个比较好的是 manomotion。

感知部分

感知部分是这个项目中最高科技的部分。

HoloKit采用基于手机惯性传感器和相机的传感器融合的里程计定位(VINS) 来实现Inside-out tracking （由内向外定位）跟踪。目前采用了香港科技大学沈老师领导的实验室今年最新的论文的技术，这个黑科技是真实的（在硅谷密探微信公众号后台回复“mr”获得论文链接和代码实现）。

以下是来自胡伯涛的评论：

1. Meta 2 的位置跟踪烂到我已经不想说什么了。跳过。

2. HoloLens 比我们的效果好些，延时低，鲁棒，因为它有很多相机（4个）+ 一个HPU专用电路做定位。但正是由于特殊的芯片导致其成本居高不下的原因。

3. Tango 的效果不错，所以我们做了认真对比。下面是我们和Tango的对比。下图可以看出我们的loop closure可以把偏移修回来。

下图可以看出在办公室跑了几圈以后，Tango的飘逸已经修不回来，我们还能修正回来。

结论是基于Tango的专用硬件的效果的大体差不多，Tango精度比我们好一点的，我们长期的定位效果好点。

1. HoloKit vs ARKit

Apple 6月5日，发了 ARKit 这个事。所以昨天下载了iOS 11 beta，做了一个简单对比。

上面的iPhone 7plus跑的是HoloKit的VINS，下面的iPhone 7plus手机跑的是Apple ARKit，可以看到ARKit完全没有办法把方块定在地上，飘走。而HoloKit的VINS还稳的。ARKit直接用的Apple官方的Demo App。

至少我们这个实验可以看出，ARKit比HoloKit使用的VINS算法飘 （Apple 官方提供的demo vs HoloKit App）。HoloKit应该也能基本达到ARKit官方展示的效果，但这短短发布24以后的测试不能说明什么问题，ARKit 现在还只是Beta，11月才发正式出来，我们还无法给出谁好谁坏结论。

此外 在平面检测方面，HoloKit的算法可以告诉开发者平面位置，所以可以将虚拟物体置放于桌子和地板上。

更重要的是，HoloKit是支持Unity的，所以不需要你懂黑科技和c++，

普通程序员好艺术家也能使用Unity，来开发基于HoloKit的App！

普通程序员和艺术家也能使用Unity，来开发基于HoloKit的App！

普通程序员和艺术家也能使用Unity，来开发基于HoloKit的App！

简单的说，HoloKit凭着一己之力，至少把MR行业的普及硬生生往前推进了一年，而且将增强/混合现实的火种传递给了所有的普通开发者！！！

你不需要买一个几万块的HoloLens，就可以做出超牛逼的混合现实项目！！！而我的感受是在学神把作业让你抄，所以学渣也能及格了！！

顺手把VR行业水平推进了至少一年

说句题外话，HoloKit虽然做的混合现实，但是顺手可能把虚拟现实行业拯救了。

不依靠外部标记点的Inside-out（自内到外）追踪方案一定是未来VR设备发展的趋势，VR能够真正成为的“无线”体验，让人们在 VR 世界里拼接利用肢体和手势进行交互。

定位追踪有多重要呢？简单的说，以前看片(不可描述)你是固定在一个地方，如今你可以绕着她从不同角度从不同位置强势围观。

微软的MR专家Mark Bolas曾表示，HoloLens当中拥有“Inside-Out”追踪技术可用于VR头显设备。如果把HoloLens改用非透明的屏幕，并将视场角扩大，那就成了一款可以秒杀目前所有VR头显的一款高性能VR设备。

而这次HoloKit开源的位置追踪算法（注意是基于移动设备的方案），基本秒杀了目前市面上所有基于移动设备的方案的 “Inside-Out” VR头显的位置追踪，从视场角看也优于HoloLens。硅谷密探此前也报导数家硅谷做“Inside-Out”追踪技术的公司，他们可能也不得不被迫转型。国内的VR厂商也接触到了最尖端的位置追踪方案，瞬间超越了HTC Vive和Oculus等厂商，把国内VR行业水平推进了至少一年。

这也造福了广大开发者和消费者，能够“无线”定位的VR头盔和移动VR设备可能会因此普及，大量受制于定位困难的VR游戏开发者会因此解绑，或许会有VR的杀手级APP诞生。

这是一个礼物

HoloKit是Amber Garage创始人胡伯涛的一个实验性艺术项目。

所有人都相信MR是未来，但众所周知，受限于各种因素，谷歌，微软等大型互联网公司在MR上的表现是缓慢成熟。他认为将学术界的最新技术转移到手机上，可以实现一种简单，价格实惠的MR套件，然后就有了Holokit。

不过他不是一个人在战斗，他的创意的时候背后有一个实力惊人的团队。

HoloKit核心产品是基于惯性传感器与单目视觉融合定位算法的Inside-Out的追踪算法解决方案。Amber Garage负责项目的设计和技术研制，HoloKit的算法来自香港科技大学沈劭劼教授的研究团队。HoloKit的光学原型是来自纽约大学ITP学生朱逢源的课程项目，硬件设计和研制来自歌航电子，经个团队半年的打磨，才形成目前的产品设计和开源代码。

“这是一份送给 AR/MR行业的礼物，为所有技术人员提供开放源码，甚至我们HoloKit的硬件都给出DIY指南。”胡伯涛表示，“对非商业行为全部免费开源，每个人都可以发挥创意思维。”

国内外用户可以从App Store下载Holokit演示应用程序，支持iPhone 7和iPhone 7 Plus。预计七月份将会提供更加完善的版本。GitHub上已经提供了官方视频和开放相关代码。

这是一次社会性的艺术实验，“我对增强/混合现实的态度是中性的，因为长久以来都没有AR的killer app，我想知道如果所有人的都能低成本的参与增强/混合现实，试错成本大大降低。大量的开发者和有创意的学生和艺术家都能进入这个领域这个行业是否会迎来爆发？还是说可能MR/AR并没有想象那么大影响？”

胡伯涛还表示，“我们很期待并好奇，开源贡献者将这样的核心算法发展成什么样，创建什么样的应用，为MR的内容生态提供什么样的创意。HoloKit软件的核心跟踪库是一个开放源码的C++库，开发者可以使用Unity开发App”。

这是一份送给AR/VR/MR行业的大礼，这会带来一场新媒体艺术的革命，混合/增强现实从此开启了新纪元。