打开APP
userphoto
未登录

开通VIP,畅享免费电子书等14项超值服

开通VIP
上月刚拿下数百万融资:这支“技术硬核”团队 曾完成火箭发射VR全景直播

朱雷震认为,团队的成熟度就是公司最大的优势。

年初,公司的两款产品终于做好了量产准备,创始人朱雷震和团队却实在开心不起来。因为产品量产的启动资金不是一笔小数目,又正巧遇到经济下行,融资环境趋冷,公司的现金流开始吃紧。

为了不让公司3年的努力化为泡影,团队内的许多成员都选择了降薪来支持公司。趟过那一段冷水般的艰难期,团队完整地保存了下来。

今年10月,依托于视觉算法开发视频会议场景产品的解决方案提供商“庄生晓梦”宣布完成了由浩方创投投资的数百万元Pre-A轮融资。

“这种成就感,比完成央视火箭发射任务的VR全景直播时还要强烈。这验证了我们团队的成熟和团结。”朱雷震感慨道。

目前,“庄生晓梦” 旗下的两款产品分别是VR全景影像辅助拍摄工具COOLPO和智能会议终端。前者以VR全景相机20%的成本,即可实现专业VR全景相机70%的功能。本轮融资的资金将用于视频会议边缘计算终端的量产,以及基于此技术的其他应用场景的探索和合作。希牧投资管理集团有限公司希牧财富

注:朱雷震承诺文中数据无误,为内容真实性负责。铅笔道作客观真实记录,已备份速记录音。

从算法系统落地到直接产品

和央视合作的“天舟一号”火箭发射VR全景直播,是公司成立早期的项目。2016年,朱雷震创立“庄生晓梦”。由于团队成员大多来自于图像算法公司、芯片公司和科研院校,朱雷震明白团队的核心竞争力在于对视觉算法上的积累。

于是,刚开始,他将公司的业务划分为两块:一块是依据视觉算法开发而成的360度环绕、图像实时拼接的全景商用直播系统产品,这套系统囊括了视频直播的采集端、拼接端、服务器、播放器等等;另一块则是依据开发视觉算法积累的技术实力,为各类企业专门做定制的视觉算法类解决方案,包括人脸识别、汽车电子等等。

“我们的商用全景直播系统虽然可以运用到各行各业的产品当中,但本质上,它只属于各类商用全景直播产品的一部分。没有具体落地的行业或场景,无法直接抓取客户,就很难拥有较高的议价能力。”因此,朱雷震决定做一套落地于具体场景的完整产品。

2016年的参观CES的机会,让朱雷震注意到了VR全景相机这个市场。

普通VR全景相机的价格在数千元人民币左右,专业级别的VR全景相机高达到数万元人民币。但由于VR全景影像行业发展较为初期,许多与实景体验有关的应用场景还没有被人们完全开发出来。除去有特殊需求的专业人士,普通人群购买VR全景相机后,实际使用的频次并不高。

VR全景拍摄是指以某个点为中心,同时进行水平360度和垂直180度的拍摄,拍摄后的多张图经过拼接,组成一张相应的全景图片。拼接后的图片可实现固定地点的VR全景浏览功能。专业的VR全景拍摄需要采用鱼眼镜头,通过专用软件进行拼接。一般来说,手机上的全景相机功能是无法实现真正的VR全景拍摄。

基于对VR全景影像技术的了解,朱雷震判断,随着手机厂商近几年对于摄像功能的不断打磨,许多手机的拍摄性能已非常接近专业相机。“如果能为手机增加FOV一类的辅助工具,手机也可以成为VR全景相机,就可以降低拍摄VR全景影像的成本。”

结合“庄生晓梦”在图像拼接、算法防抖等视觉算法的技术积累,朱雷震认为,“庄生晓梦”可以开发出辅助普通手机成为VR全景相机的工具。

2017年,朱雷震带领团队开始了对VR全景影像辅助工具COOLPO的开发。即使在外界看来,COOLPO是个“小玩意”。但从设计、模型、到量产,庄生晓梦足足走过两年时间,直到2019年8月,COOLPO才实现了量产。

VR全景影像辅助工具COOLPO

COOLPO可作为手机的附加镜头安装到手机上,用户配合自有APP软件,即可一键拍摄VR全景照片,记录分享实时位置。利用多镜头之间影像的智能拼接算法,以及专有电子防抖算法,COOLPO可实现拍摄超广角防抖VR全景视频的功能。

据朱雷震透露,COOLPO能够实现GoPro、VR全景相机这类专门设备70%左右的呈现效果,但价格仅为它们的20%,大概200元人民币左右。

对COOLPO的市场推广,朱雷震还针对国内外市场特点不一,做出了软件服务的不同调整,依据客户类型的不同,提供差别化的服务和推广。国内更偏向于实际应用,提供给对需要记录、传递全场景体验的客户,比如移动租住平台上的中介服务商等;而国外则更加偏向于满足科技发烧友以及旅游记录爱好者的需求。

开发智能会议终端

视频会议,则是朱雷震看中的另一个适合全景视觉算法切入的场景。一直以来,视频会议存在着交互性与使用体验难以提升的痛点与瓶颈。

通常,企业视频会议往往是借助一部或多部手机与会议场所内的视频会议终端进行场景连接。会议场所内常常是多人场景,而视频会议终端却依靠单摄像头进行影像采集。由于角度限制,无法同时记录、传递多位参会者的实时状态、并对同时发言进行有效记录。这在一定程度上导致了视频会议体验无法提高,交互性的提升也难以拓展。

经过长期的调研观察与痛点成因分析,朱雷震认为,这与视频会议终端的影像采集工具密不可分。“如果采用全景影像采集工具的智能会议终端则有机会提升人们视频会议的体验,提升可交互性。”

他解释,全景智能会议终端可利用全景视频影像工具,将会议场所内多位参会人员的实时影像进行完整记录,并通过自身图像拼接算法,将全向360度摄像头捕捉到的影像进行整体拼接,呈现在同一画面当中。

2018年2月,朱雷震正式带领团队开启了全景智能会议终端的开发。经过18个月的产品研发设计,2019年9月,“庄生晓梦”的智能全景视频会议终端已通过技术验证,即将进入硬件量产阶段。

他介绍,这一智能会议终端主要适用于面积在10-30平方米的中小会议场景,适配市面主流云视频会议系统。设备可以对参会人员视频、语音进行360度采集和识别,可在会议过程中实时识别、切换、聚焦说话人画面,并自动进行会议文字纪要,实现人脸签到、智能交互、音频降噪等功能。

智能会议终端(效果参考)

据悉,该套系统的核心技术在于全向声源定位、全向视觉算法以及视觉语音融合验证算法等算法。在语音识别方面,“庄生晓梦”选择了与科大讯飞合作。

在智能终端的硬件生产方面,“庄生晓梦”借助了外部生产商的力量,边缘计算的算法终端则由自己设计制造完成。边缘算法的优势使得终端的产品研发对于芯片的要求并不严苛,即使未来进口芯片供应受到限制,也能采用纯国产制造的芯片。

目前,该终端已与海康萤石达成在视频会议上的深度合作,萤石已验证本产品,并授予了“生态合作伙伴”称号。

未来,除了进一步进行产品迭代工作之外,“庄生晓梦”也计划利用SaaS厂商的渠道资源,进行智能会议终端的市场拓展。

本站仅提供存储服务,所有内容均由用户发布,如发现有害或侵权内容,请点击举报
打开APP,阅读全文并永久保存 查看更多类似文章
猜你喜欢
类似文章
2021CVPR顶会冠军带你解密图像分割
庄生晓梦朱雷震:用智能硬件终端,弥补视频会议软件缺失的“沉浸感” | 镁客·请讲
保千里(600074):全球首款VR手机 无人驾驶风口
Facebook研究新算法:让你看VR视频再也不会吐
5分钟了解全景相机
是谁?用一颗芯片搞定了全景立体影像
更多类似文章 >>
生活服务
热点新闻
分享 收藏 导长图 关注 下载文章
绑定账号成功
后续可登录账号畅享VIP特权!
如果VIP功能使用有故障,
可点击这里联系客服!

联系客服