Oculus基于英伟达光流SDK推出立体透视Passthrough+
Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路,并且定义所需的组件,从而帮助开发者和用户在VR中获得最为愉快,最为身临其境的体验。今天Oculus介绍了最近发布的技术:基于英伟达图灵Optical Flow SDK的Passthrough+。
1. Passthrough+
Passthrough +是Oculus Rift S中的一项全新功能,它能够以正确的立体透视模式在虚拟世界提供前置摄像头视图。传统的VR透视视图质量有限,这是因为摄像头往往不是位于玩家的眼前。这是技术方面的限制,而且将摄像头设置于用户眼前是不切实际的方案。但我们可以接近这一点。Passthrough +是投影摄像头视图的最先进方法,令画面看起来就像是摄像头成为了用户的双眼。这项功能可以减少深度差异并提高舒适度。尽管摄像头的帧速率较低,但画面感觉自然,而且帧率正常。这因为在比较从不同视角同时拍摄的两个帧时,Oculus的系统可以恢复视差信息。借助基于像素测量所获取的差异信息,再结合摄像头位置,Oculus可以从图像中推断出实际的距离值。通过利用异步空间扭曲技术,Passthrough +可以实时地进行差异估计。
2. 异步空间扭曲2.0
Oculus最近发布了异步空间扭曲2.0。自2016年发布1.0版本以来,它已然成为VR二次投影的行业标准。ASW能够降低用户设备的性能要求和开发者的优化要求。它可以通过光流来推断场景内的运动,并实现进一步的外推。
这意味着应用程序不再受限于VR显示屏的帧率,系统可以开始合成中间帧并予以补充。下面是《Lucky’s Tale》的示例,其中场景应用了运动矢量。
光流这种计算机视觉技术主要用于识别帧到帧的变化。这可以是电影,其中系统追踪运动以跟随对象或整个场景。这同时可以是通过不同摄像头拍摄的两张图像。在更基本的层面上,这种图块匹配和追踪是现代视频编码的核心组件。你可以将光流类比成视频编码中的基于图块匹配的运动估计,但两者的目标不尽相同。在视频编码中,图块匹配的目标不是在场景中寻找运动(尽管这是一个有趣的意外结果)。对于视频编码,其目标是定位类似的图案,并利用相关性进行压缩。换句话说,视频编码器将寻找能够为最精简的数据流产生最佳输出的最佳结果。尽管这通常是场景的流动,但没有任何任何保证,或者说原本就不是为了这个目标。光流涉及在场景中寻找对象的更自然运动。对于压缩,它将是非常次优的目标,只要对象本身能够整体移动,并且可以路径追踪它们的真实世界运动即可。
到目前为止,利用视频编码器一直是ASW的基础。将视频编码器用于ASW的主要优点是,它与GPU的图形渲染并行运行。这意味着当系统尝试生成合成帧时,渲染性能落后的应用程序不会受到负面影响。相反,应用程序可以拥有以前的所有资源,以及预测运动的能力。但主要缺点是合成帧中的预测不完全准确。
3. 光流
英伟达为估算场景中的光流开发了一种更快、更精确的SDK。这家公司于今年早些时候发布了他们的Optical Flow SDK,并用于取代NVENC视频编码器原来单纯的运动估算模式。英伟达的Optical Flow SDK可用于图灵显卡,能够将宏块分辨率提高四倍,优化运动矢量分辨率,并且通过强度变化实现对象跟随,同时强调光流而非压缩比。
结果是终点误差比传统的视频编码运动矢量平均少一半。定性结果同样令人印象深刻。通过ASW,系统可以更可靠地追踪近场对象。手电筒幻觉的出现频率更低,而增加的精度意味着可以更准确地追踪单个颗粒和对象的运动。
4. 基于差异的深度信息
对于Passthrough +,这意味着可以增加投影世界的立体分辨率,同时能够正确追踪和跟随对象。当面对低对比度或过度曝光的区域时,英伟达的Optical Flow仍然可以推断出有意义的视差值,在估计场景深度时防止视图漏洞或丢失数据。以下这个视频对比了视频编码器的运动矢量和英伟达的Optical Flow。插入的窗口是场景中的估计深度,较暗的区域是更后面的位置。你可以在深度缓冲区中看到Optical Flow的优势,其中深度近似值要更加精确。
5. 即将推出
尽管ASW和Passthrough +可以支持现有的最低规格和推荐规格硬件,但图灵硬件可以通过Optical Flow SDK提供最佳的运动估算。作为用户,你可以为Oculus运行时提供图灵硬件和最新的英伟达驱动程序之外。包含所述集成的Oculus运行时将于2019年6月的1.38版本中与大家见面。
6. 未来的工作
Oculus表示,这并非ASW和光流研究工作的结束。如上所述,光流不仅只可以追踪运动,同时能够说明场景的空间组成。我们可以利用光流获取大量的信息,而传统的视频编码器方法能够出色地做到所述的任何一点。Optical Flow SDK带来了大量的机遇和研究方向,而Oculus将继续进一步的探索挖掘。
来源:映维网
相关文章
-
两款软件玩转短视频
-
华为手机关不了机怎么办
-
短视频自媒体题材搬上春晚舞台
-
氪星晚报丨刘炽平:投资是腾讯核心战略,已投企业去年16家上市;三星正式宣布停止与SupremeItalia合作;大年初一排片超46万场创历史新高
-
数据赋能营销 品牌破局之道 ZOL科技互联网生态研讨会盛世将启
-
腾讯如何一步步成为了步步高的「红颜知己」?
-
年终大考最后的锦鲤会不会是你?丨打卡赢大奖Day7
-
坚守8个月后,曾说不会离开摩拜的胡玮炜还是离开了
-
王健林瘦身、张近东增肥,苏宁易购吃下万达百货
-
直播电商里的又一个高潮,粉丝效益的放大镜
-
传统电视综艺垂垂老矣,尴尬期的网络综艺如何破局前行?
-
不妖魔化算法但也不合理化算计
-
“竖屏剧”会成为下一个小风口吗?
-
IG夺冠,苹果股价创四年最大单日跌幅巴菲特一夜失30亿
-
华圣云进军全球服务器市场,助力企业快速出海!
-
详解360回归A股首份年报:广告收入占八成游戏业务待抢救
-
小米手机怎么补电
-
百度家族新成员来了!“快搜视频”App悄悄上架,专攻视频搜索
-
最强CNN语音识别算法开源了:词错率5%,训练超快,Facebook出品
-
【钛晨报】神州租车:陆正耀已辞任董事会主席及非执行董事职务;苹果Mac电脑将改用自研ARM芯片;任天堂:共有30万账号被黑客入侵
-
在线阅读变革时间已至,米读、连尚免费读书、飞读等谁主沉浮
-
微信7.0更新:时刻视频的野心,看一看的救赎
-
1MorePistonBudsPro体验:性价比极高的春季新品
-
筑梦·追梦·圆梦青春之梦在椰风海韵中启航
-
倒计时3天的澎湃新版块,背后是百年“烧脑”史
-
雷军的“赌局”:10亿美元Allin金山云,上市后能赢阿里腾讯吗?
-
够强!天猫实现全球化,全球消费狂欢不是梦,网友:值得期待
-
软件企业要进行CMMI认证好还是ISO9001认证?
-
周鸿祎:王健林1个亿小目标不算高,我们行业挣钱不难;ofo运营方还款3574.62万;多数快递员无底薪,每天工作超12小时...