kaiyun官网
Industrial Layout
产业布局
九大产业集群 您的位置: 首页 > 产业布局 > 九大产业集群
基于HCG-VCSEL的偏振结构光3D相机技术分析
2023-11-26 01:39:21 作者: 九大产业集群

  高反射面,例如玻璃、镜子和水面,是深度传感和三维(3D)成像中的常见场景。它们通常会导致深度感知的严重错误,例如倒影、虚像导致错误的深度测量。目前主流的3D相机,例如传统的结构光相机、立体视觉相机、时间飞行(ToF)相机等,在这类场景中都存在着明显的不足。未解决这样一些问题,博升团队设计了一种新型偏振结构光3D相机。在发射端,设计高对比度光栅(high-contrast-grang,HCG)垂直腔面发射激光器(vertical-cavity sue-emitting lase,VCSELs)用于提供具有强偏振选择比的结构光。在接收端,设计了装有偏振片的。经过各种测试,在各种成像条件下该偏振结构光相机都可以准确获取反射面场景的深度。

  近几十年来,如何让探测器正确识别反射面一直是技术难点。许多技术,例如偏振成像、主动发射式探测器和声纳的融合、深度学习等,都始终致力于反射面的探测。然而,由于反射或多径噪声的影响,大多数这些技术在实际场景中使用并不鲁棒和稳健。

  偏振成像通过对不同偏振角度反射强度的多幅图像做多元化的分析,能够获得物体的三维形状。它第一次用于确定反射表面的3D方向可以追溯到20世纪90年代。从那时起,偏振成像就开始被用于重建透明和镜面物体的形状。随后,偏振成像与各种深度传感器的结合,使其能轻松的获得更好的重建效果。然而,偏振成像需要捕获多个偏振图像来估计相对深度,而且依赖于物体折射率的先验知识,并不适用于通用场景的深度探测。而且,基于图像的方法很容易受到物体反射倒影的影响,不能正确测量反射面的深度。

  主动发射式的探测与成像,例如激光测距仪和结构光相机,在深度传感领域得到了广泛的应用。以激光测距仪为例,为了处理反射面,一些研究人员使用反射强度分布图来确定玻璃区域。激光测距仪与声纳、偏振成像的融合也用于玻璃环境下的机器人导航研究。然而,这一些方法需要扫描多个角度以确定反射面深度,因此它们主要路径规划并不适用于反射面的3D成像。对于结构光相机,它们利用和声纳的融合来获取玻璃场景的深度图像。但是,由于声纳的数据稀疏、角度窄,需要多次扫描才可以获得足够的信息。此外,与声纳的融合将会产生系统成本高、体积大、结构较为复杂等问题。

  深度学习领域近些年也不断出现关于反射面检测的工作。他们使用大量反射面图像来训练网络模型,然后输入新的图像进行反射面区域识别。但这种方法也有一定可能会把有框架或边界的区域,比如没有玻璃的空框架,误认为是反射面。因此,对于反射面环境的3D成像应用,仍然需要一种鲁棒的方法。

  据麦姆斯咨询报道,近期,博升光电团队开发出一种新型偏振结构光(PSL)3D相机,在发射器(TX)和接收器(RX)上都具有偏振特性(图1)。在TX中,高对比度光栅(HCG)垂直腔面发射激光器(VCSELs)是专门设计用于提供具有强偏振选择比的结构光。在RX中,设计了偏振选择CMOS相机来选择性地接收信号。根据菲涅耳理论,镜面反射与入射偏振光保持相同的偏振。然而,漫反射面的反射即使被强偏振光入射也不表现出任何偏振。因此,使用偏振选择CMOS相机可以区分反射面和其他物体,同时能根据偏振方向的选择来获得反射面或其背后物体的深度信息(图1b)。另外,根据TX和RX的偏振组合,还可以过滤掉反射噪声的影响,获取清晰的场景深度信息(图1c)。本论文了进行了三个实验,以演示怎么样去使用PSL 3D相机来实现看到以及看透反射面。

  首先,本论文以室内玻璃门场景,来说明PSL 3D相机看透反射面的能力。如图2所示PSL 3D相机正对玻璃门,距离从0.4 m到1.2 m不等。在玻璃门后面,有柜子和篮球。它们与玻璃的距离固定为0.5m。PSL 3D相机的TX向场景投射偏振光结构光。然后结构光被反射回RX,包含玻璃门和后方物体的深度信息。其中玻璃门的反射与TX保持相同的偏振,而柜子和篮球的反射光因漫反射而具有各种偏振方向。如图2a的偏振0°所示,当我们将RX设置为与TX偏振相同时,可以重构玻璃门、柜子和篮球的深度信息。如图2a的偏振90°所示,如果我们将RX旋转到正交方向,则可以过滤玻璃部分,留下柜子和篮球的深度信息。同时,也测试了0.8m和1.2m的情况,看到和看透玻璃的功能都可以实现。

  接着,本论文在室外和室内场景展示PSL 3D相机抗反射噪声成像的特点(图3)。首先展示室外玻璃场景(图3a),在这种情况下,自然光在反射面上有较强的镜面反射。从图中能够正常的看到,反射噪声使立体视觉相机没有办法获得场景的深度。然而,该噪声具有较大的S偏振分量。因此,我们大家可以利用P偏振TX和RX来过滤这种噪声,提高信噪比。如图3c所示,在这种P偏振设置下,PSL 3D相机能清楚地测量整个场景的深度。

  在室内场景,本论文分析了在墙角情况下的抗噪声检验测试能力。这种场景是室内服务机器人常见的场景。如图3d-3l所示,展示了在0.24m、0.4m和0.56m三种不同高度下,PSL 3D相机和传统立体视觉3D相机的对比结果。能够正常的看到,在这种情况下,由于多径噪声的影响,立体视觉相机(图3e,3h,3k)会出现错误的深度判断。而对于PSL 3D相机(图3f,3i,3l),通过将TX和RX设置为P偏振,能够得到完整且正确的墙角深度和点云。

  除了能轻松实现看透反射面和抗反射噪声,PSL 3D相机还能够直接进行反射面的补全。本论文选取了4个常见场景进行实验(图4),这中间还包括阳台玻璃、隔音室玻璃、球形玻璃和办公室门玻璃。每一列对应一个场景,首先在偏振度为0°和90°的情况下,取得两幅深度图像。在偏振度为0°的情况下,玻璃和其它漫反射部分都可以重构,而在偏振度为90°的情况下,玻璃部分被消除。相比于立体视觉相机无法检测到玻璃的深度,PSL 3D相机这种特别的变化可当作确定反射面的可靠线索。因此,依靠第二第三行两幅深度图像的相减和第四行预测的玻璃边界,相机就能提取出属于玻璃的深度,其结果展示在第五行。接着提取的玻璃点可拿来拟合和补全反射面。补全的深度图像显示在第七行,其中部分空的玻璃现在已被填充。最后两行显示了原始点云和补全点云的最终对比。在最后补全的点云中,反射面的3D重建结果正确,再次验证了PSL 3D相机的特别之处。

  综上所述,博升光电团队发明了一种新型基于HCG-VCSEL的偏振结构光3D相机,并提出了相应的成像方法,用于反射面的各种场景的3D重建。作为机器人的眼睛,PSL 3D相机将在服务机器人和物流机器人等领域得到普遍应用。这些机器人将不可避免地遇到反射面的问题,例如报告实验中所示的玻璃门和瓷砖墙角等。PSL 3D相机可以使他们正确地处理这一些状况。此外,反射面物体或场景重建,例如办公室和展览馆等,也将受益于该方法。因此,凭借特殊的偏振特性,PSL 3D相机能更加进一步扩展到广泛的室内和室外3D应用。

  声明:本文内容及配图由入驻作者撰写或者入驻合作网站授权转载。文章观点仅代表作者本人,不代表电子发烧友网立场。文章及其配图仅供工程师学习之用,如有内容侵权或者其他违规问题,请联系本站处理。举报投诉

  、双目视觉,以及ToF(Time of Flighgt,飞行时间)。其中,ToF

  、ply格式、ptx格式、bin格式、obj格式等。 txt格式 读取txt文件生成

  列为X、Y、Z坐标,第4列到第6列为每一点的法线坐标nX、nY、nZ,第7列到第9列为灰度值。因此我们采用以下代码重

  Orbbec Gemini 2 L与Orbbec Astra 2。作为奥比中

  产品,为移动机器人行业提供全套视觉感知解决方案,赋能仓储物流行业数智化升级。

  ,搭载于高效的硬件计算平台,结合优化的系统模块设计和高效算法加持,能快速稳定获得杰出的

  深浅优视以低畸变投射装置设计与融合深度学习的三维重建、检测与识别的算法为核心,以市场为导向,在潜心研发出微米级精度的快照式面阵相移

  铂金赞助本届大会,并携带Femto Mega、Gemini 2两款标品

  扫描的应用包括生物识别、安防、工业检查、质量控制、医疗、牙科和原型设计。

  人体/物体重建、维度测量、智慧仓储物流、医疗康复、运动健身、智慧农牧、智慧商超等

  视觉大范围的应用到人脸识别、智能机器人、无人驾驶、ARVR等领域;比如,OPPO、华为和苹果等公司推出的

  毫米及以下级别的成像精度,目前已完成数千套双目产品的交付及现场连续运行验证,以稳定性很高、定位精准、故障率较低著称。

  活体算法,硬件+算法双重保证,推出了一系列用于智能人脸门锁和安防门禁等产品的

  投射于物体之上,并由成像单元采集并传输给计算单元,生成点云数据。产品特征: 蓝光LED光源

  ,凭借自动化、便捷、安全、稳定、准确等特点,无论在消费级还是工业级应用场景中得到了广泛应用。

  视觉的眼睛,通过多个摄像头与深度传感器的组合能轻松的获得物体三维位置及尺寸等数据,实现三维信息采集。目前

  的色彩损失是最小的,色彩显示更为准确,更接近其原始值。鉴于眼镜的透镜本身基本上没有任何颜色,对用于

  也在一直在变化,这就责促使相关企业,不断深耕市场需求、创新产品。也只有这样,公司制作的产品才能不断地被市场认可,与此同时,企业的创新力才能不断被

  人脸解锁具有无感的体验优势,可以解放双手,备受消费者青睐。目前市场上的

  智能门锁的发展,经历了密码锁,指纹锁,联网锁,人脸智能锁几个重要的发展阶段。2022年,

  人脸识别慢慢的变成了各主流智能锁品牌高端产品的标配,并快速得到了花钱的那群人的认可与接受。为此,恩智浦

  能够在苛刻的工业环境中一次又一次地提供满意的结果。然而说说容易,到底是什么让 Zivid 与众不同?

  能够在苛刻的工业环境中一次又一次地提供满意的结果。然而说说容易,到底是什么让 Zivid 与众不同?

  ,一般指采用多幅条纹光栅,即先通过光栅投射模组按照时间序列依次投射在被测物体表面,再通过双目对物体表面的光栅进行拍照,基于事先编码规则进行解码和双目视差匹配,从而获得高精度的

  日前,中兴通讯以科学技术创新为本,在上海MWC展上正式展出第二代量产屏下摄像

  2月23日,2021MWC上海展在新国际博览中心正式开幕,不少手机生产厂商选择在这个舞台上秀肌肉。展会当天,中兴手机除了展示了一众产品外,也向公众展示了第二代量产屏下摄像

  同时,中兴通讯终端事业部总裁倪飞发微博表示:中兴将于下周的上海MWC活动上,展示第二代量产屏下摄像

  上周中兴通讯终端事业部总裁倪飞预告,中兴将在上海MWC上展示全球首个屏下

  、飞行时间(ToF)。但是在智能手机上很难寻觅到立体视觉的身影,主要是

  模组都相同,而区别除了设计上不同之外,就是两大基于硬件功能。首先是Face ID,小米 8探索版是首款实现基于编码

  人脸识别需要相对来说还是比较复杂的原深感摄像头系统,因此这类手机一般都是采用的大刘海方案。

  光是通过点阵投影器、红外摄像头等一系列元器件配合而识别出人脸,是目前人脸识别

  换装等功能。 但实际上,正式对外发布的iPhone X并没有通过深度摄像头实现AR功能,甚至与深度相关的功能比如面部识别和 Animoji也仅限于前置摄像头。 这一切的根源不难理解,皆因iPhone X所搭载的

  的热潮。在国内市场上,OPPO在今年6月19日发布了OPPO Find X,同时搭载

  推出了名为“Face ID”的新功能用于日常解锁和 Apple Pay。但彼时推出的一众量产全面屏安卓手机仅只是在外貌上模仿了苹果的刘海设计,iPhone X “刘海屏”背后线D

  。TI提供多样化的DLP芯片组合,可在个人电子科技类产品中使用的小型、集成扫描引擎,以及工业检测系统中使用的大型高分辨率图案发生器。

  事实上,与笔者猜测的也颇为一致。因为从目前市场上发布的消息来看,截止7月份,国内仅有小米、OPPO发布了带有

  的新机,其中小米的主要供应商是欧菲科技,于此同时,下半年除了华为手机外,并没有关于另外的品牌将发布搭载带有

  的手机OPPO Find X体验太给力,OPPO Find X采用了高端旗舰产品上才能见到的

  ,通过在人脸建立15000个识别点,带来远比指纹更安全的解锁和支付体验。基于

  ToF,运用到vivo新品中,并量产商用。是不是又一次被蓝厂惊掉了下巴。

  应用于手机的重要场景。随着安卓阵营的加入,打破了ios系统的封闭生态,相信未来会有更多基于

  模组的照片,从照片中我们看出,这款手机采用了和iPhone类似的刘海屏幕设计,据推测有很大的可能性就是小米即将在本月底推出的 小米8 周年纪念版手机。

  应用在手机上,之前只有iPhone X有类似的功能,这对安卓阵营来讲还尚属首次。

  (5G)的步伐现在是慢慢的变快。继4月初运营商广东移动打通了5G试验网络的“First Call”之后,手机商也没有闲着。5月10日,OPPO手机宣布,成功实现了采用

  固态LiDAR,通过供给汽车装备原厂LiDAR解决方案,进一步加快ADAS和自立驾驶利用的大面积部署。

  制造属于半导体层级,且涉及光学与电子,因此台湾切入的业者多以光电业者居多,例如LED制造商,或者