3D相機技術調研(飛行時間+雙目+結構光)

pan_jinquan 2021-08-15 21:12:14 阅读数:518

本文一共[544]字,预计阅读时长:1分钟~

1. 深度估計3D相機方案

目前市面上常有的 3D 相機方案就就是這3種:

  1. 飛行時間(Time of flight,TOF),代錶公司微軟Kinect2,PMD,SoftKinect, 聯想 Phab,在手機中一般用於3D建模、AR應用,AR測距(華為TOF鏡頭)

  2. 雙目視覺(Stereo Camera),代錶公司 Leap Motion, ZED, 大疆;

  3. 結構光(Structured-light),代錶公司有奧比中光,蘋果iPhone X(Prime Sense),微軟 Kinect1,英特爾RealSense, Mantis Vision 等,在手機(iPhone,華為)中3D結構光主要用於人臉解鎖、支付、美顏等場景。

相機類型 TOF(飛行時間) RGB雙目(Stereo Camera) 結構光(Structured light)
測距方式 主動式 被動式 主動式
工作原理 根據光的飛行時間(相比特差异)直接測量距離

基於視差原理,RGB圖像特征點匹配,三角測量法

主動投射已知編碼圖案,提昇特征匹配的效果,三角測量法
分辨率

一般低於640×480,

Kinect2是512 x 424

可達2K高分辨率 可達1080×720
幀率 較高,可達上百幀 一般在30fps 一般在30fps
測量精度

測量精度最高可達厘米

Kinect2深度誤差在1.5cm左右

近距離可達毫米精度,2m內誤差千分之五(5mm) 近距離能够達到高精度:0.01mm-1mm
測量範圍 可以測量較遠距離,100m以內 受基線限制,一般只能測量較近的距離,距離越遠誤差越大,一般在2m(基線10mm)以內 測量距離一般為10m以內
抗幹擾 受環境影響較小 黑暗或者紋理特征不明顯等環境幹擾 室外强光下受幹擾較大
功耗 功耗較大,需要全面照射 較大,純算法功耗 一般,需要局部區域投射圖案
優點
  • 檢測距離遠。在激光能量够的情况下可達幾十米。
  • 受環境光幹擾比較小。
  • 硬件要求低,成本也低。普通 CMOS 相機即可。但比較消耗計算資源

  • 室內外都適用。只要光線合適,不要太昏暗。

  • 方案成熟,相機基線可以做的比較小,方便小型化。
  • 資源消耗較低,單幀 IR 圖就可計算出深度圖,功耗低。
  • 主動光源,夜晚也可使用。
  • 在一定範圍內精度高,分辨率高,分辨率可達 1280x1024,幀率可達 60FPS。
缺點
  • 對設備要求高,特別是時間測量模塊。
  • 資源消耗大。 該方案在檢測相比特偏移時需要多次采樣積分,運算量大。
  • 邊緣精度低。
  • 限於資源消耗和濾波,幀率和分辨率都沒辦法做到較高。目前消費類最大也就 VGA。

  • 對環境光照非常敏感。光線變化導致圖像偏差大,進而會導致匹配失敗或精度低。
  • 不適用單調缺乏紋理的場景。雙目視覺根據視覺特征進行圖像匹配,沒有特征會導致匹配失敗。

  • 計算複雜度高。該方法是純視覺的方法,對算法要求高,計算量較大。

  • 基線限制了測量範圍。測量範圍和基線(兩個攝像頭間距)成正比,導致無法小型化

  • 容易受環境光幹擾,室外體驗差。
  • 隨檢測距離增加,精度會變差。
應用場景

無人駕駛車,機器人,Kinect2,在手機中,TOF由於測量距離長,一般用於3D建模、AR應用,AR測距(華為TOF鏡頭)

基於手機的雙目應用較少,商用場景較少

機器人,Kinect1,手機(iPhone,華為)中3D結構光主要用於人臉解鎖、支付、美顏等場景

  • 從上面三種主流的 3D 相機成像方案來看,各有優劣,但是從實際應用場景來看,在非無人駕駛領域,結構光,特別是散斑結構光的用途是最廣泛。
  • 因為從精度,分辨率,還有應用場景的範圍來看雙目和 TOF 都沒有辦法做到最大的平衡。
  • 而且對於結構光容易受環境光幹擾,特別是太陽光影響問題,鑒於此類相機都有紅外激光發射模塊,非常容易改造為主動雙目來彌補該問題。
  • 當然這三種方案在發展過程中也有一些互相融合趨勢,如主動雙目+結構光,取長補短,使 3D 相機能適應更多的場景。
  • 也有一些同時使用,如手機前置基本確認會采用結構光來做 FaceId(人臉認證),但是後置用來做 AR 應用,結構光和 TOF 都有機會
  • 雖然項目具體使用哪種方案,要結合當前硬件資源,對性能要求等來確定,但從最廣泛的使用角度來看,散斑結構光無疑是目前最佳的方案。


2深度估計技術說明

(1) 雙目相機(雙目立體視覺法)

包括一套經過校准的相機(至少兩個),已經為其估算了一個通用的3D參考系統。深度圖是基於立體三角測量的。即使有多個研究讓我們在這方面取得了相當大的進步,但是多目相機估計的深度仍然是不可靠的,特別是在强度/色彩均勻的場景中;

RGB雙目相機因為非常依賴純圖像特征匹配,所以在光照較暗或者過度曝光的情况下效果都非常差,另外如果被測場景本身缺乏紋理,也很難進行特征提取和匹配

產品:

  1. http://www.luster3ds.com/

(2) 結構光3D

掃描儀將紅外結構光圖案投射到現場。當將圖案投影到三維形狀的錶面上時,觀察到的圖案幾何扭曲[79]。通過比較預期的投影模式(如果場景中沒有物體)和變形的觀察模式,可以恢複錶面形狀的精確幾何重建。可以將各種圖案投射到場景上,例如光條紋或任意的條紋。深度估計可能是不可靠的,特別是在反射或透明錶面的情况下。Kinect傳感器(版本1)屬於這種類型的相機

  • 蘋果公司:SMI 眼球追踪技術; PRIMESense 3D結構光技術包括器件和實現方案;FACESHIFT 面部捕捉技術,先行壟斷了3D人臉核心技術。
  • OPPO FINDX:3D結構光采用奧比中光,體驗和算法采用 FACE++ 曠視。成為安卓陣營首個3D結構光技術接近蘋果XS的終端。
  • 華為 MATE20 PRO:自主研發,誤識別率不高於百萬分之一,軍用級別安全可靠,更配合多維度用戶使用場景,3D建模等。

相關參考:

(3) 飛行時間(ToF)

顧名思義是測量光飛行時間來取得距離,具體而言就是通過給目標連續發射激光脈沖,然後用傳感器接收從反射光線,通過探測光脈沖的飛行往返時間來得到確切的目標物距離。

因為光速激光,通過直接測光飛行時間實際不可行,一般通過檢測通過一定手段調制後的光波的相比特偏移來實現。

TOF 法根據調制方法的不同,一般可以分為兩種:脈沖調制(Pulsed Modulation)和連續波調制(Continuous Wave Modulation)。

脈沖調制需要非常高精度時鐘進行測量,且需要發出高頻高强度激光,目前大多采用檢測相比特偏移辦法來實現 TOF 功能。

 

基本原理:

  1. https://blog.csdn.net/qq_37764129/article/details/81001558
  2. https://blog.csdn.net/electech6/article/details/78349107

  3. TOF、RGB雙目、結構光優劣分析: https://blog.csdn.net/qq_37764129/article/details/81011221

相關產品:

  1. SHARP2Y0A02 紅外測距對管測試
  2. Arduino紅外傳感器-Sharp GP2Y0A02YK 紅外測距傳感器 (20~150cm)  
  3. Acconeer-紅外測距傳感器 : 7米量程,精度1毫米,汽車中使用較多

 

版权声明:本文为[pan_jinquan]所创,转载请带上原文链接,感谢。 https://gsmany.com/2021/08/20210815211145731l.html