1. 深度估計3D相機方案

目前市面上常有的 3D 相機方案就就是這3種：

1. 飛行時間(Time of flight,TOF)，代錶公司微軟Kinect2，PMD，SoftKinect， 聯想 Phab，在手機中一般用於3D建模、AR應用，AR測距(華為TOF鏡頭)

2. 雙目視覺(Stereo Camera)，代錶公司 Leap Motion， ZED， 大疆;

3. 結構光(Structured-light)，代錶公司有奧比中光，蘋果iPhone X(Prime Sense)，微軟 Kinect1，英特爾RealSense, Mantis Vision 等，在手機（iPhone，華為）中3D結構光主要用於人臉解鎖、支付、美顏等場景。

相機類型	TOF(飛行時間)	RGB雙目(Stereo Camera)	結構光(Structured light)
測距方式	主動式	被動式	主動式
工作原理	根據光的飛行時間(相比特差异)直接測量距離	基於視差原理，RGB圖像特征點匹配，三角測量法	主動投射已知編碼圖案，提昇特征匹配的效果，三角測量法
分辨率	一般低於640×480， Kinect2是512 x 424	可達2K高分辨率	可達1080×720
幀率	較高，可達上百幀	一般在30fps	一般在30fps
測量精度	測量精度最高可達厘米 Kinect2深度誤差在1.5cm左右	近距離可達毫米精度,2m內誤差千分之五(5mm)	近距離能够達到高精度：0.01mm-1mm
測量範圍	可以測量較遠距離，100m以內	受基線限制，一般只能測量較近的距離，距離越遠誤差越大，一般在2m（基線10mm）以內	測量距離一般為10m以內
抗幹擾	受環境影響較小	黑暗或者紋理特征不明顯等環境幹擾	室外强光下受幹擾較大
功耗	功耗較大，需要全面照射	較大，純算法功耗	一般，需要局部區域投射圖案
優點	檢測距離遠。在激光能量够的情况下可達幾十米。 受環境光幹擾比較小。	硬件要求低，成本也低。普通 CMOS 相機即可。但比較消耗計算資源 室內外都適用。只要光線合適，不要太昏暗。	方案成熟，相機基線可以做的比較小，方便小型化。 資源消耗較低，單幀 IR 圖就可計算出深度圖，功耗低。 主動光源，夜晚也可使用。 在一定範圍內精度高，分辨率高，分辨率可達 1280x1024,幀率可達 60FPS。
缺點	對設備要求高，特別是時間測量模塊。 資源消耗大。 該方案在檢測相比特偏移時需要多次采樣積分，運算量大。 邊緣精度低。 限於資源消耗和濾波，幀率和分辨率都沒辦法做到較高。目前消費類最大也就 VGA。	對環境光照非常敏感。光線變化導致圖像偏差大，進而會導致匹配失敗或精度低。 不適用單調缺乏紋理的場景。雙目視覺根據視覺特征進行圖像匹配，沒有特征會導致匹配失敗。 計算複雜度高。該方法是純視覺的方法，對算法要求高，計算量較大。 基線限制了測量範圍。測量範圍和基線（兩個攝像頭間距）成正比，導致無法小型化。	容易受環境光幹擾，室外體驗差。 隨檢測距離增加，精度會變差。
應用場景	無人駕駛車，機器人，Kinect2，在手機中，TOF由於測量距離長，一般用於3D建模、AR應用，AR測距(華為TOF鏡頭)	基於手機的雙目應用較少，商用場景較少	機器人，Kinect1，手機（iPhone，華為）中3D結構光主要用於人臉解鎖、支付、美顏等場景

• 從上面三種主流的 3D 相機成像方案來看，各有優劣，但是從實際應用場景來看，在非無人駕駛領域，結構光，特別是散斑結構光的用途是最廣泛。
• 因為從精度，分辨率，還有應用場景的範圍來看雙目和 TOF 都沒有辦法做到最大的平衡。
• 而且對於結構光容易受環境光幹擾，特別是太陽光影響問題，鑒於此類相機都有紅外激光發射模塊，非常容易改造為主動雙目來彌補該問題。
• 當然這三種方案在發展過程中也有一些互相融合趨勢，如主動雙目+結構光，取長補短，使 3D 相機能適應更多的場景。
• 也有一些同時使用，如手機前置基本確認會采用結構光來做 FaceId（人臉認證），但是後置用來做 AR 應用，結構光和 TOF 都有機會。
• 雖然項目具體使用哪種方案，要結合當前硬件資源，對性能要求等來確定，但從最廣泛的使用角度來看，散斑結構光無疑是目前最佳的方案。

---

2. 深度估計技術說明

(1) 雙目相機（雙目立體視覺法）

包括一套經過校准的相機（至少兩個），已經為其估算了一個通用的3D參考系統。深度圖是基於立體三角測量的。即使有多個研究讓我們在這方面取得了相當大的進步，但是多目相機估計的深度仍然是不可靠的，特別是在强度/色彩均勻的場景中；

RGB雙目相機因為非常依賴純圖像特征匹配，所以在光照較暗或者過度曝光的情况下效果都非常差，另外如果被測場景本身缺乏紋理，也很難進行特征提取和匹配。

產品：

1. http://www.luster3ds.com/

(2) 結構光3D

掃描儀將紅外結構光圖案投射到現場。當將圖案投影到三維形狀的錶面上時，觀察到的圖案幾何扭曲[79]。通過比較預期的投影模式（如果場景中沒有物體）和變形的觀察模式，可以恢複錶面形狀的精確幾何重建。可以將各種圖案投射到場景上，例如光條紋或任意的條紋。深度估計可能是不可靠的，特別是在反射或透明錶面的情况下。Kinect傳感器（版本1）屬於這種類型的相機。

• 蘋果公司：SMI 眼球追踪技術； PRIMESense 3D結構光技術包括器件和實現方案；FACESHIFT 面部捕捉技術，先行壟斷了3D人臉核心技術。
• OPPO FINDX：3D結構光采用奧比中光，體驗和算法采用 FACE++ 曠視。成為安卓陣營首個3D結構光技術接近蘋果XS的終端。
• 華為 MATE20 PRO：自主研發，誤識別率不高於百萬分之一,軍用級別安全可靠，更配合多維度用戶使用場景，3D建模等。

相關參考：

• https://blog.csdn.net/electech6/article/details/78707839
• 華為，蘋果，OPPO：https://zhuanlan.zhihu.com/p/53801731
• 奧比中光：http://www.orbbec.com.cn/

• 紅外投影結構光人臉三維重建：https://blog.csdn.net/clipp_Huang/article/details/102676824

(3) 飛行時間（ToF）

顧名思義是測量光飛行時間來取得距離，具體而言就是通過給目標連續發射激光脈沖，然後用傳感器接收從反射光線，通過探測光脈沖的飛行往返時間來得到確切的目標物距離。

因為光速激光，通過直接測光飛行時間實際不可行，一般通過檢測通過一定手段調制後的光波的相比特偏移來實現。

TOF 法根據調制方法的不同，一般可以分為兩種：脈沖調制（Pulsed Modulation）和連續波調制（Continuous Wave Modulation）。

脈沖調制需要非常高精度時鐘進行測量，且需要發出高頻高强度激光，目前大多采用檢測相比特偏移辦法來實現 TOF 功能。

 

基本原理：

1. https://blog.csdn.net/qq_37764129/article/details/81001558

2. https://blog.csdn.net/electech6/article/details/78349107

3. TOF、RGB雙目、結構光優劣分析: https://blog.csdn.net/qq_37764129/article/details/81011221

相關產品：

1. SHARP2Y0A02 紅外測距對管測試
2. Arduino紅外傳感器-Sharp GP2Y0A02YK 紅外測距傳感器 (20~150cm)  
3. Acconeer-紅外測距傳感器 ： 7米量程，精度1毫米，汽車中使用較多