給你講明白蘋果剛剛釋出的手機鐳射雷達到底有什麼用

今天凌晨的蘋果釋出會上，iPhone 12 正式面世。與基本機型相比，iPhone 12 Pro 和 iPhone 12 Pro Max 的後置攝像頭除了多一枚長焦鏡頭，還增加了一顆 LiDAR，鐳射雷達掃描器。

這顆鐳射雷達是什麼？它能為你的手機帶來什麼新體驗？

在這塊圓形黑色區域之下，LiDAR 主要由兩部分組成：發射端和接收端。垂直腔面發射鐳射器（VCSEL）作為發射端，向物體發射一束紅外光，經反射被 CMOS 影象感測器接收，光束經歷的這一段時間被稱為飛行時間（ToF）。

飛行時間又分為直接飛行時間（dToF）和間接飛行時間（iToF）。前者向目標發射一個光脈衝訊號，直接測量光子從出發到返回的用時；後者發射一連串經過調製的光波，透過檢測來回光波間的相位差測量飛行時間。

已知光速，透過簡單的計算我們就能得到與目標物體之間的距離。這樣的測距原理與雷達類似，不過，LiDAR 基於的是脈衝鐳射，比雷達利用的無線電波波長更短、頻率更高，可以得到解析度更高的影象，精度可達釐米甚至毫米級別。

因此，LiDAR 也被應用在地圖測繪、自動駕駛、文物保護等領域。而到了手機，它又能做些什麼呢？

這不是蘋果第一次在它的產品裡引入鐳射雷達。早在今年 3 月，2020 款 iPad Pro 就配備了 LiDAR 掃描功能，採用直接飛行時間技術（dToF），相比 iToF，功耗較低且不易受環境光的干擾，可以做到大範圍測量。

使用時，發射器投射出 9 * 64 大小的矩陣光束，捕捉並繪製最遠 5 米範圍內的位置深度圖。改變，首先發生在你拍攝的照片裡。

一張出色的淺景深照片，是透過調大相機光圈並對焦在距離相機較近的地方實現的。今天，透過多個攝像頭和機器學習演算法的幫助，用手機也能輕而易舉拍出這種背景虛化的效果。

首先，神經網路和機器學習技術可以讓手機知道我們在拍什麼，以及目標距離我們有多遠。對於普通人來說，從一張照片中判斷物體層次和遠近關係是一件非常容易的事，但對於機器，則需要大量的資源來學習，比如顏色分佈、明暗程度和物體尺寸。

就像上面這張照片，曝光度均勻且主題明顯，機器很容易分析出距離鏡頭較近的點以及距離鏡頭較遠的點。

可一旦照片中有更復雜的關係，事情就變得棘手了。

人類或者動物的毛髮、豐富的色彩、以及與背景顏色接近的衣服等，都很容易被機器誤判為背景，尤其是主體的邊緣區域，呈現出不自然的模糊效果。

LiDAR 的加入能帶來更精準的深度資訊，以便於讓 iPhone 理解物體之間的前後關係，透過演算法繪製出一張空間點陣圖，並將照片做切片處理。iPhone 會在幾納秒內根據深度資訊圖將照片切分成多份，距離越遠的圖層，模糊程度越高，製作出一張以假亂真的淺景深人像照片。

同時，在低光照條件下，iPhone 的對焦速度也將大幅提升，並且可以在黑暗中準確找到畫面中的人物，為夜間模式下的人像照片打下基礎。

當然，LiDAR 對 iPhone 12 Pro 的拍照提升實際上還得看實拍測試。你可以期待另一個讓它真正大放異彩的領域—— AR。

2017 年開始，蘋果公司推出 AR 軟體開發套件 ARKit，開發者們可以使用它製作出精緻的 AR 應用，比如下面這個能讓你隨時隨地打保齡球的遊戲。

遊戲場景中的這兩人保持運動狀態，且是前後移動，在沒有深度資訊的輔助下，機器難以判斷出兩個人的位置關係，把球放置在二人中央。所以你會看到，球時不時從人體內「穿」過的詭異畫面。

而加入了 LiDAR 之後，透過測量出照片的深度系統，將遊戲裡的 3D 模型附著在地面、桌面等平面上，並分析整個攝像頭視野內的空間位置關係來動態調節模型的光照和陰影，使遊戲體驗更加真實。

當這些人物從你面前跑過，將帶來身臨其境的體驗，並且透過機器學習演算法的加持，AR 應用能更清楚地知道攝像機視野裡的是你家的沙發還是地面，從而將草地附著到沙發腳的位置，與你所處的位置達到前所未有的契合。

你可能意識到了，手機前置的 Face ID 也能構建 3D 影象，它與 LiDAR 有什麼區別？

從紅外攝像機拍攝到的光斑可以看出，Face ID 的結構光感測器透過點陣投影發射出超過 3 萬個不可見的光斑，利用扭曲建模，製作出一張準確的面部深度圖，從而將 2D 的影象轉換為帶有深度資訊的 3D 影象。受距離所限，只能進行小範圍的 3D 繪製，用於人臉識別。

而 LiDAR 的光斑較大且疏，更適合用來對整個房間進行掃描和建模。

LiDAR 能讓你的手機在 AR 應用中獲得更好的體驗，在家裡放一把椅子，它比你的雙目還要更精準地知道椅子離地面多遠、離牆壁多遠。

椅子嵌進牆裡或是立在牆面的畫面，再也不會出現了。

-

封面圖來源：

Apple

-

參考資料：

［1］ Foix， S。， et al。 （2011）。 Lock-in Time-of-Flight （ToF） Cameras： A Survey。 IEEE Sensors Journal， 11： 1917-1926。