在光照劇烈變化、動態物體、弱紋理等視覺退化場景，視覺路標點的深度估計難度急劇增加，導致視覺慣性導航系統(VINS)的精度和魯棒性惡化。采用非重復掃描原理的固態激光雷達，為解決視覺路標點深度估計問題帶來便利。面向低速機器人應用，我們提出了一種固態激光雷達增強的視覺慣性導航系統(LE-VINS)，慣性導航系統(INS)位姿輔助了固態激光雷達點云積累，實現了視覺特征和激光雷達點云的有效關聯，為視覺路標點提供了精確的深度測量，提高了系統在復雜環境下導航定位的精度和魯棒性。

    視覺慣性導航系統(VINS)被廣泛應用于移動機器人、自動駕駛、三維重建等領域。一般地，視覺路標點深度由視覺特征的三角測量得到，其深度估計精度直接影響系統定位精度和魯棒性。然而，路標點深度估計的準確性一方面受光照變化、動態物體和弱視覺紋理等環境因素影響，另一方面受基于微機電系統(MEMS)的慣性導航系統(INS)位姿精度影響。多目相機能直接估計路標點的深度，但會受到相機間基線長度、外參標定精度及環境因素等的影響。

    激光雷達(LiDAR)能夠直接進行精確的深度測量，可以被用于增強視覺導航系統。三維機械掃描式LiDAR能夠實現360°水平視角的測量，但垂直視場角較小且垂直方向角分辨率低，導致相機和激光雷達的視場重疊區域少(尤其是低線束LiDAR)，不利于視覺特征和激光雷達點云的關聯。采用非重復掃描模式的低成本固態激光雷達，如Livox Mid-70，通過累積一段時間的激光雷達點云，可以獲得相對稠密的點云地圖，從而有效覆蓋相機圖像的大部分區域，為視覺特征和激光雷達點云深度關聯帶來了便利，如圖1所示。

圖1: 固態激光雷達Livox Mid-70(70°圓形視場角)和相機(水平視場角約80°)的視場角示意圖(此處點云累積了20秒，根據點云的反射強度進行的顏色渲染)

    面向低速機器人導航應用，我們提出了一種固態激光雷達增強的視覺慣性導航系統LE-VINS(Tang Hailiang et. al, 2023)，實現了大尺度復雜環境的實時、穩健、精確的定位。LE-VINS是在我們前期工作IC-GVINS(Niu Xiaoji et. al, 2023)基礎上，引入固態激光雷達，為視覺路標點提供精確的深度測量。LE-VINS的設計原理見圖2，主要貢獻如下：

1. 采用非重復掃描模式的固態激光雷達為視覺路標點提供精確的深度信息。在因子圖優化(FGO)的框架進行視覺特征點、激光雷達深度和IMU測量的緊耦合，實現了最大后驗狀態估計。

2. 提出了一種魯棒的深度關聯算法，實現了視覺特征和INS位姿輔助的固態激光雷達點云的有效關聯，精確估計了視覺路標點的深度。同時，提出了一種有效的深度校驗方法，顯著提高了路標點深度估計的魯棒性。

3. 估計的深度信息不僅被用作路標點的初始深度，還被用于在FGO中構建激光雷達深度因子，以直接約束路標點的深度。如果路標點被邊緣化，則可以將激光雷達深度因子轉換為先驗因子，從而保留對位姿狀態的精確約束。

4. 基于低速機器人載體在大尺度復雜環境中進行了實測實驗。結果表明，相比于IC-VINS系統， LE-VINS顯著提升了導航定位的魯棒性和準確性。與此同時， LE-VINS優于主流的激光雷達視覺慣性導航系統和激光雷達增強方法。

圖2: LE-VINS的系統框圖(虛框內為該工作內容)

總結：本工作充分發揮了固態激光雷達非重復式掃描的特性，實現了視覺特征和激光雷達點云深度的有效關聯。通過構建激光雷達深度測量因子，在因子圖優化框架下為視覺路標點提供了有效的深度測量。激光雷達深度測量直接有效地約束了視覺路標的深度估計，從而顯著提高了導航定位精度。同時，提高了視覺特征跟蹤的連續性，進一步提高了視覺慣性導航系統的魯棒性。本工作在我們前期開源項目IC-GVINS (Tang Hailiang，2022)基礎上研究并實現的。

參考文獻：

[1] Hailiang Tang, Xiaoji Niu, Tisheng Zhang, Liqiang Wang, and Jingnan Liu, “LE-VINS: A Robust Solid-State-LiDAR-Enhanced Visual-Inertial Navigation System for Low-Speed Robots,” IEEE Trans. Instrum. Meas., vol. 72, pp. 1–13, 2023, doi: 10.1109/TIM.2023.3260279.

[2] Xiaoji Niu, Hailiang Tang, Tisheng Zhang, Jing Fan, and Jingnan Liu, “IC-GVINS: A Robust, Real-Time, INS-Centric GNSS-Visual-Inertial Navigation System,” IEEE Robotics and Automation Letters, vol. 8, no. 1, pp. 216–223, Jan. 2023, doi: 10.1109/LRA.2022.3224367.

[3] Hailiang Tang, “IC-GVINS: A Robust, Real-time, INS-Centric GNSS-Visual-Inertial Navigation System,” 2022. [Online]. Available: https://github.com/i2Nav-WHU/IC-GVINS.

相關參考文獻可在團隊網站(i2nav.cn)的“研究成果-學術論文”列表中下載。（Link）