在自動駕駛領域，高精度仿真系統(tǒng)扮演著 “虛擬練兵場” 的角色。工程師需要在數(shù)字世界中模擬暴雨、擁堵、突發(fā)事故等極端場景，反復驗證算法的可靠性。
然而，傳統(tǒng)仿真技術往往面臨兩大難題：首先是視角局限，依賴單一軌跡數(shù)據，如一條固定路線的攝像頭錄像，重建的場景只能在有限視角內逼真，無法支持車輛 “自由探索”。其次是動態(tài)失真，同一路口在不同時間可能停滿車輛或空無一人，這些變化使得生成畫面脫離現(xiàn)實。
為解決這一問題，上海創(chuàng)智學院聯(lián)合香港大學等機構聯(lián)合提出 MTGS （Multi-Traversal Gaussian Splatting）方法，通過多軌跡數(shù)據融合，構建既能還原真實道路細節(jié)又能動態(tài)響應環(huán)境變化的超高精度仿真場景。
日常通勤中，車輛往往會以不同的軌跡反復經過同一路段；而用于采集駕駛數(shù)據的車隊也往往會在同一街區(qū)多次遍歷，每輛車在不同時間從不同的角度記錄了當前街區(qū)的信息。因此，使用多軌跡數(shù)據能獲取到更多周圍環(huán)境的信息。然而，實驗發(fā)現(xiàn)，簡單地堆疊數(shù)據并不能帶來重建效果的提升，反而可能損傷單軌跡下重建的場景模型，原因之一是這些數(shù)據在天氣、光照上有較大差異，無法很好地對齊。而 MTGS 的核心創(chuàng)新，正是將這些碎片化的 “數(shù)字拼圖” 智能整合，使不同軌跡采集到的幾何信息能互相補足，重建出幾何信息更精準的駕駛場景。
- arXiv 鏈接：https://arxiv.org/abs/2503.12552
- 代碼、checkpoint 等即將開源
基于多個軌跡的場景異質圖
MTGS 將同一個場景中的元素集合在一個異質圖中，并針對不同場景元素的特點分成三類節(jié)點，靜態(tài)節(jié)點、外觀節(jié)點、瞬態(tài)節(jié)點。這種 “分而治之” 的設計，使得 MTGS 既能還原道路的原有特征，又能靈活地呈現(xiàn)瞬息萬變的車流與環(huán)境。
靜態(tài)節(jié)點 - 所有軌跡共享的靜態(tài)背景，如瀝青路面、交通標志。
外觀節(jié)點 - 通過球諧函數(shù)系數(shù)調整光照、陰影，適配多軌跡對應不同時段的天氣變化和光照差異。
瞬態(tài)節(jié)點 - 各次軌跡獨有的移動物體，如穿梭的車輛、臨時停靠的快遞車。
其中，靜態(tài)節(jié)點和外觀節(jié)點共同決定表征靜態(tài)背景的高斯球，前者提供高斯球的位置、旋轉四元數(shù)、尺寸、透明度和球諧函數(shù)的首個參數(shù)，后者則決定球諧函數(shù)的其他參數(shù)。這一設計源自球諧函數(shù)自身的特性：第一個球諧函數(shù) Y_0,0 具備旋轉不變性，可用于表征物體的本色或底色；其他球諧函數(shù)則會隨著觀察視角的變化而有所變化，更適合表征物體在不同軌跡不同視角上的色彩變化，如陰影、反光等細節(jié)。
同一軌跡中的外觀對齊
除了多軌跡間的光照差異，同一軌跡內部也存在外觀不對齊的情況，如部分相機過度曝光、不同相機間的色調差異。MTGS 創(chuàng)新性地利用激光雷達點云顏色作為 “錨點”，將同一空間點在同一時刻不同相機中的顏色對齊，并為每個相機學習獨立的仿射變換，確保不同時刻采集的圖片色調統(tǒng)一。
此外，為避免模型產生 “浮空碎片” 等失真現(xiàn)象，MTGS 還引入多重約束：（1）用激光雷達點云矯正三維形狀，確保路沿、護欄等結構精確對齊；（2）使用 UniDepth 對圖像進行深度估計，使用估計深度計算得到每個像素的法向量方向，從而通過相鄰像素的法向量約束，讓曲面過渡更自然（如車頂弧度）；（3）將移動物體的陰影從背景中分離，防止 “鬼影” 殘留。這些技術讓重建效果提升 46.3%，合成畫面中的鋸齒、重影等問題顯著減少。
實測效果：數(shù)字與現(xiàn)實的 “像素級逼近”
在 nuPlan 大規(guī)模自動駕駛數(shù)據集上的測試顯示，MTGS 在多項指標上刷新紀錄。在畫面質量方面，感知相似度（LPIPS）提升 23.5%。在幾何精度方面，深度誤差降低 46.3%，護欄間距、車道寬度等細節(jié)厘米級還原。在動態(tài)響應方面，支持每秒 60 幀的實時渲染，車流密度變化、行人突然穿行等場景流暢呈現(xiàn)。