近日，在MWC 2024上海大會(huì)上的演講中，聯(lián)想集團(tuán)副總裁、聯(lián)想研究院上海分院院長(zhǎng)、智能設(shè)備與方案實(shí)驗(yàn)室負(fù)責(zé)人毛世杰表示，AI賦能的行業(yè)元宇宙已成為產(chǎn)業(yè)升級(jí)的新載體。
元宇宙是數(shù)字與物理世界融通作用的沉浸式互聯(lián)空間，是新一代信息技術(shù)集成創(chuàng)新和應(yīng)用的未來(lái)產(chǎn)業(yè)，是數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)融合的高級(jí)形態(tài)。毛世杰表示，聯(lián)想打造了一系列AI賦能的行業(yè)元宇宙核心技術(shù)，并基于此打造了AI賦能的、基于3D技術(shù)的具身智能設(shè)備、元宇宙軟件平臺(tái)，以及端到端行業(yè)解決方案。
在元宇宙關(guān)鍵技術(shù)層面，聯(lián)想研究院聚焦3D構(gòu)建、強(qiáng)物理感知、多模態(tài)交互以及自適應(yīng)控制等領(lǐng)域。
在3D構(gòu)建方面，通過(guò)AI 實(shí)現(xiàn)三維內(nèi)容的高擬真、低成本構(gòu)建。基于AI(NeRF,3DGS) 高擬真三維重建技術(shù)，解決傳統(tǒng) 3D 模型混合渲染問(wèn)題、行人偽影、Mesh優(yōu)化等問(wèn)題；通過(guò)可見(jiàn)光與紅外圖像精確配準(zhǔn)技術(shù)，實(shí)現(xiàn)混合視覺(jué)模態(tài)的模型構(gòu)建；并積極探索面向垂直領(lǐng)域模型的AIGC 3D 生成技術(shù)。
在強(qiáng)物理感知方面，通過(guò)視覺(jué)大模型顯著提升對(duì)物理世界的檢測(cè)識(shí)別能力。基于Stable Diffusion 微調(diào)的缺陷樣本生成技術(shù)和基于 SAM 的 one shot/few shot 檢測(cè)技術(shù)提升傳統(tǒng)小模型性能；通過(guò)視覺(jué)大模型將異常檢測(cè)從特征層面提升到語(yǔ)義層面，實(shí)現(xiàn)正樣本檢測(cè)能力；并基于視覺(jué)語(yǔ)言大模型實(shí)現(xiàn)Open Vocabulary 的語(yǔ)義檢測(cè)。
在多模態(tài)交互方面，通過(guò)AI技術(shù)解決人與空間、設(shè)備、任務(wù)的高效交互問(wèn)題。開(kāi)發(fā)基于AI 特征端側(cè)優(yōu)化的高精度 SLAM 空間定位，實(shí)現(xiàn)沉浸式的 3D 空間交互；基于LLM 與設(shè)備動(dòng)作庫(kù)（原子動(dòng)作指令的組合）的高效操控，實(shí)現(xiàn)專業(yè)設(shè)備自然的語(yǔ)言操控；并基于大模型和工作流的復(fù)雜任務(wù)部署，高效、便捷地部署端到端任務(wù)。
在自適應(yīng)控制方面，聯(lián)想研究院基于3D 仿真的 AI 強(qiáng)化學(xué)習(xí)提升機(jī)器人自適應(yīng)控制技能。具體而言，通過(guò)3D 仿真環(huán)境和深度強(qiáng)化學(xué)習(xí) DRL 的步態(tài)庫(kù)構(gòu)建，降低機(jī)器人控制算法訓(xùn)練成本；基于3D 仿真的的落腳點(diǎn)規(guī)劃技術(shù)，提升規(guī)劃算法學(xué)習(xí)效率；并探索VLA 視覺(jué)語(yǔ)言動(dòng)作大模型，實(shí)現(xiàn)端到端具身智能。
基于這些核心技術(shù)，聯(lián)想打造了“2+1+N“的產(chǎn)品和方案布局，即2類硬件——晨星XR眼鏡和機(jī)器人，一個(gè)平臺(tái)——晨星元宇宙平臺(tái)，以及N個(gè)元宇宙行業(yè)解決方案。
晨星XR眼鏡和機(jī)器人
早在2012年，聯(lián)想開(kāi)始積極探索XR技術(shù)的落地應(yīng)用，陸續(xù)推出G1、G2、NewG2、NewG2 Pro、G2 light等各種XR眼鏡設(shè)備，以滿足巡檢、遠(yuǎn)程、實(shí)訓(xùn)、展示等元宇宙的諸多場(chǎng)景需求。
除了XR眼鏡，工業(yè)機(jī)器人也是聯(lián)想研究院的重點(diǎn)聚焦領(lǐng)域之一。在4月的聯(lián)想創(chuàng)新科技大會(huì)上，聯(lián)想研究院發(fā)布了最新的融合了具身智能的晨星工業(yè)機(jī)器人，也是聯(lián)想首款自研足式機(jī)器人 —— 聯(lián)想晨星足式機(jī)器人GS (Daystar Bot GS)，以及其輕量化的版本——聯(lián)想晨星足式機(jī)器人IS(Daystar Bot IS)。
這款GS機(jī)器人由聯(lián)想研究院和上海交通大學(xué)聯(lián)合打造，六足的設(shè)計(jì)使其具備復(fù)雜地形的高通過(guò)能力，可全天候在室內(nèi)外大場(chǎng)景下完成常規(guī)特種任務(wù)，可實(shí)時(shí)監(jiān)測(cè)設(shè)備狀態(tài)及進(jìn)行應(yīng)急操作。
更重要的是，它已不僅是一臺(tái)機(jī)械設(shè)備，更是融入了具身智能，是一臺(tái)擁有感知、思考和行動(dòng)能力的智能體。
在GS/IS問(wèn)世前，聯(lián)想研究院已打造了數(shù)個(gè)版本的晨星工業(yè)機(jī)器人，并應(yīng)用在了電力巡檢、遠(yuǎn)程工廠巡視、大飛機(jī)噴漆等場(chǎng)景中。
晨星元宇宙平臺(tái)
6月26日，在2024上海MWC大會(huì)現(xiàn)場(chǎng)，聯(lián)想研究院上海分院正式發(fā)布了自主研發(fā)的軟件平臺(tái)——聯(lián)想晨星元宇宙平臺(tái)（Daystar World）。它是國(guó)內(nèi)首個(gè)軟硬一體元宇宙平臺(tái)，基于計(jì)算機(jī)視覺(jué)以及生成式人工智能（AIGC）等前沿技術(shù)而打造。通過(guò)產(chǎn)學(xué)研用的聯(lián)合攻關(guān)，聯(lián)想晨星元宇宙平臺(tái)突破了物理世界高擬真3D重建、三維數(shù)字底板構(gòu)建、仿真預(yù)測(cè)、虛實(shí)交互與聯(lián)動(dòng)等業(yè)界難題。
該平臺(tái)能夠進(jìn)行拖拉拽式的快速低代碼元宇宙空間構(gòu)建，還能通過(guò)與自研設(shè)備（聯(lián)想晨星XR眼鏡、機(jī)器人、智能相機(jī)等）聯(lián)動(dòng)，形成端到端方案交付，實(shí)現(xiàn)機(jī)器人部署仿真、XR內(nèi)容編排、AI檢測(cè)、數(shù)字孿生等一系列功能。
行業(yè)元宇宙解決方案
基于晨星XR眼鏡、工業(yè)機(jī)器人以及元宇宙平臺(tái)，聯(lián)想研究院打造了各種各樣的行業(yè)智能化解決方案，賦能了電力、汽車、教育、文旅等眾多的行業(yè)和企業(yè)。
比如，落地國(guó)家電網(wǎng)/南方電網(wǎng)220KV變電站足式機(jī)器人巡檢方案，使用晨星元宇宙平臺(tái)實(shí)現(xiàn)虛擬部署，通過(guò)性能出色的足式機(jī)器人，支持25 類缺陷、9類表計(jì)和7 種設(shè)備狀態(tài)的識(shí)別算法，表計(jì)讀數(shù)準(zhǔn)確率>95%，缺陷識(shí)別檢出率>95%，狀態(tài)識(shí)別準(zhǔn)確率>99%，智能運(yùn)維成本降低70%。
再比如，產(chǎn)業(yè)園區(qū)分布式光伏發(fā)電站無(wú)人機(jī)巡檢解決方案，基于晨星元宇宙航線規(guī)劃和任務(wù)管理的全自主無(wú)人機(jī)巡檢；先進(jìn)的熱斑檢測(cè)算法，能夠及時(shí)發(fā)現(xiàn)異常發(fā)熱；利用無(wú)人機(jī)RTK 精準(zhǔn)定位測(cè)繪 三維重建技術(shù) 實(shí)現(xiàn)發(fā)熱區(qū)域精準(zhǔn)定位；自動(dòng)標(biāo)定后，及時(shí)發(fā)現(xiàn)和定位光伏板的異常發(fā)熱區(qū)域并完成自動(dòng)噴淋清潔。32棟常規(guī)辦公樓全面巡檢只需 20 分鐘，精確定位缺陷坐標(biāo)，無(wú)需人工目檢。
除此之外，在汽車制造、文旅等行業(yè)，聯(lián)想研究院也打造了有針對(duì)性的元宇宙解決方案，賦能了吉利路特斯AI質(zhì)檢，以及應(yīng)縣木塔文化遺產(chǎn)的研究和保護(hù)等項(xiàng)目。