原標(biāo)題：具身智能有了測(cè)評(píng)“上海卷”

　　GM-100宣布開(kāi)源，國(guó)內(nèi)多個(gè)大模型將引入“跑分”測(cè)試補(bǔ)齊短板

　　記者昨天獲悉，上海交通大學(xué)聯(lián)合業(yè)界研發(fā)的具身智能測(cè)評(píng)集GM-100宣布開(kāi)源，旨在為衡量機(jī)器人“大腦”(智能模型)與“身體”(物理執(zhí)行)的協(xié)同能力，提供一個(gè)更系統(tǒng)、開(kāi)放且可復(fù)現(xiàn)的評(píng)估基準(zhǔn)。后續(xù)，國(guó)內(nèi)多個(gè)具身智能大模型將引入該測(cè)評(píng)集進(jìn)行“跑分”測(cè)試。

　　當(dāng)前，具身智能技術(shù)路線尚處百家爭(zhēng)鳴期，數(shù)據(jù)集建設(shè)缺乏統(tǒng)一標(biāo)準(zhǔn)。GM-100測(cè)評(píng)集相當(dāng)于給具身智能出了一套上海版“統(tǒng)考卷”，為國(guó)內(nèi)具身智能評(píng)價(jià)體系補(bǔ)齊短板。

　　不盲目追求任務(wù)量

　　據(jù)悉，GM-100測(cè)評(píng)集包含了100個(gè)具體任務(wù)，總計(jì)1.3萬(wàn)條操作軌跡數(shù)據(jù)，規(guī)?？捎^。項(xiàng)目牽頭人、上海交通大學(xué)副教授李永露認(rèn)為，在當(dāng)前研究階段，高質(zhì)量的數(shù)據(jù)集和評(píng)測(cè)體系對(duì)科研的貢獻(xiàn)至關(guān)重要，優(yōu)化數(shù)據(jù)分布能有效推動(dòng)模型能力進(jìn)步。因此，與其單純追求任務(wù)的數(shù)據(jù)量，該測(cè)評(píng)集更強(qiáng)調(diào)任務(wù)設(shè)計(jì)的廣度與評(píng)估體系的深度。

　　記者從研究團(tuán)隊(duì)了解到，GM-100測(cè)評(píng)集在設(shè)計(jì)任務(wù)時(shí)，首先分析人類與物體交互的基本原語(yǔ)(不可分割的指令)，再利用大語(yǔ)言模型生成大量候選任務(wù)，經(jīng)專家篩選優(yōu)化，最終形成涵蓋從日常簡(jiǎn)單操作到罕見(jiàn)復(fù)雜場(chǎng)景的100項(xiàng)任務(wù)。

　　此外，該測(cè)評(píng)集在傳統(tǒng)的任務(wù)成功率之外，引入了兩項(xiàng)關(guān)鍵指標(biāo)。一是部分成功率，用于量化多步驟任務(wù)中，子步驟的完成情況，避免“非全即無(wú)”的粗暴判斷；二是動(dòng)作預(yù)測(cè)誤差，即衡量模型在面對(duì)新情況時(shí)動(dòng)作模仿的精度。

　　研究團(tuán)隊(duì)對(duì)全球主流模型測(cè)試結(jié)果顯示，GM-100測(cè)評(píng)集的任務(wù)設(shè)計(jì)難度合理，在不同機(jī)器人平臺(tái)上均可執(zhí)行且具備區(qū)分度，評(píng)估結(jié)果在不同硬件間也表現(xiàn)出穩(wěn)定的泛化性，為跨平臺(tái)模型能力比較提供了可靠參考。

　　目前，測(cè)評(píng)集所有100個(gè)任務(wù)的詳細(xì)說(shuō)明、所需物料清單均已開(kāi)源，團(tuán)隊(duì)還為每個(gè)任務(wù)上傳了約130條真實(shí)機(jī)器人操作軌跡數(shù)據(jù)?！拔覀兩踔凉剂司唧w物料的購(gòu)買鏈接，盡可能降低開(kāi)發(fā)者的復(fù)現(xiàn)與參與門檻，讓更多人能在同一基準(zhǔn)上開(kāi)展測(cè)試。”研究團(tuán)隊(duì)負(fù)責(zé)人告訴記者。

　　補(bǔ)齊評(píng)價(jià)體系短板

　　當(dāng)前，具身智能領(lǐng)域評(píng)測(cè)標(biāo)準(zhǔn)分散且不統(tǒng)一，各團(tuán)隊(duì)自建標(biāo)準(zhǔn)，抓取、路徑規(guī)劃等側(cè)重點(diǎn)也各不相同，且多局限于高頻簡(jiǎn)單場(chǎng)景。隨著技術(shù)進(jìn)步，舊有基準(zhǔn)的區(qū)分度下降，難以反映復(fù)雜環(huán)境下的核心挑戰(zhàn)，行業(yè)缺乏公認(rèn)的客觀參照。

　　“現(xiàn)有具身智能模型結(jié)構(gòu)的泛化能力已顯不足，需進(jìn)行結(jié)構(gòu)性創(chuàng)新，在數(shù)據(jù)層面，大規(guī)模、高質(zhì)量數(shù)據(jù)的采集與評(píng)估仍是行業(yè)瓶頸?！庇顦?shù)董事長(zhǎng)王興興在外灘大會(huì)、進(jìn)博會(huì)等多個(gè)場(chǎng)合公開(kāi)表示，當(dāng)前具身智能的制約因素主要是模型架構(gòu)和數(shù)據(jù)質(zhì)量。

　　為此，上海正努力通過(guò)具身數(shù)據(jù)和模型能力雙維度，找到具身智能行業(yè)的破局之道。

　　在數(shù)據(jù)方面，智元機(jī)器人率先建成全球首個(gè)數(shù)采超級(jí)工廠，還開(kāi)源了包含百萬(wàn)條真機(jī)數(shù)據(jù)的AgiBot World數(shù)據(jù)集。智元具身業(yè)務(wù)部總裁姚卯青表示，該數(shù)據(jù)集提供了工業(yè)級(jí)高質(zhì)量數(shù)據(jù)支撐，包含百萬(wàn)條機(jī)器人數(shù)據(jù)軌跡，每條數(shù)據(jù)都經(jīng)過(guò)多輪審核，確保場(chǎng)景貼近現(xiàn)實(shí)、任務(wù)復(fù)雜多樣。

　　此外，國(guó)地中心和浦江實(shí)驗(yàn)室聯(lián)合團(tuán)隊(duì)計(jì)劃完成2500萬(wàn)組整機(jī)數(shù)據(jù)積累，數(shù)據(jù)規(guī)模達(dá)到谷歌同類數(shù)據(jù)集的10倍。1月22日，上海庫(kù)帕思科技與它石智航宣布共建“具身數(shù)據(jù)星火計(jì)劃”，推動(dòng)實(shí)現(xiàn)億小時(shí)級(jí)別的數(shù)據(jù)流通規(guī)模。

　　在模型方面，2025年3月，智元發(fā)布全球首個(gè)通用具身基座大模型智元GO-1，融合多模態(tài)大模型(VLM)與混合專家系統(tǒng)(MoE)，支持不同本體平臺(tái)數(shù)據(jù)采集和部署。上海具識(shí)智能還自主研發(fā)了全國(guó)首個(gè)具身智能操作系統(tǒng)InsightOS，在智能制造產(chǎn)線部署、智慧農(nóng)業(yè)作業(yè)等產(chǎn)業(yè)場(chǎng)景得到應(yīng)用。

　　在此基礎(chǔ)上，GM-100測(cè)評(píng)集的出現(xiàn)，則為上海乃至國(guó)內(nèi)的具身智能評(píng)價(jià)體系補(bǔ)齊了短板。

　　“我們的目標(biāo)并非建立一個(gè)絕對(duì)公平的物理測(cè)試環(huán)境，而是打造一個(gè)開(kāi)放、透明、可復(fù)現(xiàn)的評(píng)測(cè)平臺(tái)?！痹撠?fù)責(zé)人表示，通過(guò)提供標(biāo)準(zhǔn)化的“考題”(任務(wù))、詳細(xì)的“考試說(shuō)明”(開(kāi)源資料)和靈活的“閱卷標(biāo)準(zhǔn)”(多維指標(biāo))，努力成為一張具身智能模型的“統(tǒng)考卷”，不僅有助于橫向比較模型性能，更通過(guò)題目設(shè)置定義行業(yè)的核心能力與前沿問(wèn)題。