1950年，艾倫?圖靈在計(jì)算技術(shù)尚處萌芽的時(shí)代拋出了那個(gè)穿越時(shí)空的問(wèn)題：“機(jī)器能思考嗎？”這個(gè)充滿想象力的提問(wèn)，為后來(lái)“人工智能（AI）”領(lǐng)域的百年探索埋下了種子。
如今，在AI技術(shù)爆發(fā)式發(fā)展的浪潮中，曾主導(dǎo)ImageNet項(xiàng)目、為現(xiàn)代AI奠定基石的科學(xué)家李飛飛，在投身該領(lǐng)域25年后給出了新的注解：真正的智能不僅存在于語(yǔ)言文字中，更扎根于對(duì)物理世界的空間感知與交互——空間智能，正是AI尚未攻克的下一個(gè)前沿。
作為斯坦福大學(xué)計(jì)算機(jī)視覺(jué)與機(jī)器人學(xué)習(xí)領(lǐng)域的深耕者，李飛飛于2024年初聯(lián)合賈斯汀?約翰遜、克里斯托夫?拉斯納、本?米爾登霍爾創(chuàng)立世界實(shí)驗(yàn)室（WorldLabs），目標(biāo)直指構(gòu)建具備空間智能的“世界模型”。這一新型生成模型被寄予厚望，它將打破當(dāng)前AI“能言善辯卻缺乏經(jīng)驗(yàn)”的困境，重塑創(chuàng)造力、具身智能與人類進(jìn)步的軌跡。在這篇凝聚數(shù)十年研究思考的長(zhǎng)文中，李飛飛系統(tǒng)闡釋了空間智能的核心價(jià)值、技術(shù)路徑與未來(lái)圖景，為AI產(chǎn)業(yè)的下一個(gè)十年指明了方向。
要理解AI的下一站，必先回溯人類智能的源頭。李飛飛指出，感知與行動(dòng)構(gòu)成了智能進(jìn)化的核心循環(huán)，而空間智能正是這一循環(huán)的產(chǎn)物，是人類認(rèn)知的“腳手架”——它不僅支撐著我們與物理世界的日?；?dòng)，更是想象力、創(chuàng)造力與文明進(jìn)步的底層動(dòng)力。
從進(jìn)化視角看，早在語(yǔ)言與文明誕生前，生物便通過(guò)感知光線、紋理等原始信息與環(huán)境互動(dòng)。這種生存本能驅(qū)動(dòng)神經(jīng)系統(tǒng)不斷演化，形成解讀世界、協(xié)調(diào)行動(dòng)的復(fù)雜機(jī)制，最終塑造了人類“感知-學(xué)習(xí)-思考-行動(dòng)”的完整認(rèn)知閉環(huán)。這種進(jìn)化烙印至今仍體現(xiàn)在我們生活的每一個(gè)瞬間：睡眼惺忪中無(wú)需注視便能平穩(wěn)倒咖啡，消防員在坍塌建筑的煙霧中憑直覺(jué)判斷安全路徑，兒童在學(xué)語(yǔ)前通過(guò)嬉戲探索世界邊界.......這些無(wú)需刻意思考的流暢互動(dòng)，正是空間智能的直觀體現(xiàn)，也是當(dāng)前AI難以企及的能力。
空間智能的價(jià)值遠(yuǎn)不止于日常行動(dòng)，它更是人類創(chuàng)造力的源泉。從古代洞穴壁畫(huà)到現(xiàn)代電影、沉浸式電子游戲，故事講述者始終依賴空間想象力構(gòu)建虛擬世界；無(wú)論是沙灘上的沙堡還是《我的世界》中的數(shù)字建筑，空間感知都是真實(shí)與虛擬互動(dòng)的基礎(chǔ)。在商業(yè)領(lǐng)域，工業(yè)設(shè)計(jì)、數(shù)字孿生、機(jī)器人訓(xùn)練等場(chǎng)景，更是離不開(kāi)對(duì)物體、場(chǎng)景及動(dòng)態(tài)環(huán)境的空間模擬。
歷史上，諸多定義文明的重大突破都以空間智能為核心驅(qū)動(dòng)力。古希臘學(xué)者埃拉托斯特尼通過(guò)測(cè)量?jī)傻仃幱敖嵌炔睿珳?zhǔn)計(jì)算出地球周長(zhǎng)；哈格里夫斯的“珍妮紡紗機(jī)”通過(guò)優(yōu)化紡錘的空間排列，將生產(chǎn)力提升八倍；沃森與克里克借助3D物理模型，最終破解了DNA的雙螺旋結(jié)構(gòu)。這些案例共同證明：當(dāng)人類需要操縱物體、可視化結(jié)構(gòu)、推理物理空間時(shí)，空間智能便能突破認(rèn)知邊界，推動(dòng)文明躍遷——而這些能力，恰恰是無(wú)法僅通過(guò)文本傳遞的。
李飛飛強(qiáng)調(diào)，空間智能的本質(zhì)是“整體化的世界觀”：它不僅包含眼前的景象，更涵蓋萬(wàn)物在空間中的關(guān)聯(lián)、意義與價(jià)值。這種能力讓我們既能被動(dòng)觀察世界，也能主動(dòng)創(chuàng)造世界；既支撐著具體的物理互動(dòng)，也賦能抽象的邏輯推理。無(wú)論是科學(xué)家推導(dǎo)復(fù)雜理論，還是藝術(shù)家構(gòu)思作品形態(tài)，空間智能都在暗中發(fā)揮作用，成為人類認(rèn)知不可分割的一部分。
盡管生成式AI已取得矚目成就，大語(yǔ)言模型（LLMs）與多模態(tài)大語(yǔ)言模型（MLLMs）能生成連貫文本、照片級(jí)圖像甚至短視頻，但李飛飛直言，當(dāng)前AI的空間能力仍“遠(yuǎn)不及人類”，存在根本性局限。
人類之所以能夠感知、決策與執(zhí)行也都是依靠大腦在操控我們的軀體。對(duì)于具身智能而言，多模態(tài)模型就好像“大腦”，多模態(tài)大模型的發(fā)展提供了系統(tǒng)性解決方案，推動(dòng)機(jī)器人從“機(jī)械執(zhí)行”向“自主決策”進(jìn)化。
這些局限在實(shí)際應(yīng)用中暴露無(wú)遺：最先進(jìn)的多模態(tài)模型在估計(jì)距離、方向、物體大小，或進(jìn)行“心理旋轉(zhuǎn)”（從新角度重構(gòu)物體）時(shí)，表現(xiàn)往往與隨機(jī)猜測(cè)無(wú)異；它們無(wú)法自主導(dǎo)航迷宮、識(shí)別捷徑，也難以預(yù)測(cè)簡(jiǎn)單的物理現(xiàn)象；
AI生成的短視頻雖視覺(jué)酷炫，卻常在幾秒后失去時(shí)空連貫性。即便在機(jī)器人領(lǐng)域，盡管傳感器與觸覺(jué)技術(shù)取得突破，最先進(jìn)的機(jī)型也僅能在高度受限的環(huán)境中完成簡(jiǎn)單操作，距離全自主交互的目標(biāo)仍相去甚遠(yuǎn)。
核心問(wèn)題在于——當(dāng)前AI的認(rèn)知模式與人類存在本質(zhì)差異。李飛飛引用維特根斯坦的名言“我的語(yǔ)言的界限就是我的世界的界限”，并補(bǔ)充道：“對(duì)AI而言，界限不止于語(yǔ)言。”現(xiàn)有AI系統(tǒng)本質(zhì)上是“黑暗中的文字匠”——它們擅長(zhǎng)處理文本序列與二維圖像，卻無(wú)法構(gòu)建對(duì)物理世界的整體認(rèn)知。人類的世界觀是融合了幾何、物理、動(dòng)態(tài)與語(yǔ)義的有機(jī)整體，而AI的認(rèn)知仍停留在“描述”層面，缺乏“想象、推理、創(chuàng)造與互動(dòng)”的能力。
面對(duì)錯(cuò)綜復(fù)雜的問(wèn)題，如何讓AI具備空間智能？李飛飛給出的答案是“世界模型”——一種能理解、推理、生成與交互復(fù)雜世界（無(wú)論虛擬還是真實(shí)）的新型生成模型。與當(dāng)前LLMs專注于文本序列不同，世界模型以“還原世界本質(zhì)規(guī)律”為目標(biāo)，其能力邊界遠(yuǎn)超現(xiàn)有AI系統(tǒng)。這一領(lǐng)域尚處萌芽階段，但李飛飛明確了其三大核心能力定義，為技術(shù)研發(fā)提供了清晰框架。
李飛飛表示，世界模型是一種新型生成式模型，其目標(biāo)是賦予機(jī)器超越現(xiàn)有大型語(yǔ)言模型的理解、推理、生成以及與復(fù)雜世界互動(dòng)的能力，無(wú)論是虛擬世界還是現(xiàn)實(shí)世界。
世界模型具備三大核心能力：
隨著技術(shù)成熟，世界模型的交互能力將進(jìn)一步升級(jí)：不僅能預(yù)測(cè)“下一狀態(tài)”，還能基于新?tīng)顟B(tài)主動(dòng)推薦“下一步動(dòng)作”。這種“動(dòng)作-狀態(tài)-動(dòng)作”的閉環(huán)響應(yīng)，正是機(jī)器人自主決策、虛擬世界沉浸式交互的關(guān)鍵。李飛飛指出，交互能力的本質(zhì)是“理解因果關(guān)系”——模型需從海量數(shù)據(jù)中學(xué)習(xí)動(dòng)作與結(jié)果的關(guān)聯(lián)，掌握世界運(yùn)行的底層邏輯。
值得關(guān)注的是，世界實(shí)驗(yàn)室已向有限用戶展示了首個(gè)成果“Marble”（這是首個(gè)可通過(guò)多模態(tài)輸入提示，生成并維持一致3D環(huán)境的世界模型）。創(chuàng)作者可通過(guò)它快速構(gòu)建可探索、可交互的3D世界，加速創(chuàng)意流程。李飛飛透露，團(tuán)隊(duì)正全力推進(jìn)技術(shù)優(yōu)化，計(jì)劃盡快向公眾開(kāi)放這一工具，讓空間智能能力惠及更多創(chuàng)作者。
技術(shù)的價(jià)值最終體現(xiàn)在應(yīng)用落地。李飛飛在長(zhǎng)文中指出，空間智能主要有三個(gè)方面的應(yīng)用場(chǎng)景，在這些場(chǎng)景中，空間智能的應(yīng)用將重塑人類的生活方式與能力邊界。
“創(chuàng)造力是智慧的游戲。”愛(ài)因斯坦的名言恰是空間智能在創(chuàng)意領(lǐng)域價(jià)值的寫(xiě)照。李飛飛認(rèn)為，空間智能將以全新維度變革故事敘述與體驗(yàn)創(chuàng)造，打破傳統(tǒng)媒介邊界，讓創(chuàng)意表達(dá)更高效、更自由。比如，在設(shè)計(jì)領(lǐng)域，空間智能將大幅提升迭代效率。建筑師可快速可視化未建成的建筑結(jié)構(gòu)，在虛擬空間中模擬人類生活、工作與聚集的場(chǎng)景；工業(yè)與時(shí)尚設(shè)計(jì)師能即刻將創(chuàng)意轉(zhuǎn)化為3D形態(tài)，直觀探索物體與人體的互動(dòng)效果。這種“所想即所得”的設(shè)計(jì)模式，將大幅降低創(chuàng)意落地的時(shí)間與成本門(mén)檻。
具備空間智能的機(jī)器人是該領(lǐng)域自誕生起的夢(mèng)想，而世界模型將成為實(shí)現(xiàn)這一夢(mèng)想的關(guān)鍵。李飛飛指出，機(jī)器人技術(shù)將因空間智能的發(fā)展而實(shí)現(xiàn)質(zhì)的飛躍，從簡(jiǎn)單的工具轉(zhuǎn)型為人類的智能伙伴與合作者。在訓(xùn)練數(shù)據(jù)獲取方面，世界模型能夠通過(guò)模擬生成海量多樣化的環(huán)境和交互場(chǎng)景，彌補(bǔ)現(xiàn)實(shí)世界中訓(xùn)練數(shù)據(jù)的不足，加速機(jī)器人的學(xué)習(xí)過(guò)程。未來(lái)，機(jī)器人將在眾多領(lǐng)域發(fā)揮重要作用。在實(shí)驗(yàn)室中，它們可以協(xié)助科學(xué)家處理實(shí)驗(yàn)儀器，讓科學(xué)家專注于復(fù)雜的推理與分析任務(wù)；在家庭環(huán)境中，機(jī)器人將成為老年人和行動(dòng)不便者的得力助手，幫助他們完成家務(wù)勞動(dòng)，同時(shí)尊重他們的自主性和生活方式。這些具備空間智能的機(jī)器人能夠精準(zhǔn)感知環(huán)境、合理規(guī)劃行動(dòng)路徑并靈活執(zhí)行任務(wù)，與人類和諧共處。
在更長(zhǎng)遠(yuǎn)的未來(lái)，空間智能將在關(guān)乎人類福祉的關(guān)鍵領(lǐng)域引發(fā)深層次變革，成為加速發(fā)現(xiàn)、拯救生命的重要力量。
七十五年前，圖靈的提問(wèn)開(kāi)啟了人工智能的探索之旅；如今，李飛飛與世界實(shí)驗(yàn)室正引領(lǐng)AI邁向新的前沿?？臻g智能的探索，不僅是技術(shù)層面的突破，更是對(duì)“智能本質(zhì)”的重新思考——真正的智能，不僅在于理解語(yǔ)言，更在于理解世界；不僅在于描述現(xiàn)實(shí)，更在于創(chuàng)造未來(lái)。
“沒(méi)有空間智能，我們對(duì)真正智能機(jī)器的夢(mèng)想將不完整。”李飛飛以這句話收尾，既是對(duì)過(guò)往研究的總結(jié)，也是對(duì)未來(lái)的期許。在AI發(fā)展的下一個(gè)十年，空間智能將成為核心賽道，世界模型將重塑技術(shù)格局，而人類與AI的關(guān)系，也將在“增強(qiáng)而非取代”的準(zhǔn)則下，邁向更和諧、更具生產(chǎn)力的新階段。
正如ImageNet開(kāi)啟了現(xiàn)代AI的時(shí)代，世界模型或許將引領(lǐng)人類進(jìn)入“智能普惠”的新紀(jì)元——在這個(gè)時(shí)代，AI不再是實(shí)驗(yàn)室里的尖端技術(shù)，而是融入生活、賦能每個(gè)人的強(qiáng)大工具，讓創(chuàng)造力、探索欲與關(guān)懷心成為人類最核心的競(jìng)爭(zhēng)力。
1950年，當(dāng)計(jì)算技術(shù)還停留在自動(dòng)化算術(shù)和簡(jiǎn)單邏輯階段時(shí)，艾倫·圖靈提出了一個(gè)至今仍回響的問(wèn)題：機(jī)器能思考嗎？他展現(xiàn)出非凡的想象力——預(yù)見(jiàn)有一天，智能或許可以被“制造”而非“天生”。這一洞見(jiàn)后來(lái)催生了名為“人工智能（AI）”的不懈科學(xué)探索。在我投身AI領(lǐng)域的第25個(gè)年頭，我依然為圖靈的愿景所鼓舞。但我們究竟離目標(biāo)有多近？答案并不簡(jiǎn)單。
如今，以大語(yǔ)言模型（LLMs）為代表的前沿AI技術(shù)已開(kāi)始改變我們獲取和處理抽象知識(shí)的方式。但它們?nèi)允?ldquo;黑暗中的文字匠”——能言善辯卻缺乏經(jīng)驗(yàn)，知識(shí)淵博卻不接地氣。??空間智能??將徹底改變我們創(chuàng)造與交互真實(shí)及虛擬世界的方式，革新故事敘述、創(chuàng)意設(shè)計(jì)、機(jī)器人技術(shù)、科學(xué)發(fā)現(xiàn)等領(lǐng)域。這是AI的下一個(gè)前沿。
自進(jìn)入AI領(lǐng)域起，追求視覺(jué)與空間智能便如北極星般指引著我。正因如此，我耗費(fèi)數(shù)年構(gòu)建了ImageNet——首個(gè)大規(guī)模視覺(jué)學(xué)習(xí)與基準(zhǔn)數(shù)據(jù)集，它與神經(jīng)網(wǎng)絡(luò)算法、圖形處理器（GPU）等現(xiàn)代計(jì)算技術(shù)共同成為現(xiàn)代AI誕生的三大基石。正因如此，我在斯坦福的學(xué)術(shù)實(shí)驗(yàn)室過(guò)去十年深耕計(jì)算機(jī)視覺(jué)與機(jī)器人學(xué)習(xí)的融合。也正因如此，一年多前，我與聯(lián)合創(chuàng)始人賈斯汀·約翰遜（JustinJohnson）、克里斯托夫·拉斯納（ChristophLassner）、本·米爾登霍爾（BenMildenhall）共同創(chuàng)立了世界實(shí)驗(yàn)室（WorldLabs）：首次全面實(shí)現(xiàn)這一可能。
在本文中，我將闡釋何為空間智能、為何它至關(guān)重要，以及我們?nèi)绾螛?gòu)建解鎖這一能力所需的“世界模型”——其影響將重塑創(chuàng)造力、具身智能與人類進(jìn)步。
人工智能從未如此令人興奮。生成式AI模型（如LLMs）已從實(shí)驗(yàn)室走向日常生活，成為數(shù)十億人創(chuàng)造力、生產(chǎn)力與溝通的工具。它們展現(xiàn)了曾被視作不可能的能力：生成連貫文本、海量代碼、照片級(jí)真實(shí)圖像，甚至短視頻片段。如今，AI改變世界已不再是問(wèn)題——按任何合理定義，它早已在改變。
但仍有太多能力遙不可及。全自主機(jī)器人的愿景雖引人入勝，卻仍停留在推測(cè)階段，遠(yuǎn)未成為未來(lái)主義者承諾的日常存在。加速疾病分類、新材料發(fā)現(xiàn)、粒子物理研究等領(lǐng)域的夢(mèng)想，大多仍未實(shí)現(xiàn)。而真正理解并賦能人類創(chuàng)作者的AI——無(wú)論是學(xué)習(xí)復(fù)雜分子化學(xué)概念的學(xué)生、可視化空間的建筑師、構(gòu)建虛擬世界的電影制作人，還是尋求完全沉浸式虛擬體驗(yàn)的普通人——依然觸不可及。
要理解這些能力為何難以企及，我們需要回溯空間智能的演化，以及它如何塑造我們對(duì)世界的認(rèn)知。
視覺(jué)長(zhǎng)期是智能的核心，但它的力量源于更根本的能力。早在動(dòng)物學(xué)會(huì)筑巢、養(yǎng)育后代、用語(yǔ)言交流或建立文明之前，感知外部世界這一簡(jiǎn)單行為，便悄然開(kāi)啟了通向智能的進(jìn)化之旅。
這種從外界獲取信息的原始能力——無(wú)論是微弱的光線還是紋理的觸感——在代代相傳中強(qiáng)化并擴(kuò)展了感知與生存的聯(lián)系。一層又一層神經(jīng)元由此生長(zhǎng)，形成神經(jīng)系統(tǒng)，解讀世界并協(xié)調(diào)生物與環(huán)境互動(dòng)。因此，許多科學(xué)家推測(cè)，感知與行動(dòng)構(gòu)成了智能進(jìn)化的核心循環(huán)，也是自然創(chuàng)造我們這個(gè)終極“感知-學(xué)習(xí)-思考-行動(dòng)”物種的基礎(chǔ)。
空間智能對(duì)我們與物理世界的互動(dòng)至關(guān)重要。每天，我們依賴它完成最普通的動(dòng)作：停車(chē)時(shí)想象保險(xiǎn)杠與路沿逐漸縮小的間隙；接住拋來(lái)的鑰匙；在擁擠的人行道上穿行而不碰撞；睡眼惺忪地倒咖啡而不用看杯子。在極端情境下，消防員在坍塌的建筑中穿越搖曳的煙霧，對(duì)穩(wěn)定性與生存做出瞬間判斷，通過(guò)手勢(shì)、肢體語(yǔ)言和無(wú)需言語(yǔ)的專業(yè)直覺(jué)溝通。兒童在學(xué)語(yǔ)前的歲月里，通過(guò)與環(huán)境的嬉戲探索世界。所有這些都直覺(jué)、自動(dòng)地發(fā)生——這是機(jī)器尚未掌握的流暢性。
空間智能也是我們想象力與創(chuàng)造力的基石。故事講述者在腦海中構(gòu)建豐富的世界，并借助從古代洞穴壁畫(huà)到現(xiàn)代電影、沉浸式電子游戲等多種視覺(jué)媒介將其傳遞給他人。無(wú)論是孩子在沙灘上堆沙堡，還是在電腦上玩《我的世界》，基于空間的想象力都是真實(shí)或虛擬世界互動(dòng)體驗(yàn)的基礎(chǔ)。在工業(yè)設(shè)計(jì)、數(shù)字孿生、機(jī)器人訓(xùn)練等無(wú)數(shù)商業(yè)場(chǎng)景中，物體、場(chǎng)景與動(dòng)態(tài)交互環(huán)境的模擬支撐著關(guān)鍵應(yīng)用。
歷史上，許多定義文明的時(shí)刻都以空間智能為核心。古希臘的埃拉托斯特尼通過(guò)測(cè)量亞歷山大港與賽伊尼（今阿斯旺）的陰影角度差異，計(jì)算出地球周長(zhǎng)；哈格里夫斯的“珍妮紡紗機(jī)”通過(guò)將多個(gè)紡錘并排排列，使一名工人能同時(shí)紡多根線，將生產(chǎn)力提升八倍；沃森與克里克通過(guò)物理搭建3D分子模型，擺弄金屬板與導(dǎo)線，最終讓堿基對(duì)的空間排列“咔嗒”契合，發(fā)現(xiàn)了DNA結(jié)構(gòu)。在這些案例中，當(dāng)科學(xué)家與發(fā)明家需要操縱物體、可視化結(jié)構(gòu)、推理物理空間時(shí)，空間智能推動(dòng)了文明前進(jìn)——而這些無(wú)法僅通過(guò)文本捕捉。
空間智能是我們認(rèn)知的腳手架。它在我們被動(dòng)觀察或主動(dòng)創(chuàng)造時(shí)發(fā)揮作用，驅(qū)動(dòng)我們的推理與規(guī)劃，即使面對(duì)最抽象的主題。它是我們與他人或環(huán)境互動(dòng)（無(wú)論言語(yǔ)還是物理）的核心。盡管我們大多數(shù)人不常像埃拉托斯特尼那樣揭示新真理，但我們每天都在以同樣方式思考——通過(guò)感官感知復(fù)雜世界，再利用對(duì)物理空間的直覺(jué)理解來(lái)理解它。遺憾的是，今天的AI尚未具備這種思維。
過(guò)去幾年確實(shí)取得了巨大進(jìn)展。多模態(tài)大語(yǔ)言模型（MLLMs）通過(guò)海量多媒體數(shù)據(jù)（而非僅文本）訓(xùn)練，已具備基礎(chǔ)的空間意識(shí)：現(xiàn)代AI能分析圖片、回答相關(guān)問(wèn)題，生成超現(xiàn)實(shí)圖像與短視頻。通過(guò)傳感器與觸覺(jué)技術(shù)的突破，最先進(jìn)的機(jī)器人已能在高度受限的環(huán)境中操縱物體與工具。
但事實(shí)是，AI的空間能力仍遠(yuǎn)不及人類。其局限很快便會(huì)暴露：最先進(jìn)的多模態(tài)模型在估計(jì)距離、方向、大小或“心理旋轉(zhuǎn)”物體（從新角度重新生成）時(shí)，表現(xiàn)往往不優(yōu)于隨機(jī)猜測(cè)。它們無(wú)法導(dǎo)航迷宮、識(shí)別捷徑或預(yù)測(cè)基礎(chǔ)物理現(xiàn)象。AI生成的視頻雖新穎酷炫，卻常幾秒后失去連貫性。
盡管當(dāng)前AI能勝任閱讀、寫(xiě)作、研究與數(shù)據(jù)模式識(shí)別，但在表征或與物理世界交互時(shí)存在根本局限。我們的世界觀是整體的——不僅是眼前的景象，更是萬(wàn)物如何在空間中關(guān)聯(lián)、意味著什么、為何重要。通過(guò)想象、推理、創(chuàng)造與互動(dòng)（而非僅描述）理解這一點(diǎn)，正是空間智能的力量。沒(méi)有它，AI與它試圖理解的物理現(xiàn)實(shí)仍脫節(jié)。它無(wú)法有效駕駛汽車(chē)、引導(dǎo)家庭或醫(yī)院的機(jī)器人、實(shí)現(xiàn)沉浸式與互動(dòng)式的學(xué)習(xí)娛樂(lè)新方式，或加速材料科學(xué)與醫(yī)學(xué)的發(fā)現(xiàn)。
哲學(xué)家維特根斯坦曾寫(xiě)道：“我的語(yǔ)言的界限就是我的世界的界限。”我不是哲學(xué)家，但我知道對(duì)AI而言，界限不止于語(yǔ)言?？臻g智能是超越語(yǔ)言的前沿——它連接想象、感知與行動(dòng)，為機(jī)器真正提升人類生活（從醫(yī)療到創(chuàng)意，從科學(xué)發(fā)現(xiàn)到日常輔助）開(kāi)辟可能。
那么，如何構(gòu)建具備空間智能的AI？如何打造能以埃拉托斯特尼的洞察力推理、以工業(yè)設(shè)計(jì)師的精度工程、以故事講述者的想象力創(chuàng)造，并以急救員的流暢性與環(huán)境交互的模型？
構(gòu)建空間智能AI需要比LLMs更宏大的目標(biāo)：世界模型——一種新型生成模型，其理解、推理、生成與交互復(fù)雜世界（虛擬或真實(shí)）的能力遠(yuǎn)超今日LLMs。這一領(lǐng)域尚處萌芽，現(xiàn)有方法涵蓋從抽象推理模型到視頻生成系統(tǒng)。世界實(shí)驗(yàn)室于2024年初成立，正是基于這一信念：基礎(chǔ)方法仍在確立，這將是未來(lái)十年的決定性挑戰(zhàn)。
在這一新興領(lǐng)域，最重要的是確立指導(dǎo)發(fā)展的原則。對(duì)空間智能而言，我通過(guò)三個(gè)核心能力定義世界模型：
生成能力：世界模型能生成在感知、幾何與物理上一致的虛擬世界
解鎖空間理解與推理的世界模型，必須也能生成自身的模擬世界。它們需能根據(jù)語(yǔ)義或感知指令生成無(wú)限多樣且不同的模擬世界，同時(shí)保持幾何、物理與動(dòng)態(tài)的一致性——無(wú)論代表真實(shí)還是虛擬空間。研究界正積極探索這些世界應(yīng)通過(guò)隱式還是顯式方式表征（基于先天的幾何結(jié)構(gòu)）。此外，除了強(qiáng)大的隱式表征，我認(rèn)為通用世界模型的輸出必須允許生成世界的顯式可觀測(cè)狀態(tài)，以滿足多種用例需求。尤其重要的是，其對(duì)“現(xiàn)在”的理解必須與“過(guò)去”連貫——與導(dǎo)致當(dāng)前狀態(tài)的歷史狀態(tài)一致。
多模態(tài)能力：世界模型天生支持多模態(tài)輸入輸出
如同動(dòng)物與人類，世界模型應(yīng)能處理多種形式的輸入（生成式AI中的“提示”）。給定部分信息（無(wú)論是圖像、視頻、深度圖、文本指令、手勢(shì)或動(dòng)作），世界模型應(yīng)盡可能完整地預(yù)測(cè)或生成世界狀態(tài)。這要求其既能以真實(shí)視覺(jué)的保真度處理視覺(jué)輸入，又能同等高效地解析語(yǔ)義指令。這使得智能體與人類能通過(guò)多樣化輸入與模型交互，并接收多樣化輸出。
交互能力：世界模型能基于輸入動(dòng)作輸出下一狀態(tài)
若世界模型的提示包含動(dòng)作或目標(biāo)，其輸出必須包含世界的新?tīng)顟B(tài)（隱式或顯式）。當(dāng)僅輸入動(dòng)作（無(wú)論是否伴隨目標(biāo)狀態(tài)）時(shí)，世界模型應(yīng)生成與前一狀態(tài)、目標(biāo)狀態(tài)（若有）、語(yǔ)義含義、物理定律與動(dòng)態(tài)行為一致的輸出。隨著空間智能世界模型在推理與生成能力上愈發(fā)強(qiáng)大穩(wěn)健，可以設(shè)想，針對(duì)給定目標(biāo)，模型不僅能預(yù)測(cè)世界的下一狀態(tài)，還能基于新?tīng)顟B(tài)預(yù)測(cè)下一步動(dòng)作。這一挑戰(zhàn)的規(guī)模遠(yuǎn)超AI此前面對(duì)的任何任務(wù)。
語(yǔ)言是人類認(rèn)知中純粹的生成現(xiàn)象，而世界的運(yùn)行規(guī)則復(fù)雜得多。例如在地球上，重力支配運(yùn)動(dòng)，原子結(jié)構(gòu)決定光如何產(chǎn)生顏色與亮度，無(wú)數(shù)物理定律約束每一次交互。即使最奇幻的創(chuàng)意世界，也由遵循物理定律與動(dòng)態(tài)行為的空間物體與智能體構(gòu)成。調(diào)和所有這些——語(yǔ)義、幾何、動(dòng)態(tài)與物理——需要全新方法。表征世界的維度遠(yuǎn)高于一維序列信號(hào)（如語(yǔ)言）。要實(shí)現(xiàn)人類般普適的世界模型能力，需克服若干艱巨的技術(shù)障礙。在世界實(shí)驗(yàn)室，我們的研究團(tuán)隊(duì)正致力于此根本性突破。
以下是我們當(dāng)前的部分研究方向：
通用訓(xùn)練目標(biāo)函數(shù)：定義像LLMs的“下一個(gè)詞預(yù)測(cè)”一樣簡(jiǎn)潔優(yōu)雅的通用目標(biāo)函數(shù)，長(zhǎng)期是世界模型研究的核心目標(biāo)。輸入與輸出空間的復(fù)雜性使其本質(zhì)上更難表述。但盡管仍有探索空間，這一目標(biāo)函數(shù)與對(duì)應(yīng)表征必須反映幾何與物理定律，體現(xiàn)世界模型作為想象與現(xiàn)實(shí)的基礎(chǔ)表征的本質(zhì)。
大規(guī)模訓(xùn)練數(shù)據(jù)：訓(xùn)練世界模型需要比文本更復(fù)雜的數(shù)據(jù)。好消息是，海量數(shù)據(jù)源已存在——互聯(lián)網(wǎng)規(guī)模的圖像與視頻集合是豐富易得的訓(xùn)練材料。挑戰(zhàn)在于開(kāi)發(fā)算法，從這些二維圖像或視頻幀信號(hào)（RGB）中提取更深層的空間信息。過(guò)去十年研究表明，語(yǔ)言模型的縮放定律（數(shù)據(jù)量與模型大小的關(guān)聯(lián)）是關(guān)鍵；對(duì)世界模型而言，核心解鎖在于構(gòu)建能利用現(xiàn)有視覺(jué)數(shù)據(jù)達(dá)到可比規(guī)模的架構(gòu)。此外，我絕不低估高質(zhì)量合成數(shù)據(jù)與深度、觸覺(jué)等多模態(tài)信息的價(jià)值——它們?cè)谟?xùn)練過(guò)程的關(guān)鍵步驟中補(bǔ)充互聯(lián)網(wǎng)數(shù)據(jù)。但路徑依賴更優(yōu)的傳感器系統(tǒng)、更魯棒的信號(hào)提取算法，以及更強(qiáng)大的神經(jīng)模擬方法。
新模型架構(gòu)與表征學(xué)習(xí)：世界模型研究必將推動(dòng)模型架構(gòu)與學(xué)習(xí)算法的進(jìn)步，尤其是超越當(dāng)前的MLLM與視頻擴(kuò)散范式。二者通常將數(shù)據(jù)標(biāo)記為1D或2D序列，這使得計(jì)數(shù)視頻中獨(dú)特椅子、記憶一小時(shí)前房間樣貌等簡(jiǎn)單空間任務(wù)異常困難。新架構(gòu)或可助力，例如支持3D或4D感知的標(biāo)記化、上下文與記憶方法。例如，世界實(shí)驗(yàn)室近期開(kāi)發(fā)的實(shí)時(shí)生成幀模型RTFM，便展示了這一轉(zhuǎn)變——它使用空間感知的幀作為空間記憶，在保持生成世界持久性的同時(shí)實(shí)現(xiàn)高效實(shí)時(shí)生成。
顯然，在通過(guò)世界建模完全解鎖空間智能前，我們?nèi)悦媾R艱巨挑戰(zhàn)。這一研究不僅是理論探索，更是新一代創(chuàng)意與生產(chǎn)力工具的核心引擎。世界實(shí)驗(yàn)室的進(jìn)展令人振奮：我們已向有限用戶展示了“Marble”——首個(gè)可通過(guò)多模態(tài)輸入提示生成并維持一致3D環(huán)境的世界模型，供用戶與故事講述者探索、交互并進(jìn)一步構(gòu)建創(chuàng)意流程。我們正努力盡快將其推向公眾！
Marble只是構(gòu)建真正空間智能世界模型的第一步。隨著進(jìn)展加速，研究人員、工程師、用戶與商業(yè)領(lǐng)袖正逐漸認(rèn)識(shí)到其非凡潛力。下一代世界模型將使機(jī)器的空間智能躍上新臺(tái)階——這一成就將解鎖今日AI系統(tǒng)仍普遍缺失的關(guān)鍵能力。
AI發(fā)展的驅(qū)動(dòng)力至關(guān)重要。作為助力開(kāi)啟現(xiàn)代AI時(shí)代的科學(xué)家之一，我的動(dòng)機(jī)始終清晰：AI必須增強(qiáng)人類能力，而非取代人類。多年來(lái)，我致力于將AI的開(kāi)發(fā)、部署與治理與人類需求對(duì)齊。極端的技術(shù)烏托邦與末日論調(diào)雖層出不窮，我仍保持務(wù)實(shí)視角：AI由人開(kāi)發(fā)、為人所用、受人類治理。它必須始終尊重人類的能動(dòng)性與尊嚴(yán)。其魔力在于擴(kuò)展我們的能力——讓我們更具創(chuàng)造力、聯(lián)結(jié)性、生產(chǎn)力與滿足感。
空間智能正是這一愿景的體現(xiàn)：AI賦能人類創(chuàng)作者、護(hù)理者、科學(xué)家與夢(mèng)想家，實(shí)現(xiàn)曾經(jīng)不可能的成就。這一信念驅(qū)動(dòng)我將空間智能視為AI的下一個(gè)偉大前沿。
空間智能的應(yīng)用覆蓋不同時(shí)間線：創(chuàng)意工具已初現(xiàn)端倪——世界實(shí)驗(yàn)室的Marble正將此類能力交到電影制作人、游戲設(shè)計(jì)師、建筑師與各類故事講述者手中，助其快速創(chuàng)建并迭代可供探索、交互與構(gòu)建的3D世界，加速創(chuàng)作流程。機(jī)器人技術(shù)代表中期目標(biāo)，我們正完善感知與行動(dòng)的循環(huán)。最具變革性的科學(xué)應(yīng)用需更長(zhǎng)時(shí)間，但有望深刻推動(dòng)人類福祉。
實(shí)現(xiàn)這一切需要整個(gè)AI生態(tài)系統(tǒng)的集體努力——研究者、創(chuàng)新者、企業(yè)家、企業(yè)與政策制定者需為共享愿景協(xié)作。但這一愿景值得追求。以下是未來(lái)的圖景：
創(chuàng)意：賦能故事敘述與沉浸式體驗(yàn)
“創(chuàng)造力是智慧的游戲。”這是我偶像阿爾伯特·愛(ài)因斯坦最愛(ài)的名言之一。在文字出現(xiàn)前，人類便通過(guò)故事講述傳承文化——將其繪制于洞穴壁畫(huà)，代代相傳，構(gòu)建共享敘事的文化。故事是我們理解世界、跨越時(shí)空聯(lián)結(jié)、探索人性本質(zhì)的方式，更重要的是，它讓我們?cè)谏钪姓业綈?ài)與意義。
空間智能有望以全新維度變革故事敘述與體驗(yàn)的創(chuàng)造，既致敬其根本重要性，又將其影響從娛樂(lè)擴(kuò)展至教育、設(shè)計(jì)與建筑。
世界實(shí)驗(yàn)室的Marble平臺(tái)將為電影制作人、游戲設(shè)計(jì)師、建筑師等各類故事講述者提供前所未有的空間能力與編輯可控性，使其無(wú)需傳統(tǒng)3D設(shè)計(jì)軟件的繁瑣，即可快速創(chuàng)建并迭代完全可探索的3D世界。創(chuàng)作行為本身仍如人類般關(guān)鍵；AI工具只是放大并加速創(chuàng)作者的潛能。這包括：
多維敘事體驗(yàn)：電影制作人與游戲設(shè)計(jì)師正用Marble構(gòu)建不受預(yù)算或地理限制的完整世界，探索傳統(tǒng)制作流程中難以觸及的場(chǎng)景與視角。隨著不同媒介與娛樂(lè)形式的邊界模糊，我們正趨近于根本性的新型互動(dòng)體驗(yàn)——融合藝術(shù)、模擬與游戲的個(gè)性化世界，任何人都能創(chuàng)造并棲居于自己的故事中。隨著概念與分鏡更快轉(zhuǎn)化為完整體驗(yàn)，敘事將不再局限于單一媒介，創(chuàng)作者可構(gòu)建跨平臺(tái)共享主線的全新世界。
設(shè)計(jì)中的空間敘事：幾乎所有制造品或建筑空間都需先在虛擬3D中設(shè)計(jì)。這一過(guò)程高度迭代，耗時(shí)且成本高昂。借助空間智能模型，建筑師可快速可視化未建成的結(jié)構(gòu)——在虛擬空間中“講述”我們?nèi)绾紊?、工作與聚集的故事。工業(yè)與時(shí)尚設(shè)計(jì)師可即刻將想象轉(zhuǎn)化為形態(tài)，探索物體與人體的互動(dòng)。
全新沉浸與交互體驗(yàn)：體驗(yàn)是人類創(chuàng)造意義的深層方式。自有歷史以來(lái)，人類共享的唯一3D世界是物理世界。直至近幾十年，通過(guò)游戲與早期虛擬現(xiàn)實(shí)（VR），我們才初窺創(chuàng)造自定義世界的意義。如今，空間智能結(jié)合VR、擴(kuò)展現(xiàn)實(shí)（XR）頭顯與沉浸式顯示器等新形態(tài)，將這些體驗(yàn)提升至全新高度。我們正趨近于一個(gè)“踏入完全實(shí)現(xiàn)的多元世界”如“翻開(kāi)一本書(shū)”般自然的未來(lái)。空間智能使世界構(gòu)建不僅限于擁有專業(yè)制作團(tuán)隊(duì)的工作室，更向個(gè)體創(chuàng)作者、教育者與任何有愿景分享的人開(kāi)放。
機(jī)器人：具身智能的實(shí)踐
從昆蟲(chóng)到人類，動(dòng)物依賴空間智能理解、導(dǎo)航與交互世界。機(jī)器人亦將如此。具備空間智能的機(jī)器是該領(lǐng)域自誕生起的夢(mèng)想，包括我在斯坦福實(shí)驗(yàn)室與學(xué)生、合作者的研究。這也是我為何對(duì)世界實(shí)驗(yàn)室通過(guò)模型實(shí)現(xiàn)這一目標(biāo)如此興奮。
通過(guò)世界模型擴(kuò)展機(jī)器人學(xué)習(xí)：機(jī)器人學(xué)習(xí)的進(jìn)展依賴可擴(kuò)展的訓(xùn)練數(shù)據(jù)解決方案。鑒于機(jī)器人需學(xué)習(xí)的理解、推理、規(guī)劃與交互狀態(tài)空間極其龐大，許多人認(rèn)為需結(jié)合互聯(lián)網(wǎng)數(shù)據(jù)、合成模擬與人類演示的真實(shí)世界捕捉，才能訓(xùn)練出泛化機(jī)器人。但與語(yǔ)言模型不同，機(jī)器人研究的訓(xùn)練數(shù)據(jù)稀缺。世界模型將在此發(fā)揮決定性作用。隨著其感知保真度與計(jì)算效率提升，模型輸出可快速?gòu)浐夏M與現(xiàn)實(shí)的差距，進(jìn)而幫助機(jī)器人在無(wú)數(shù)狀態(tài)、交互與環(huán)境的模擬中訓(xùn)練。
協(xié)作型伙伴與同事：作為人類協(xié)作者的機(jī)器人——無(wú)論是協(xié)助實(shí)驗(yàn)室科學(xué)家，還是陪伴獨(dú)居老人——可緩解急需勞動(dòng)力的領(lǐng)域。但實(shí)現(xiàn)這一點(diǎn)需空間智能：感知、推理、規(guī)劃與行動(dòng)，同時(shí)（最重要的是）與人類目標(biāo)及行為保持共情對(duì)齊。例如，實(shí)驗(yàn)室機(jī)器人可接管儀器操作，讓科學(xué)家專注于需要靈巧或推理的任務(wù)；家庭助手可協(xié)助老人烹飪，同時(shí)不削弱其樂(lè)趣或自主性。能預(yù)測(cè)下一狀態(tài)、甚至符合預(yù)期動(dòng)作的空間智能世界模型，對(duì)此至關(guān)重要。
擴(kuò)展具身形式：類人機(jī)器人在我們構(gòu)建的世界中扮演角色，但真正的創(chuàng)新將來(lái)自更豐富的設(shè)計(jì)：遞送藥物的納米機(jī)器人、穿越狹窄空間的軟機(jī)器人、適用于深?；蛱盏臋C(jī)器。無(wú)論形態(tài)如何，未來(lái)的空間智能模型必須整合機(jī)器人所處的環(huán)境及其自身的具身感知與運(yùn)動(dòng)。但開(kāi)發(fā)這些機(jī)器人的關(guān)鍵挑戰(zhàn)是：不同具身形態(tài)缺乏訓(xùn)練數(shù)據(jù)。世界模型將在模擬數(shù)據(jù)、訓(xùn)練環(huán)境與基準(zhǔn)任務(wù)中發(fā)揮關(guān)鍵作用。
更長(zhǎng)遠(yuǎn)的圖景：科學(xué)、醫(yī)療與教育
除創(chuàng)意與機(jī)器人領(lǐng)域外，空間智能的深遠(yuǎn)影響還將延伸至AI增強(qiáng)人類能力、拯救生命與加速發(fā)現(xiàn)的領(lǐng)域。以下三個(gè)領(lǐng)域具有變革潛力——當(dāng)然，空間智能的應(yīng)用遠(yuǎn)不止于此。
科學(xué)研究：具備空間智能的系統(tǒng)可模擬實(shí)驗(yàn)、并行驗(yàn)證假設(shè)、探索人類無(wú)法到達(dá)的環(huán)境（從深海到遙遠(yuǎn)行星）。這一技術(shù)將變革氣候科學(xué)與材料研究等領(lǐng)域的計(jì)算建模。通過(guò)結(jié)合多維模擬與真實(shí)世界數(shù)據(jù)收集，這些工具可降低計(jì)算門(mén)檻，擴(kuò)展每個(gè)實(shí)驗(yàn)室的觀察能力。
醫(yī)療健康：空間智能將重塑從實(shí)驗(yàn)室到病床的一切。在斯坦福，我與學(xué)生、合作者多年與醫(yī)院、養(yǎng)老院及居家患者合作，深信其在此領(lǐng)域的變革潛力。AI可加速藥物發(fā)現(xiàn)（通過(guò)多維建模分子交互）、提升診斷（輔助放射科醫(yī)生識(shí)別醫(yī)學(xué)影像模式）、實(shí)現(xiàn)環(huán)境監(jiān)測(cè)系統(tǒng)（在不替代人類關(guān)懷的前提下支持患者與護(hù)理者），更不用說(shuō)機(jī)器人在協(xié)助醫(yī)護(hù)人員與患者中的多種可能。
教育：空間智能可實(shí)現(xiàn)沉浸式學(xué)習(xí)，將抽象或復(fù)雜概念具象化，并創(chuàng)造對(duì)大腦與身體學(xué)習(xí)方式至關(guān)重要的迭代體驗(yàn)。在AI時(shí)代，更快更有效的學(xué)習(xí)與再技能對(duì)兒童與成人都尤為重要。學(xué)生可探索細(xì)胞機(jī)制或“走進(jìn)”歷史事件；教師可獲得工具，通過(guò)交互環(huán)境實(shí)現(xiàn)個(gè)性化教學(xué)；專業(yè)人士（從外科醫(yī)生到工程師）可在安全模擬中練習(xí)復(fù)雜技能。
在所有這些領(lǐng)域，可能性無(wú)窮無(wú)盡，但目標(biāo)始終如一：AI增強(qiáng)人類專長(zhǎng)、加速人類發(fā)現(xiàn)、放大人類關(guān)懷——而非取代判斷、創(chuàng)造力與共情，這些人類的核心特質(zhì)。
過(guò)去十年，AI已成為全球現(xiàn)象，是技術(shù)、經(jīng)濟(jì)甚至地緣政治的轉(zhuǎn)折點(diǎn)。但作為研究者、教育者與創(chuàng)業(yè)者，最令我振奮的仍是圖靈75年前問(wèn)題背后的精神。我仍與他共享那份好奇。正是這種精神，每日驅(qū)動(dòng)我迎接空間智能的挑戰(zhàn)。
我們有史以來(lái)首次有望構(gòu)建與物理世界如此契合的機(jī)器，使其成為我們應(yīng)對(duì)最嚴(yán)峻挑戰(zhàn)的真正伙伴。無(wú)論是加速實(shí)驗(yàn)室的疾病研究、革新故事敘述，還是在疾病、受傷或衰老時(shí)支持我們，我們正站在提升生命最珍貴面向的技術(shù)邊緣。這是更深刻、更豐富、更賦權(quán)的生活愿景。
在自然界于遠(yuǎn)古祖先中釋放第一絲空間智能的近5億年后，我們有幸成為可能賦予機(jī)器這一能力的一代技術(shù)人——更有幸將這些能力用于造福全人類。沒(méi)有空間智能，我們對(duì)真正智能機(jī)器的夢(mèng)想將不完整。
這一探索是我的北極星。加入我，共同追尋。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論