文 | aiAR研究媛

OpenAI 的神奇在邊際遞減。Sora無法涌現(xiàn)真實世界的物理法則，成本和效用沒法商業(yè)閉環(huán)；o1被推測的CoT+RL 路線展現(xiàn)了強大的數(shù)學(xué)推理能力，但依舊爭論不停，跟隨者寥寥；GPT-5聽不到好消息同時，壞消息先來了，OpenAI的高層團(tuán)隊和核心技術(shù)骨干幾乎全部出走。

AGI 的終極遠(yuǎn)景固然吸引人，在歷史級的天量資本投入和期待下，OpenAI 似乎都架不住，要從非營利性組織向正常企業(yè)「轉(zhuǎn)型」。

大模型從「中樞」走向「邊緣」

今年以來，有一股明顯的市場力量，驅(qū)動大模型向PC、手機、汽車向這些邊緣端滲透，這些恰好也是人們工作、學(xué)習(xí)、生活、出行，最高頻使用的終端。

一個普通用戶每天產(chǎn)生的文本數(shù)據(jù)、圖像數(shù)據(jù)、聲音數(shù)據(jù)，散落在各個終端，如果這些數(shù)據(jù)推送給大模型交互、處理，可以極大地提升我們工作學(xué)習(xí)的效率，帶入更便捷和更高質(zhì)量的生活。

比如AIPC，有了大模型GUI Agent，可以做到用戶指令生成屏幕操作。大模型可以自動進(jìn)行工作郵件和會議快速總結(jié)，讀取經(jīng)營統(tǒng)計數(shù)據(jù)，瞬間轉(zhuǎn)換成markdown表格，長圖文在正確的提示詞交互下，快速生成指定匯報主題的PPT。

AI Phone 相比AIPC，多模態(tài)數(shù)據(jù)和應(yīng)用為豐富。智能手機有10多種不同種類的傳感器，位置GPS、攝像頭cmos、加速度、氣壓計、麥克風(fēng)陣列，手機能調(diào)用的App種類和數(shù)量也極為豐富，大模型被封裝成更高權(quán)限層級的個人助手，融入手機OS，能實現(xiàn)自動化智能操作和高效交互。

智能汽車更進(jìn)一步，各類傳感器數(shù)量高達(dá)數(shù)百個，可以控制的權(quán)限和實現(xiàn)的更復(fù)雜。智能汽車交互方式多樣，頻次多、粘性強、多模態(tài)數(shù)據(jù)規(guī)模大，大模型在這種復(fù)雜傳感器、多種交互和功能、融入了人際互動的移動空間，天然能夠重新組織、協(xié)調(diào)、梳理、關(guān)聯(lián)，將其整合成為一個高度智能的服務(wù)整體。比如通過語音和汽車交流，智能座艙基于大模型可以自動制作、控制、定向生成符合用戶情緒偏好的音樂、氛圍燈、影視內(nèi)容，創(chuàng)造超級個性化的舒適智能空間。

從正常的商業(yè)視角審視，把最高頻的三個消費電子讓大模型接管或重鑄，想象力太太太大了。大模型公司有概率上演，當(dāng)年蘋果和谷歌替換諾基亞、摩托羅拉，這種生態(tài)位切換的故事。

特斯拉的故事，給了一點啟示

當(dāng)一種新的、截然不同的計算需求和設(shè)備形態(tài)出現(xiàn)的時候，同類的終端廠商和上游的芯片廠商不一定能最快反應(yīng)過來。

舉個離我們最近的例子。今天風(fēng)光無限的 Elon Musk，全民偶像、超級極客、世界首富，助他真正登上神壇，是其創(chuàng)立的特斯拉改變了百年汽車工業(yè)。Musk掌控下的特斯拉，早在2014年就發(fā)布了HW 1.0，即特斯拉Hardware Platform ，電動汽車中用于自動駕駛功能的計算和傳感系統(tǒng)。

特斯拉電動汽車的魔力，可能并非大膽采用了一系列眼花繚亂的、汽車巨頭不敢嘗試的“新技術(shù)”。一體化壓鑄、線控底盤、松下動力電池、靈感來自服務(wù)器分級管理的BMS電池管理系統(tǒng)，這些都可以被其他廠商快速模仿并掉價，但從2014年的HW 1.0升級到2024年的HW 4.0，目標(biāo)直指Full Self-Driving，F(xiàn)SD，它可沒有容易被模仿和追趕了。

2018 年初，特斯拉深陷產(chǎn)能危機、面臨生死考驗時，馬斯克堅持研發(fā) “基于大規(guī)模神經(jīng)網(wǎng)絡(luò)訓(xùn)練的全自動駕駛方案”。

凝視深淵的馬斯克，在2019 年4月發(fā)布了 HW 3.0 硬件，兩顆 FSD 第一代自動駕駛AI計算芯片，紙面算力7倍于當(dāng)時英偉達(dá)車端智駕芯片 Xavier。

車身分布幾個分辨率并不高的攝像頭，配合在車端本地運行、實時數(shù)據(jù)處理的智駕芯片，以及不斷上傳到云端服務(wù)器的駕駛數(shù)據(jù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，當(dāng)特斯拉發(fā)展到 FSD v12的時候，迎來了“端到端”的突破：：一端輸入攝像頭等傳感器捕捉的數(shù)據(jù)，另一端輸出復(fù)雜路況環(huán)境下的自動駕駛。

端到端的神經(jīng)網(wǎng)絡(luò)，直接從大量真實的車輛駕駛、轉(zhuǎn)向、加速減速踩踏板、倒車、泊車等操作車輛的數(shù)據(jù)中學(xué)習(xí)，不是窮盡各種可能的駕駛路況編寫固定的規(guī)則和決策鏈路，而是在神經(jīng)網(wǎng)絡(luò)的“黑盒”中直接輸出開放式環(huán)境下的駕駛動作。FSD v12 中，30 萬行規(guī)則代碼被減少到2000 多行，不到原來的 1%，原有的“固定”規(guī)則不復(fù)存在。端到端方案的本質(zhì)不同在于，攝像頭等傳感器獲得的原始信息沒有經(jīng)過一環(huán)一環(huán)預(yù)設(shè)的、不同模塊的過濾和處理，而是直接傳遞到神經(jīng)網(wǎng)絡(luò)，輸出駕駛“決策”。傳感器信息的無損傳遞，模型從數(shù)據(jù)學(xué)習(xí)到更多的駕駛關(guān)聯(lián)和隱層信息，各種復(fù)雜場景不需要一一編寫規(guī)則，從而提升真實開放環(huán)境下的自動駕駛能力。

訓(xùn)練神經(jīng)網(wǎng)絡(luò)，學(xué)會像人類一樣的開車。這種底層能力的領(lǐng)先，一整套方案的構(gòu)建，傳感器分布，視覺識別算法，Jim Keller操刀的自研終端智駕芯片，Andrej Karpathy主導(dǎo)開發(fā)的大規(guī)模自動駕駛神經(jīng)網(wǎng)絡(luò)，還有多年實際運行大量人類司機上傳的天量駕駛數(shù)據(jù)，短時間內(nèi)，是不可能有其他廠商能夠進(jìn)行一一復(fù)制。

大模型上端，被忽略的東西

電動化、電氣化架構(gòu)容易追趕，特斯拉把電動汽車另一個競爭層次，智能化中的自動駕駛，帶到了一個新高度。早在2014年就推出的HW1.0，這種遠(yuǎn)見，從今天的視角來看，非常罕見。

因為下游任務(wù)和需求的變化，傳導(dǎo)到上游廠商，一般存在一個時間差。以上游構(gòu)成智駕系統(tǒng)最關(guān)鍵硬件的算力芯片來說，設(shè)計專門的微架構(gòu)，推出專用芯片，通常情況下，一定是巨大的市場驅(qū)動。在產(chǎn)品還沒有跑出一個巨大的市場，沒有需求驗證的情況下，敢重構(gòu)一個體系，并且積累先發(fā)優(yōu)勢，直到今天特斯拉無法復(fù)制、難以撼動。

特斯拉的發(fā)展故事，對于今天的大模型上PC端、手機端，依然有很強的借鑒意義。

今天AIPC、AI Phone的熱潮，大模型融入最高頻消費電子終端，本質(zhì)是改變了什么？又需要提前布局，在什么層面進(jìn)行競爭？

大模型運行在端側(cè)最大的優(yōu)勢，有的人說，是數(shù)據(jù)本地處理，隱私和數(shù)據(jù)安全。但是云端的能力明顯更強、更全面。隱私安全和能力更強怎么取舍，現(xiàn)實情況，消費者更愿意讓渡隱私換取方便。除非那種對數(shù)據(jù)安全有極高需求的垂直行業(yè)。

不依賴網(wǎng)絡(luò)和云端算力的真正優(yōu)勢，可能在于多模態(tài)的感知在終端本體實時進(jìn)行、實時處理，當(dāng)手機、AR眼鏡、機器人需要大模型常駐，服務(wù)即時響應(yīng)，端側(cè)模型的不可替代價值就顯現(xiàn)出來。你不可能等著圖片、長文本、視頻、聲音上傳云端，推理計算，再返回結(jié)果，有兩次的網(wǎng)絡(luò)傳輸延遲。

在消費者日常高頻請求、高頻度推理的時候，調(diào)用設(shè)備自身的算力，幾乎沒有成本。在云端每進(jìn)行一次推理，完成一次任務(wù)，它的消耗卻不能忽略，如果云端模型有天量的用戶，也意味著天量的算力儲備、電力消耗、帶寬需求，用戶量和交互請求的增長，服務(wù)器集群也要跟著擴(kuò)建。

并不是所有的任務(wù)都需要調(diào)用云端的強大能力。壓縮在端側(cè)的小模型，隨著模型能力發(fā)展，應(yīng)該處理絕大多數(shù)高頻任務(wù)和請求，而且On-device LoRA，幾乎等同于只懂你一人、只服務(wù)你一個人的大模型。

端側(cè)模型的趨勢不可阻擋。端側(cè)模型always-on的運行需求，已經(jīng)開始主導(dǎo)硬件的演進(jìn)。來自行業(yè)一線的基本判斷是，“大模型在端側(cè)的落地，內(nèi)存大小、帶寬的限制超過了算力限制。”算力可以很大，但數(shù)據(jù)會成為瓶頸，芯片一定要和算法做聯(lián)合優(yōu)化。

端側(cè)模型廠商、芯片廠商、終端公司，最近有一個明顯的趨勢，它們在共同優(yōu)化端側(cè)模型在各種終端的運行。

之前，以云端大模型見長、主走B端的智譜，下半年開始瞄準(zhǔn)AI Phone、AI PC，在C端的AI 硬件上動作頻頻，官宣與中國三星合作，開啟與多家芯片公司的協(xié)作。同屬清華系今年年初開始All in 端側(cè)模型的面壁智能，在完成了跟MediaTek最新一代旗艦移動SoC天璣9400的端側(cè)模型聯(lián)合調(diào)校之后，再與英特爾協(xié)作，兩家公司進(jìn)行MiniCPM模型在酷睿Ultra 二代旗艦芯片的部署支持、適配優(yōu)化、計算加速。榮耀、vivo這些終端品牌接連發(fā)布自研端側(cè)模型和跑在上層的應(yīng)用。

端側(cè)模型和底層算力芯片，模型層和算力層的打通意義在于，終端推理的性能優(yōu)化至關(guān)重要，經(jīng)過優(yōu)化的推理性能，以及芯片微架構(gòu)的改進(jìn)，可以較未經(jīng)優(yōu)化的原始性能提升數(shù)十倍。一個案例是，面壁MiniCPM在今年9月份這次和英特爾芯片的適配，相比2月份的“首次”，僅隔半年，提速169%。

現(xiàn)代的主流計算有三種體系，CPU、GPU 和ASIC思想下專門的NPU。從軟件編寫的角度看，CPU在通用性支持復(fù)雜指令和邏輯方面最強，高效率編譯的開發(fā)工作量最小。GPU在硬件上比CPU更簡單，數(shù)千個針對單一任務(wù)的并行處理單元，線程最多，但是軟件編寫更難，CUDA就是英偉達(dá)的長期耕耘才鑄造的高效率GPU程序開發(fā)壁壘。而AI計算加速，Transformer原生優(yōu)化的微架構(gòu)，它需要非常大的矩陣乘法器，卻是少得多的線程來做高負(fù)載的數(shù)學(xué)運算，它的編譯難度是最大的。

大模型上端，早早著手硬件架構(gòu)的演化，發(fā)展出在內(nèi)存、數(shù)據(jù)處理帶寬、更高編譯效率的芯片架構(gòu)，不僅僅是模型的壓縮和性能更強，算力芯片和模型的聯(lián)合優(yōu)化，誰能提前布局、重視、乃至重構(gòu)出一套體系，誰的勝算可能更大。

最后還是舉特斯拉智駕的例子。直到今天，發(fā)展端到端智駕系統(tǒng)各家廠商使出了渾身解數(shù)，打造智能汽車這一的關(guān)鍵能力，但是底層的智駕芯片廠商，針對端到端還沒有能拿出高算力、高帶寬、適用專用算法的AI計算架構(gòu)，主要動作依然是在傳統(tǒng)架構(gòu)下，優(yōu)化制程工藝、提升AI算力。

如今國內(nèi)車企主流使用的智駕芯片NVIDIA DRIVE Orin發(fā)布于2019年，地平線的征程5芯片發(fā)布于2021年。專用架構(gòu)的AI芯片相較于通用芯片幾乎是碾壓式領(lǐng)先，若能基于端到端大模型優(yōu)化和設(shè)計芯片，緊跟算法和模型的變化，必然能夠推動端到端技術(shù)的進(jìn)步和領(lǐng)先。

底層芯片廠商遲遲沒有推出針對端到端大模型設(shè)計的芯片，在于端到端大模型真正爆火，還是特斯拉FSD Beta V12.3版本示范的。這種全新思維和體系的智駕系統(tǒng)，端到端大模型仍處于落地早期階段，對于行業(yè)上游的底層硬件廠商還沒有起到深刻影響。

等上游芯片終于推出了高效率的端到端智駕芯片，追趕上FSD，這個時間差之內(nèi)，特斯拉新的FSD芯片和積累的大量人類駕駛數(shù)據(jù)訓(xùn)練的模型，恐怕又甩出追趕者一大截了。

很難有人能夠長期保持技術(shù)領(lǐng)先，洼地終究會被填平。但是提前構(gòu)建一個體系，發(fā)展生態(tài)的好處在于，你在這個體系下積累了先發(fā)優(yōu)勢，過去智能手機時代是App，大模型上端時代，是專用Transformer的芯片的計算加速、模型編譯適配、數(shù)據(jù)和應(yīng)用踩動的飛輪，時間積攢了強大市場推力，誰能從洪荒中覺醒，率先創(chuàng)世，誰可能成為新一代的巨頭。