Unconventional AI的創(chuàng)始團(tuán)隊(duì),圖片來(lái)源:Unconventional AI
Naveen Rao此前曾有兩次成功的創(chuàng)業(yè)退出經(jīng)歷(Nervana被Intel以4億美元收購(gòu),Mosaic ML被Databricks以13億美元收購(gòu)),他是少數(shù)能同時(shí)深刻理解人工智能硬件和軟件兩端的專家之一。
MeeLan在Google、Qualcomm和Intel擁有數(shù)十年的模擬電路設(shè)計(jì)經(jīng)驗(yàn)。Sara Achour和Michael Carbin分別是斯坦福大學(xué)和麻省理工學(xué)院的頂尖研究學(xué)者,在為新型計(jì)算基底(如模擬器件、量子系統(tǒng)、神經(jīng)形態(tài)架構(gòu))編程方面擁有深厚的專業(yè)知識(shí)。
過(guò)去半個(gè)世紀(jì),在摩爾定律的推動(dòng)下,計(jì)算成本持續(xù)下降。每一次成本的降低都擴(kuò)展了計(jì)算機(jī)的應(yīng)用范圍,從最初的科研,一直到商業(yè)工具、游戲和娛樂(lè)領(lǐng)域。
持續(xù)了很多年的摩爾定律,圖片來(lái)源:Unconventional AI
在人工智能領(lǐng)域,也有類似現(xiàn)象,一個(gè)AI模型的訓(xùn)練和服務(wù)成本,每年會(huì)降至原來(lái)的四分之一(這個(gè)速度是摩爾定律的十倍),這也將非常有助于人工智能的普及。
如今,GPU是人工智能產(chǎn)業(yè)的支柱,絕大多數(shù)的模型訓(xùn)練和推理工作負(fù)載都由它們承擔(dān)。AI應(yīng)用越來(lái)越廣泛,對(duì)算力需求將以前所未有的速度激增,前沿AI模型的訓(xùn)練已經(jīng)需要數(shù)萬(wàn)甚至數(shù)十萬(wàn)塊GPU。推理的算力需求則將是訓(xùn)練的十倍以上,曾經(jīng)被視為天方夜譚的、超過(guò)1吉瓦 (gigawatt) 的新建算力中心,如今已是家常便飯。
AI算力中心,需要巨量的電力,讓很多地方的電力供應(yīng)捉襟見(jiàn)肘。在未來(lái)3到4年內(nèi),全球能源供應(yīng)將成為計(jì)算能力發(fā)展的瓶頸。一種更高能效,耗能更少的AI計(jì)算能力,成為了AI持續(xù)進(jìn)展的必須。
作為人工智能底層的技術(shù),神經(jīng)網(wǎng)絡(luò)本身就來(lái)源于大腦,多位AI領(lǐng)域的頂尖人物,例如兩位諾獎(jiǎng)獲得者Geoffrey Hinton和Demis Hassabis就具有神經(jīng)學(xué)的背景;Yoshua Bengio和Yann LeCun也都深入研究過(guò)生物系統(tǒng)。
同樣是神經(jīng)學(xué)背景的Naveen Rao在大學(xué)時(shí)代就鉆研大腦和神經(jīng)系統(tǒng)內(nèi)部的計(jì)算,和導(dǎo)師一起用模擬電路,從電氣角度去模仿神經(jīng)元的行為。他表示,自己內(nèi)心真正的熱愛(ài),始終在于“如何讓機(jī)器變得智能”。
他的第一次創(chuàng)業(yè)(Nervana)就是打造“軟硬一體”的神經(jīng)網(wǎng)絡(luò)加速方案:專為訓(xùn)練深度網(wǎng)絡(luò)設(shè)計(jì)的芯片。在Unconventional AI的這一次創(chuàng)業(yè),他要繼續(xù)這個(gè)方向,并且走得更遠(yuǎn)。
他的核心洞察是:人工智能模型是概率性的,而用于訓(xùn)練和運(yùn)行它們的芯片卻并非如此。
神經(jīng)網(wǎng)絡(luò)的運(yùn)行方式類似于一臺(tái)隨機(jī)機(jī)器。當(dāng)它在基于經(jīng)典馮·諾依曼架構(gòu)的數(shù)字計(jì)算機(jī)上實(shí)現(xiàn)時(shí),運(yùn)行于確定性的抽象層之上,而底層執(zhí)行的,是那些為模擬數(shù)字行為而精確調(diào)校的模擬電路,這種方式導(dǎo)致了大量的效率損耗。
NVIDIA最新的GPU,單塊功耗就超過(guò)1000瓦,現(xiàn)在實(shí)際上是以犧牲能效為代價(jià),換取算力和成本的規(guī)?;Ec此同時(shí),作為神經(jīng)網(wǎng)絡(luò)的最初原型,人類大腦的運(yùn)行功耗僅為20瓦。
既然神經(jīng)網(wǎng)絡(luò)實(shí)際上是一臺(tái)隨機(jī)機(jī)器。那么,為何要用一種高度精確且確定性的基底,去運(yùn)行一個(gè)本質(zhì)上是隨機(jī)且分布式的系統(tǒng)呢?
事實(shí)上,Unconventional AI正在設(shè)計(jì)專為人工智能這類概率性工作負(fù)載而生的新型計(jì)算系統(tǒng)。這種想法有些類似于模擬計(jì)算系統(tǒng),最早的計(jì)算機(jī),其實(shí)就是模擬計(jì)算機(jī),但是當(dāng)時(shí)它因?yàn)椴捎秒娮庸苡?jì)算,遇到了規(guī)?;y題(耗能太高,體積太大),于是人們轉(zhuǎn)向了數(shù)字化,用晶體管來(lái)計(jì)算。
但模擬計(jì)算在本質(zhì)上仍然更高效,因?yàn)樗鼘?shí)際上是一種“類比計(jì)算”。例如:我能否構(gòu)建一個(gè)物理系統(tǒng),使其與我試圖表達(dá)或計(jì)算的量相似?
Unconventional AI將直接利用物理定律本身來(lái)運(yùn)行神經(jīng)網(wǎng)絡(luò),而不是去模擬某個(gè)物理系統(tǒng)。
這類系統(tǒng)的功耗在理論上可以比數(shù)字計(jì)算機(jī)低千倍之多,Unconventional AI的終極目標(biāo),是實(shí)現(xiàn)生物學(xué)尺度的能效。
這是從第一性原理出發(fā),對(duì)計(jì)算模型、物理抽象乃至物理實(shí)現(xiàn)進(jìn)行的全盤重新思考。大多數(shù)人工智能硬件公司都聚焦于微架構(gòu)或指令集的優(yōu)化,Unconventional AI正在進(jìn)行更深層次的探索。
它計(jì)劃用五年時(shí)間來(lái)打造一款全新的模擬芯片。創(chuàng)始人Naveen Rao表示,他們將與臺(tái)積電 (TSMC) 合作,其首款原型“可能會(huì)成為有史以來(lái)最大尺寸的模擬芯片之一。”
那么這個(gè)模擬芯片要怎么去研發(fā)?
Naveen Rao表示,Unconventional AI將效仿F1車隊(duì)提升賽車空氣動(dòng)力學(xué)性能的方式:在一個(gè)“硅風(fēng)洞”中,構(gòu)建一個(gè)“生物學(xué)尺度”的智能層模型,從而實(shí)現(xiàn)計(jì)算效率的提升。
因?yàn)槟撤N意義上,風(fēng)洞就是絕佳的模擬計(jì)算機(jī)例子,比如我們有一輛賽車,想了解氣流是如何繞過(guò)它的。理論上,可以通過(guò)計(jì)算來(lái)解決這些問(wèn)題,但問(wèn)題在于計(jì)算結(jié)果總會(huì)有偏差,很難知道真實(shí)系統(tǒng)會(huì)是什么樣子。而且要通過(guò)計(jì)算流體動(dòng)力學(xué)進(jìn)行精確模擬也非常困難,所以人們至今仍在建造風(fēng)洞。這實(shí)際上就是在建模,它就是一臺(tái)模擬計(jì)算機(jī)。
當(dāng)然,對(duì)于要探索全新計(jì)算范式的公司來(lái)說(shuō),現(xiàn)在它們甚至都沒(méi)有產(chǎn)品,它們現(xiàn)在做的大部分工作,還是理論研究,是從第一性原理出發(fā),探究學(xué)習(xí)過(guò)程如何在物理系統(tǒng)中發(fā)生。
Unconventional AI并非唯一致力于模擬計(jì)算的公司。創(chuàng)業(yè)公司Mythic一直在開(kāi)發(fā)其模擬處理器,并聲稱其芯片的性能比傳統(tǒng)的CPU、GPU和TPU高出一個(gè)數(shù)量級(jí)。該芯片正被用于邊緣人工智能場(chǎng)景,例如無(wú)人機(jī)、機(jī)器人和智慧城市部署。
也有中國(guó)的研究團(tuán)隊(duì)在探索模擬芯片,北京大學(xué)的研究人員構(gòu)建了一個(gè)模擬矩陣計(jì)算 (AMC) 系統(tǒng),他們?cè)谡撐睦镒C明,這款芯片的性能可超越NVIDIA GPU達(dá) 1000倍,而能耗僅為其百分之一。
GPU確實(shí)很適合AI的計(jì)算,CUDA生態(tài)也很牢靠,所以作為人工智能產(chǎn)業(yè)的基石,它的市值能夠達(dá)到4萬(wàn)億美元。但人工智能工作負(fù)載的同質(zhì)性,使其非常適合采用專用計(jì)算硬件,而需求的巨大規(guī)模,則讓其他公司不斷投入創(chuàng)新,試圖顛覆它。
Google的TPU,就已經(jīng)初見(jiàn)成效,它迭代到了TPU V7,現(xiàn)在Google的SOTA模型Gemini 3,就是在這個(gè)計(jì)算系統(tǒng)上訓(xùn)練和推理。Meta和Anthropic都與Google簽訂了規(guī)模達(dá)百億美元的購(gòu)買或算力租賃協(xié)議。
在TPU之外,一票創(chuàng)業(yè)公司也試圖顛覆CUDA生態(tài),例如Groq的LPU,這家公司已經(jīng)獲得15億以上的融資,達(dá)到了69億美元的估值。
還有芯片設(shè)計(jì)里的頂尖專家Jim Keller(他設(shè)計(jì)了蘋果的A5處理器和AMD的Zen架構(gòu)),他參與的創(chuàng)業(yè)公司Tenstorrent以RISC-V CPU為技術(shù)路線做AI芯片,目前已經(jīng)累計(jì)融資超10億美元。以及以光子計(jì)算為技術(shù)路線的Lightmatter,它獲得8.5億美元的累計(jì)融資。
不過(guò)這些企業(yè)的產(chǎn)品,大部分還是在經(jīng)典馮·諾依曼架構(gòu)內(nèi),Unconventional AI做的事情則更加底層,雖然很早期,很不成熟,但一旦做成了,就可以顛覆現(xiàn)有的計(jì)算范式,為AI的廣泛應(yīng)用提供新的可能性,很有價(jià)值。
盡管現(xiàn)在硅谷看起來(lái)已經(jīng)比較商業(yè),但硅谷精神的底層,仍然是創(chuàng)新驅(qū)動(dòng)和技術(shù)驅(qū)動(dòng)的,Unconventional AI的創(chuàng)始人Naveen Rao就是很有硅谷精神的人,所以他敢于推翻現(xiàn)有的計(jì)算系統(tǒng)范式。
中國(guó)的創(chuàng)業(yè)者,很多都是產(chǎn)品經(jīng)理出身,擅長(zhǎng)打造產(chǎn)品和應(yīng)用;而近年來(lái),也有越來(lái)越多的中國(guó)創(chuàng)業(yè)者有勇氣也有能力去進(jìn)行原創(chuàng)技術(shù)創(chuàng)新,從大疆、韶音到拓竹,影石,莫不如此。AI發(fā)展的下一步是物理AI,這是一個(gè)大的范式轉(zhuǎn)變,我們希望看到越來(lái)越多敢于進(jìn)行底層創(chuàng)新的創(chuàng)業(yè)者投身到這個(gè)大潮中去。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論