Taalas選擇放棄軟件，走硬連線的路線，將模型的權(quán)重和數(shù)據(jù)流直接變成物理連線，在其設(shè)計(jì)邏輯中，軟件是純粹的開銷，指令集更是一種浪費(fèi)，甚至連編譯器都無需配備，模型確定后便直接流片。這種設(shè)計(jì)讓芯片的功耗和成本壓至極低，但容錯(cuò)率也降為0，模型的任何變動(dòng)都會(huì)讓芯片失去使用價(jià)值。
Etched選擇把架構(gòu)刻進(jìn)芯片。他們的第一塊AI芯片是一種專用的集成電路（ASIC），聲稱在AI大語言模型（LLM）推理方面擊敗了英偉達(dá)的H100。由于它是ASIC，所以Etched需要把transformer架構(gòu)刻蝕在芯片上。通過把Transformer的計(jì)算邏輯，注意力機(jī)制、矩陣乘法、激活函數(shù)，直接硬編碼進(jìn)芯片的電路設(shè)計(jì)中，效率實(shí)現(xiàn)了指數(shù)級(jí)提升。但這同時(shí)也意味著完全喪失靈活性：無法運(yùn)行循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN），無法跑推薦系統(tǒng)模型，無法做任何非Transformer的AI任務(wù)。
Groq則推出了專屬的LPU（語言處理單元），采用純SRAM架構(gòu)，摒棄了硬件調(diào)度器、緩存一致性協(xié)議和分支預(yù)測(cè)等傳統(tǒng)設(shè)計(jì)。其核心邏輯是讓硬件保持100%的確定性，數(shù)據(jù)的傳輸和運(yùn)算全靠編譯器在軟件層面提前進(jìn)行周期級(jí)的精確規(guī)劃。這一方案讓芯片在批處理（Batch=1）時(shí)的推理速度極快，而Groq的核心競(jìng)爭(zhēng)力，也并非芯片本身，而是能調(diào)度海量并行指令的編譯器軟件。
Cerebras的核心產(chǎn)品WSE（晶圓級(jí)引擎），跳出了傳統(tǒng)的芯片切割思路，直接將整塊晶圓作為一顆大芯片，晶圓上集成了海量的SRAM和計(jì)算核心。該設(shè)計(jì)的底層邏輯，是從物理層面解決芯片間數(shù)據(jù)傳輸?shù)膬?nèi)存墻問題，畢竟芯片間的數(shù)據(jù)交互是速度最慢、能耗最高的環(huán)節(jié)。這一方案讓芯片獲得了無敵的帶寬，但也讓制造、散熱、容錯(cuò)的物理工程難度達(dá)到了極致。
Tenstorrent（由芯片大神Jim Keller創(chuàng)立）則選擇擁抱開源與解耦，其路線是RISC-V指令集搭配矩陣計(jì)算單元（Tensix），打造高度可編程的數(shù)據(jù)流架構(gòu)。這家企業(yè)也是四家之中最不“ASIC”的存在，Jim Keller認(rèn)為，AI算法仍處于快速迭代的階段，硬件設(shè)計(jì)絕不能寫死，因此采用靈活的RISC-V指令集處理控制流，再通過異構(gòu)網(wǎng)絡(luò)將成千上萬個(gè)小芯片連接起來。這一方案讓芯片更接近“通用計(jì)算機(jī)”，其賭點(diǎn)在于未來的AI并非單一的Transformer架構(gòu)，而是會(huì)發(fā)展為包含大量條件判斷、邏輯推理的復(fù)雜軟件工程。
把程序刻進(jìn)硬件的思路，并非Taalas首創(chuàng)，在科技發(fā)展史上早有先例，而這些先例的興衰，也為大模型刻進(jìn)芯片的方案提供了重要的參考。
上世紀(jì)90年代末的3dfx Voodoo顯卡，曾是3D圖形領(lǐng)域的標(biāo)桿，其成功與失敗都源于同一個(gè)設(shè)計(jì)邏輯——將3D渲染的步驟完全硬件化。它把3D游戲的光柵渲染步驟（頂點(diǎn)矩陣、光照、貼圖等計(jì)算）做成“固定管線”直接刻死在電路中，專款專用的設(shè)計(jì)讓其在3D游戲運(yùn)行上的速度碾壓同期產(chǎn)品，成為3D顯卡的代名詞。但到了1999年之后，開發(fā)者開始探索更豐富的3D效果，如水景反光、皮膚質(zhì)感等，而Voodoo顯卡因硬件固化無法支持這些新功能，最終被推出“可編程著色器”的英偉達(dá)GeForce GPU取代，走向破產(chǎn)并被英偉達(dá)收購(gòu)。
2016-2018年，AI領(lǐng)域的主要算法是用于圖像識(shí)別的CNN（卷積神經(jīng)網(wǎng)絡(luò)），一大批芯片創(chuàng)業(yè)公司針對(duì)CNN的計(jì)算模式，在硬件上設(shè)計(jì)了專門的“卷積加速引擎”，這類芯片在處理人臉識(shí)別、自動(dòng)駕駛的圖像識(shí)別任務(wù)時(shí)，速度快、能耗低，與如今Taalas的思路高度相似。但2017年《Attention is All You Need》的發(fā)布，以及2018年BERT的橫空出世，讓大模型的底層數(shù)學(xué)邏輯從“局部卷積”徹底轉(zhuǎn)向“全局自注意力機(jī)制”，那些將CNN邏輯刻死在芯片里的企業(yè)，因硬件缺乏通用矩陣計(jì)算能力，運(yùn)行Transformer架構(gòu)的效率極低，甚至無法運(yùn)行，這也讓第一波AI芯片潮中，大部分專注特定視覺算法的初創(chuàng)公司黯然退場(chǎng)。
對(duì)比這兩個(gè)案例與Taalas的方案可以發(fā)現(xiàn)，三者的硬件固化程度存在本質(zhì)差異：Voodoo顯卡固化的是渲染管線，即便技術(shù)迭代，只要仍運(yùn)行3D游戲它依然能使用，只是畫面效果落后；CNN芯片固化的是算法，人臉識(shí)別等傳統(tǒng)場(chǎng)景中它依舊能發(fā)揮作用，只是適用場(chǎng)景大幅收窄；而Taalas固化的是特定的模型，一旦模型更新，芯片便會(huì)直接報(bào)廢。這種極致的綁定，也讓Taalas的方案背上了最大的風(fēng)險(xiǎn)——它賭的是AI算法已經(jīng)進(jìn)入“平臺(tái)期”，架構(gòu)上難以再有突破性進(jìn)步，但現(xiàn)實(shí)是，當(dāng)前AI模型的迭代周期甚至以周計(jì)算，只要行業(yè)競(jìng)爭(zhēng)不停止，模型的標(biāo)準(zhǔn)就無從談起，前沿AI領(lǐng)域的技術(shù)變化，始終是懸在這款芯片頭上的達(dá)摩克利斯之劍。
從前沿AI研發(fā)的角度來看，將大模型刻進(jìn)芯片的技術(shù)路線顯然并不可行，但這并不意味著該方案毫無市場(chǎng)，在大量模型需求相對(duì)固定的場(chǎng)景中，它恰好能解決大模型推理延遲過長(zhǎng)的痛點(diǎn)，展現(xiàn)出獨(dú)特的應(yīng)用價(jià)值。
而在對(duì)延遲和離線運(yùn)行能力有極致要求的特殊場(chǎng)景中，把大模型刻進(jìn)芯片的方案更是展現(xiàn)出不可替代的優(yōu)勢(shì)，成為這些領(lǐng)域的最佳選擇之一。在智能駕駛領(lǐng)域，車輛遇到臨時(shí)修路、交警現(xiàn)場(chǎng)指揮等突發(fā)狀況時(shí)，需要的是低于1毫秒的“本能邏輯推理反射”，傳統(tǒng)自動(dòng)駕駛芯片僅擅長(zhǎng)快速圖像識(shí)別，無法處理這類復(fù)雜的邏輯推理，而云端大模型的反饋又存在延遲，固化了大模型的專用芯片，能實(shí)現(xiàn)本地的極速推理，應(yīng)對(duì)各類突發(fā)狀況；在高頻量化金融領(lǐng)域，美聯(lián)儲(chǔ)講話、非農(nóng)數(shù)據(jù)、企業(yè)財(cái)報(bào)等信息的發(fā)布往往伴隨市場(chǎng)的快速波動(dòng)，專用芯片能以極高的速度，快速解析信息，判斷市場(chǎng)走向并轉(zhuǎn)化為交易信號(hào)，相當(dāng)于為量化交易開掛；在軍工領(lǐng)域，無需聯(lián)網(wǎng)、固化在物理硬件中的大模型芯片，即便身處斷網(wǎng)的“信息孤島”，也能憑借出廠時(shí)的龐大參數(shù)，獨(dú)立進(jìn)行極速的戰(zhàn)術(shù)分析和保密決策。
同時(shí)，人們也無需擔(dān)心固化在芯片中的大模型會(huì)因無法迭代，導(dǎo)致知識(shí)永遠(yuǎn)停留在出廠階段。實(shí)際上，芯片固化的只是模型本身的架構(gòu)和權(quán)重，模型無法再進(jìn)化，但它的邏輯推理、知識(shí)檢索能力依舊保持頂級(jí)；而且刻入芯片的大模型并非失去聯(lián)網(wǎng)能力，仍可通過聯(lián)網(wǎng)獲取最新信息，進(jìn)行分析和問題解決，只是不再通過模型迭代實(shí)現(xiàn)能力升級(jí)。
把大模型刻進(jìn)芯片的方案，其未來的發(fā)展前景，將圍繞著迭代周期和成本的博弈展開，這也是行業(yè)對(duì)該方案的主要爭(zhēng)議點(diǎn)。
Taalas的競(jìng)爭(zhēng)力之一，是宣稱能將“大模型轉(zhuǎn)化為定制芯片”的周期，從傳統(tǒng)的一年縮短至兩個(gè)月，同時(shí)因拋棄了昂貴的HBM芯片，采用6nm工藝的專用芯片，硬件成本僅為英偉達(dá)H100等GPU方案的1/20。從成本角度來看，這一方案的優(yōu)勢(shì)十分明顯，按照17000tps的處理速度計(jì)算，單顆HC1芯片的處理能力堪比英偉達(dá)的8卡服務(wù)器，只要單芯片總成本不超過1萬美元，就具備極強(qiáng)的市場(chǎng)競(jìng)爭(zhēng)力。
真正的問題在于迭代周期，即便兩個(gè)月的流片周期已經(jīng)大幅縮短，但當(dāng)前AI模型的迭代基本以月為單位，兩個(gè)月的時(shí)間足夠競(jìng)爭(zhēng)對(duì)手推出新一代模型，芯片剛量產(chǎn)就面臨落后的局面，這也是該方案最致命的短板。此外，將軟件時(shí)代迭代最快、最不穩(wěn)定的模型，綁定為硬件時(shí)代迭代最慢、最穩(wěn)定的對(duì)象，這種做法本質(zhì)上是犧牲了技術(shù)的抽象性，換取短期內(nèi)亮眼的性能數(shù)據(jù)，這也是行業(yè)對(duì)該方案的主要質(zhì)疑。
不過，Taalas為芯片設(shè)計(jì)了LoRa掛載能力，一定程度上能彌補(bǔ)模型無法迭代的短板；同時(shí)，該方案的本質(zhì)是一個(gè)經(jīng)濟(jì)學(xué)問題，隨著大模型技術(shù)的發(fā)展，其架構(gòu)和能力終將逼近極限，模型的更新周期也會(huì)逐步變長(zhǎng)，當(dāng)模型迭代速度慢于芯片的流片速度時(shí)，這一方案的經(jīng)濟(jì)價(jià)值便會(huì)凸顯。Taalas的賭點(diǎn)，正是大模型技術(shù)會(huì)進(jìn)入發(fā)展停滯期，當(dāng)技術(shù)成熟、模型無需頻繁更新底座時(shí)，其提前布局的專用芯片方案，便能成為業(yè)界領(lǐng)先的存在。
把大模型刻進(jìn)芯片，并非能顛覆AI硬件市場(chǎng)的普適性技術(shù)路線，在前沿AI研發(fā)領(lǐng)域，因模型的快速迭代，這一方案的局限性被無限放大，難以成為主流。但不可否認(rèn)的是，Taalas的嘗試為AI芯片的發(fā)展提供了全新的視角，其犧牲通用性換取極致性能和能效的思路，切中了AI推理細(xì)分環(huán)節(jié)的市場(chǎng)需求，為存算合一、定制化硬件的設(shè)計(jì)方向提供了重要參考。
這一技術(shù)路線的未來，終究取決于AI模型的迭代速度與行業(yè)場(chǎng)景需求的平衡。當(dāng)大模型技術(shù)進(jìn)入穩(wěn)定期，那些對(duì)延遲、離線運(yùn)行有極致要求的固定場(chǎng)景，終將成為大模型專用芯片的市場(chǎng)；而即便技術(shù)迭代始終保持高速，這一方案的創(chuàng)新思路，也會(huì)推動(dòng)行業(yè)不斷探索更高效的AI硬件設(shè)計(jì)，讓AI硬件的發(fā)展朝著多元化、場(chǎng)景化的方向不斷前進(jìn)。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論