圖片來(lái)自Taalas官網(wǎng)
打著“顛覆英偉達(dá)”的旗號(hào)的公司，總是會(huì)接二連三涌現(xiàn)。
最近，一家來(lái)自加拿大多倫多的芯片“小廠”Taalas引起了AI圈關(guān)注。有聲音認(rèn)為，它很可能撬動(dòng)英偉達(dá)主宰了多年的AI芯片市場(chǎng)。
當(dāng)?shù)貢r(shí)間2月20日，成立于2023年的初創(chuàng)公司Taalas發(fā)布了首款產(chǎn)品Taalas HC1芯片，專為L(zhǎng)lama 3.1 8B模型優(yōu)化，采用30芯片集群時(shí)實(shí)現(xiàn)每秒12000 tokens的推理速度，較傳統(tǒng)GPU方案提升50倍能效。
Taalas稱，公司通過(guò)結(jié)構(gòu)化ASIC技術(shù)將芯片定制周期縮短至兩個(gè)月，已累計(jì)融資2.19億美元。24名敬業(yè)的員工的努力，投入3000萬(wàn)美元，打造出了這款擁有“極致的專業(yè)化、速度和能源效率”的產(chǎn)品。
Taalas創(chuàng)始人兼CEO是曾任AMD架構(gòu)師的業(yè)界傳奇人物柳比沙·巴伊奇（Ljubiša Baji?）。
在公司官網(wǎng)的介紹文章中，巴伊奇稱，這款芯片選擇了Meta公司2024年7月推出的開(kāi)源大模型Llama 3.1 8B作為運(yùn)行平臺(tái)，峰值推理速度接近17000 tokens/秒，比目前市場(chǎng)中最先進(jìn)的技術(shù)快近10倍，構(gòu)建成本降低到原來(lái)的1/20，功耗降低至原來(lái)的1/10。
截圖來(lái)自社交平臺(tái)X
巴伊奇給出了一組測(cè)試數(shù)據(jù)，Taalas自己在Llama 3.1 8B上測(cè)試了英偉達(dá)的主力產(chǎn)品H200和B200，結(jié)果為230 tokens/秒和353 tokens/秒，而Taalas的HC1性能是它們的48倍。
此前這一數(shù)據(jù)，是由獨(dú)立分析平臺(tái)Artificial Analysis測(cè)出的最高值，來(lái)自剛剛完成H輪融資、估值230億美元的Cerebras，為1981 tokens/秒，也僅為HC1的11%。
在實(shí)測(cè)演示中，大模型對(duì)用戶問(wèn)題的詳細(xì)解答，達(dá)到甚至超越了“秒回”的水平。
不過(guò)，AI在大量回復(fù)的一瞬間，人類對(duì)話者也產(chǎn)生了撲面而來(lái)的壓迫感。
圖片來(lái)自Taalas官網(wǎng)
這一堪稱“突破極限”的表現(xiàn)，果不其然引起了大量的討論。大呼“顛覆將至”者有之，質(zhì)疑其言過(guò)其實(shí)、過(guò)度營(yíng)銷者亦有之。
令我們好奇的是，在喧囂背后，Taalas的技術(shù)和產(chǎn)品究竟有何特殊之處？又是否當(dāng)?shù)闷鹌渥苑Q的“世界上速度最快、成本和功耗最低的推理平臺(tái)”呢？
在研究了其首款產(chǎn)品HC1的相關(guān)公開(kāi)信息之后，我們發(fā)現(xiàn)，Taalas的技術(shù)路線，與目前市場(chǎng)主流的ASIC路線相比，極具顛覆性，堪稱“邪修版”ASIC。
與英偉達(dá)和AMD代表的業(yè)界主流GPU通用計(jì)算技術(shù)路線不同，Taalas更接近ASIC（專用集成電路）路線。
這一技術(shù)路線通過(guò)為特定應(yīng)用場(chǎng)景定制硬件設(shè)計(jì)，以追求極致能效和成本效益。雖然它的適用性、功能豐富度、可互換性，遠(yuǎn)低于能覆蓋多場(chǎng)景的GPU，但自去年以來(lái)，以谷歌TPU為首，ASIC技術(shù)擁有成本（TCO）低、打造大模型能力毫不遜色等特點(diǎn)，得到了市場(chǎng)認(rèn)可，出貨量大幅提升。
野村證券預(yù)測(cè)，2026年，ASIC芯片的總出貨量可能會(huì)首次超過(guò)GPU。而在GPU市場(chǎng)處于兩巨頭壟斷的情況下，大多數(shù)芯片初創(chuàng)也都選擇了ASIC路線，包括市場(chǎng)知名度較高的Cerebras、SambaNova，以及，此前剛剛被英偉達(dá)將核心團(tuán)隊(duì)納入囊中的Groq。
巴伊奇在AMD和英偉達(dá)都有任職經(jīng)歷，之前還創(chuàng)立了一家專注于AI芯片研發(fā)的獨(dú)角獸Tenstorrent公司。Tenstorrent通過(guò)開(kāi)源RISC-V架構(gòu)和軟硬件協(xié)同設(shè)計(jì)，降低AI計(jì)算成本。
而“挑戰(zhàn)英偉達(dá)壟斷地位”，一直是巴伊奇所宣揚(yáng)的核心理念，也是Tenstorrent公司備受關(guān)注的“招牌”標(biāo)簽。
不過(guò)，英偉達(dá)的發(fā)展，要遠(yuǎn)好于AMD及各類AI芯片初創(chuàng)公司，巴伊奇也在探索中有了更“極端”的設(shè)想。
2022年至2023年間，巴伊奇逐漸脫離了此前工作，開(kāi)始籌劃創(chuàng)辦Taalas。他與他的妻子、曾在AMD任系統(tǒng)工程高級(jí)經(jīng)理萊拉·巴伊奇（Lejla Bajic），以及，曾任AMD高級(jí)設(shè)計(jì)工程師并在Tenstorrent擔(dān)任過(guò)ASIC設(shè)計(jì)總監(jiān)的德拉貢·伊格納托維奇（Drago Ignjatovic）成為了Taalas聯(lián)合創(chuàng)始人。
Taalas公司20余人的核心工程師團(tuán)隊(duì)，多數(shù)來(lái)自AMD、蘋果、谷歌、英偉達(dá)和TensorRent。
2024年，Taalas公司完成5000萬(wàn)美元的首輪融資，并正式出現(xiàn)在公眾視野。
巴伊奇強(qiáng)調(diào)，Taalas致力于解決AI發(fā)展面臨的兩大障礙——“高延遲”和“天文數(shù)字般的算力成本”，并提出“單芯片性能超越小型GPU數(shù)據(jù)中心”這一極具野心，甚至顯得有些“狂妄”的目標(biāo)。
資本市場(chǎng)為巴伊奇的野心投票。截至目前，Taalas目前已完成三輪融資，總額超過(guò)2億美元。
Taalas奉行“The Model is The Computer”（這句話也是公司的slogan），可以理解為，將傳統(tǒng)“在計(jì)算設(shè)備上運(yùn)行模型”的范式，轉(zhuǎn)變?yōu)?ldquo;模型本身成為計(jì)算設(shè)備”。
技術(shù)實(shí)現(xiàn)路徑上，Taalas提出“無(wú)需軟件，直接將模型刻在芯片上”，這與傳統(tǒng)的ASIC芯片仍需使用軟件，通過(guò)編譯過(guò)程將軟件代碼轉(zhuǎn)化為芯片指令不同。
Taalas通過(guò)EDA（電子設(shè)計(jì)自動(dòng)化）流程，將特定大模型直接轉(zhuǎn)化為定制芯片。
也就是說(shuō)，每款使用Taalas的大模型，都會(huì)擁有專屬于自身的定制芯片，實(shí)現(xiàn)巴伊奇所說(shuō)的“完全專業(yè)化”（Total specialization）。
與此同時(shí)，算力也擺脫了軟件束縛和編譯過(guò)程，數(shù)據(jù)幾乎不需要在內(nèi)存和計(jì)算單元之間移動(dòng)，“內(nèi)存墻”由此消失，推理成本隨之大幅降低，推理速度則顯著提升。
截圖來(lái)自社交平臺(tái)X
目前來(lái)看，Taalas的主要業(yè)務(wù)操作流程也比較簡(jiǎn)單。大致是客戶向Taalas提供自身所需的模型，Taalas在一周內(nèi)將其轉(zhuǎn)化為電路設(shè)計(jì)，通過(guò)臺(tái)積電代工在兩個(gè)月內(nèi)交付專屬芯片。
可想而知，如果Taalas能為每個(gè)主流模型，都提供出類似HC1在Llama 3.1 8B上那樣的性能飛躍，那么，各大廠商很可能會(huì)對(duì)其產(chǎn)品趨之若鶩。
實(shí)際上，包括獨(dú)立人工智能研究員本杰明·馬里（Benjamin Marie）、Devtools創(chuàng)業(yè)顧問(wèn)肖恩·王（swyx）等產(chǎn)業(yè)界人士和The Next Platform記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）等媒體人士，都已在積極介紹Taalas的新產(chǎn)品，看好其前景者不在少數(shù)。
不過(guò)，在輿論熱度落地到商用市場(chǎng)之前，Taalas還有很多問(wèn)題需要被看到。
首先，Taalas需要面對(duì)的是，其產(chǎn)品能否適用更先進(jìn)、大規(guī)模的模型。
2024年，Meta推出Llama 3.1時(shí)，發(fā)布了8B、70B和405B三種參數(shù)規(guī)模版本，Taalas選用的是最小的8B。
很顯然，在目前大模型進(jìn)化速度極快、規(guī)模越來(lái)越大的背景下，Taalas的產(chǎn)品能否匹配，是否面臨明顯“天花板”，都是必須解決的問(wèn)題。
巴伊奇稱，公司將在今年春季推出一款適用中等規(guī)模推理模型的產(chǎn)品，屆時(shí)表現(xiàn)如何，值得關(guān)注。
與此相關(guān)的，目前測(cè)評(píng)體驗(yàn)中，不少質(zhì)疑聲音集中在，Taalas讓本已不算聰明的Llama變得“更笨了”。
一些用戶發(fā)帖稱，HC1“幻覺(jué)嚴(yán)重”“答案明顯錯(cuò)誤，質(zhì)量遠(yuǎn)低于同參數(shù)GPU版”，“回答速度快但錯(cuò)得也快”，其實(shí)用性不佳。
截圖來(lái)自社交平臺(tái)X
實(shí)際上，對(duì)于如何理解Taalas給出的測(cè)試數(shù)據(jù)，也有較多質(zhì)疑聲音。
一位關(guān)注芯片產(chǎn)業(yè)的愛(ài)好者對(duì)作者表示，Taalas相當(dāng)于內(nèi)置了問(wèn)題的答案，所以，計(jì)算速度“秒殺”英偉達(dá)等一眾業(yè)界翹楚，但是，將”1+1=2”的問(wèn)題換為“2*2=？”，它的表現(xiàn)可能就會(huì)“掉鏈子”。
Taalas能在極其有限的特定場(chǎng)景下“秒殺英偉達(dá)”，但目前其他英偉達(dá)能做的事，對(duì)于Taalas來(lái)說(shuō)可能更難。
更為關(guān)鍵的問(wèn)題是，Taalas能否跟得上大模型的迭代周期。
一位半導(dǎo)體行業(yè)從業(yè)者對(duì)作者表示，Taalas的芯片“表現(xiàn)很牛，但目前可能沒(méi)啥大的用處”，因?yàn)榇竽Ｐ瓦€在不停迭代，而Taalas的迭代能力和速度成疑。
該行業(yè)人士認(rèn)為，“要等以后大模型達(dá)到某個(gè)層級(jí)不再大規(guī)模、快速迭代了，這種芯片才能有更大舞臺(tái)”。
而在社交平臺(tái)上的討論中，不少質(zhì)疑集中在HC1“模型鎖定”的“只讀”模式導(dǎo)致的“過(guò)時(shí)”和“廢棄”風(fēng)險(xiǎn)，并認(rèn)為這是其商業(yè)化、規(guī)模化的重大阻礙。
目前，一款頂尖大模型能保持領(lǐng)先優(yōu)勢(shì)的時(shí)間窗口不過(guò)月余，而Taalas交付芯片（而非量產(chǎn)）即使已經(jīng)很快，但也需要至少兩個(gè)月。
支持HC1進(jìn)步性的聲音也不在少數(shù)。
在知乎的相關(guān)討論中，中國(guó)科學(xué)院計(jì)算技術(shù)研究所副研究員趙永威指出，雖然Taalas“目前的狀況還沒(méi)有應(yīng)用價(jià)值”，但不妨礙它會(huì)成為“一顆有歷史意義的芯片”。
他認(rèn)為，這種“硬連線”的模式，是未來(lái)芯片發(fā)展的一大趨勢(shì)，目前的質(zhì)疑由Taalas來(lái)扛，后來(lái)者在推廣相關(guān)概念時(shí)就會(huì)更加輕松。他也透露，自己所在單位也在研究類似技術(shù)路線，并提到，降低經(jīng)濟(jì)成本，既是相關(guān)路線的研究目標(biāo)，也應(yīng)該是宣傳發(fā)力點(diǎn)所在。
知名科技記者蒂莫西·普里克特·摩根（Timothy Prickett Morgan）在文章中提到，Taalas確實(shí)需要模型的每一次更新中重新設(shè)計(jì)芯片，但其在推理引擎上蝕刻新模型，只需要更改設(shè)計(jì)中的兩層金屬，而不是完全廢棄。考慮到訓(xùn)練模型的成本高達(dá)數(shù)十億美元，Taalas芯片的更新成本微不足道。
摩根認(rèn)為，在主要模型發(fā)布間隔時(shí)間延長(zhǎng)，人們對(duì)成熟模型依賴度增加時(shí)，Taalas芯片有望贏得更廣泛的市場(chǎng)認(rèn)可。
也有一些分析稱，得益于低延遲、低功耗的特性，Taalas真正的用武之地或在于邊緣推理場(chǎng)景，比如，機(jī)器人、自動(dòng)駕駛汽車，甚至高端智能手機(jī)等設(shè)備中。這些設(shè)備不需要運(yùn)行所有模型，只需要穩(wěn)定運(yùn)行定制化的模型，而更快的速度和更低的消耗，顯然更有利于產(chǎn)業(yè)普及AI大模型。
不過(guò)，即便是相關(guān)產(chǎn)品能真正規(guī)?；剡M(jìn)入市場(chǎng)并大展拳腳，新的狀況和問(wèn)題也會(huì)隨之浮現(xiàn)。
比如，大模型的底層架構(gòu)（Transformer）是否會(huì)遭遇另一場(chǎng)“革命”？這似乎決定著“模型即芯片”技術(shù)路線的命運(yùn)。還有，生態(tài)系統(tǒng)建設(shè)的問(wèn)題，英偉達(dá)雖然是硬件公司，但CUDA軟件生態(tài)和開(kāi)發(fā)者的重度依賴，才是其真正的護(hù)城河，而這也是Taalas看中且有意顛覆的。
但這些都是后話了，至少目前來(lái)看，Taalas距離英偉達(dá)還很遙遠(yuǎn)，更遑論“顛覆英偉達(dá)”了。然而，巴伊奇在這條路上依舊步履不停，Taalas宣布，計(jì)劃在今年冬季推出第二代HC2產(chǎn)品，將具備更快的執(zhí)行速度和更強(qiáng)的性能。
屆時(shí)，一代產(chǎn)品的市場(chǎng)反饋和二代產(chǎn)品的迭代效果，將進(jìn)一步驗(yàn)證今天各方對(duì)這股橫空出世的新勢(shì)力的判斷。（作者｜胡珈萌，編輯｜李程程）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論