01 馬斯克：錢和卡，我搞得定
2023 年 2 月，微軟向 OpenAI 投資了 100 億美元，你或許覺得這筆錢應(yīng)該能花好一陣子。
但在今天，100 億美金幾乎才是 2024 年做大模型的起平線。撇開現(xiàn)金流充足的谷歌，OpenAI、Anthropic 和 xAI 分別獲得了約 130 億美元、70 億美元、60 億美元融資額，來「卷」新一代大模型。
這主要是由于做大模型所需要的算力一再擴(kuò)張，尤其是隨著多模態(tài)融合成為新的 AGI 大模型路線。如果說去年做大模型的算力門檻是 1 萬張英偉達(dá) H100 的算力集群，那么，今年這個(gè)數(shù)字變成了至少 10 萬張 H100，這是馬斯克籌集 60 億美元資金的主要用途。
據(jù) The Information 采訪的一位投資者，馬斯克在最近與潛在和現(xiàn)有 xAI 投資者的通話中表示，公司將把大部分資金用于租用 AI 芯片，并幫助其在 2025 年下半年達(dá)到 10 萬個(gè) GPU，以便改進(jìn) Grok 背后的模型。
這位人士說，馬斯克暗示，他是僅有的幾位能籌集到足夠資金與領(lǐng)先的人工智能公司競(jìng)爭(zhēng)的高管之一。
上個(gè)月，馬斯克在 X.com 上的現(xiàn)場(chǎng)音頻聊天中表示，xAI 將需要 10 萬個(gè) Nvidia H100 GPU 來訓(xùn)練 Grok 3.0。他表示，該公司目前正在大約 20,000 個(gè) H100 芯片上訓(xùn)練 Grok 2.0。
英偉達(dá)沒有公布過其芯片的成本，但研究公司 SemiAnalysis 的首席分析師 Dylan Patel 表示，租用 10 萬臺(tái) H100 每年可能花費(fèi)約 17 億美元；即將推出的被稱為 GB200 的 Nvidia AI 芯片可能比前代產(chǎn)品貴 50%。
能不能「借」到錢買算力是一方面，有了錢能不能買到算力又是另一方面。當(dāng)前，英偉達(dá)最高端的 GPU 系列仍舊供不應(yīng)求，云廠商能用來訓(xùn)練大模型的算力集群有限。
馬斯克將目光鎖定在了三大云廠商之外的另一家——甲骨文 Oracle。
與亞馬遜云 AWS、谷歌云、微軟云 Azure 不同，甲骨文與 OpenAI 或 Anthropic 沒有業(yè)務(wù)往來，這可能使其對(duì)馬斯克作為合作伙伴更具吸引力。
同時(shí)，馬斯克也是甲骨文聯(lián)合創(chuàng)始人埃里森的老朋友，埃里森此前曾擔(dān)任馬斯克的另一家公司特斯拉的董事會(huì)董事，并出資幫助馬斯克接管了當(dāng)時(shí)還被稱為 Twitter 的 X。據(jù)直接知情人士透露，XAI 已經(jīng)是 Oracle 最大的 H100 客戶，使用了超過 15000 個(gè)芯片。
現(xiàn)在，馬斯克已經(jīng)明確 xAI 將需要多達(dá) 10 萬個(gè)專用半導(dǎo)體來訓(xùn)練和運(yùn)行下一代 Grok。他告訴投資者，xAI 計(jì)劃將所有這些芯片串聯(lián)成一臺(tái)大型計(jì)算機(jī)，他稱之為「算力超級(jí)工廠」（gigafactory of compute）。馬斯克希望在 2025 年秋天之前讓這臺(tái)超級(jí)計(jì)算機(jī)投入運(yùn)行，并將親自負(fù)責(zé)按時(shí)交付。他稱，這些連接起來的 H100 集群，建成后的規(guī)模將至少是目前最大 GPU 集群的四倍。
在「算力超級(jí)工廠」的計(jì)劃下，XAI 可能與甲骨文公司合作開發(fā)超級(jí)計(jì)算機(jī)，也可能選擇其他合作方或合作形式。一個(gè)細(xì)節(jié)體現(xiàn)在本輪融資的出資方包括紅杉、A16Z 等基金，唯獨(dú)沒有甲骨文的身影。相比之下，其他三大云廠商和大模型公司之間的合作則通過投資來「鎖定」云客戶。
無論如何，「算力超級(jí)工廠」給了 Grok 上一線牌桌的起點(diǎn)，這場(chǎng) AI 背后的算力競(jìng)賽，還將繼續(xù)加碼。
此前，扎克伯格表示，到 2024 年底，Meta 將擁有 35 萬臺(tái) H100，其中一些將用于訓(xùn)練公司的 Llama 開源大模型。微軟計(jì)劃在今年和明年為 OpenAI 提供容納數(shù)十萬個(gè) GPU 的服務(wù)器。OpenAI 和微軟已經(jīng)在討論到 2028 年開發(fā)一臺(tái)價(jià)值 1000 億美元的超級(jí)計(jì)算機(jī)。
02 Grok，馬斯克商業(yè)版圖不可或缺的一環(huán)
馬斯克曾于 2015 年聯(lián)合創(chuàng)辦了非營(yíng)利機(jī)構(gòu)——OpenAI，2018 年 2 月，馬斯克辭去了 OpenAI 董事會(huì)席位，理由是與他作為特斯拉 CEO 的角色存在「潛在的未來利益沖突」。
去年，馬斯克創(chuàng)辦了 xAI，再度下場(chǎng)做大模型，以開發(fā)一種他認(rèn)為與谷歌和 OpenAI 相比不那么「清醒（woke）」，不那么容易受到政治正確或其他審查制度影響的替代方案。在今天融資官宣的博客里，xAI 再次重申了這一點(diǎn)，稱 xAI 專注于開發(fā)真實(shí)、有能力且對(duì)全人類最大利益的先進(jìn) AI 系統(tǒng)，公司使命是了解宇宙的真實(shí)本質(zhì)。
過去一年，xAI 從 2023 年 7 月公司發(fā)布，到 11 月在 X 上發(fā)布 Grok-1，再到最近宣布的具有長(zhǎng)上下文能力的改進(jìn)型 Grok-1.5 模型，再到具有圖像理解功能的 Grok-1.5V，xAI 的模型能力得到了快速提升。
在馬斯克的構(gòu)想中，Grok 對(duì)語音的限制比 OpenAI 和谷歌的 AI 助手要少。馬斯克表示，該公司目前正在 2 萬個(gè) GPU 上訓(xùn)練 Grok 2，最近的一個(gè)版本可以處理文檔、圖表和現(xiàn)實(shí)世界中的物體。馬斯克計(jì)劃將該模型擴(kuò)展到音頻和視頻領(lǐng)域。
馬斯克在向潛在投資者推介時(shí)說，xAI 比 Anthropic 和 OpenAI 更有優(yōu)勢(shì)，因?yàn)檫@兩家公司沒有直接向客戶銷售其模型的明確途徑，而是依賴云提供商轉(zhuǎn)售其技術(shù)。
他稱，xAI 將通過包括特斯拉在內(nèi)的其他公司銷售 Grok，從而更直接地接觸用戶。而自動(dòng)駕駛也被視為大模型最大的應(yīng)用場(chǎng)景。
融資消息官宣后，馬斯克在 X.com 為 xAI 招聘人才。｜截圖來源：X.com
xAI 官網(wǎng)中，該公司正在招聘數(shù)據(jù)、多模態(tài)、模型訓(xùn)練的人才。｜圖片來源：xAI
值得注意的是，xAI 大約有 50 名員工，其員工相關(guān)成本僅是對(duì)手的一小部分。今天，xai 也在官網(wǎng)尋求更多 AI 人才，釋放了一眾招聘崗位。
一邊狂裁特斯拉，一邊瘋狂為 xAI 招人，馬斯克的 AI 之路，走的依然是他自己的風(fēng)格。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論