鈦媒體注：本文來(lái)源于微信公眾號(hào)創(chuàng)頭條（ID：ctoutiao），作者 | Jimmy，鈦媒體經(jīng)授權(quán)發(fā)布。
春節(jié)期間，DeepSeek毫無(wú)疑問(wèn)成為了焦點(diǎn)，頻頻刷屏，就在DeepSeek給歐美股市帶來(lái)的震蕩余波尚未過(guò)去之際，歐盟緊接著宣布所謂“制裁”——將DeepSeek移動(dòng)端APP應(yīng)用在意大利市場(chǎng)下架。
而就在年初二凌晨，美國(guó)另一家AI巨頭Anthropic AI 的CEO Dario Amodei也在其個(gè)人博客發(fā)布了一篇頗有火藥味的深度分析報(bào)告。內(nèi)容直指DeepSeek的突破更加證明了美國(guó)對(duì)中國(guó)實(shí)施芯片出口管制政策的緊迫性和必要性。
全文如下：
關(guān)于 DeepSeek 與出口管制
幾周前，我曾撰文呼吁美國(guó)應(yīng)加強(qiáng)對(duì)華芯片出口管制。此后不久，中國(guó)人工智能公司 DeepSeek 便成功地——至少在某些方面——以更低的成本，體現(xiàn)了與美國(guó)頂尖人工智能模型相近的性能水平?！?/p>
在此，我暫且不討論 DeepSeek 是否對(duì) Anthropic 等美國(guó)人工智能企業(yè)構(gòu)成威脅（盡管我認(rèn)為許多關(guān)于 DeepSeek 威脅美國(guó)人工智能領(lǐng)導(dǎo)地位的說(shuō)法被嚴(yán)重夸大了）。
我更關(guān)注的是，DeepSeek 的成果發(fā)布是否削弱了芯片出口管制政策的合理性。我的看法是否定的。事實(shí)上，我認(rèn)為 DeepSeek 的進(jìn)展反而令出口管制政策顯得比一周前更具存在意義上的重要性。
人工智能發(fā)展的三大動(dòng)態(tài)
在闡述我的政策主張之前，我將先介紹理解人工智能系統(tǒng)至關(guān)重要的三個(gè)基本動(dòng)態(tài)：
規(guī)模定律 （Scaling laws）。人工智能的一個(gè)特性——我和我的聯(lián)合創(chuàng)始人在 OpenAI 工作時(shí)就率先記錄了這一特性——即在其他條件相同的情況下，擴(kuò)大人工智能系統(tǒng)的訓(xùn)練規(guī)模，能夠全面且平滑地提升其在各種認(rèn)知任務(wù)上的表現(xiàn)。
例如，一個(gè)耗資 100 萬(wàn)美元的模型可能解決 20%的重要編程任務(wù)，一個(gè)耗資 1000 萬(wàn)美元的模型可能解決 40%，一個(gè)耗資 1 億美元的模型可能解決 60%，以此類推。這些差異在實(shí)踐中往往具有巨大的影響——十倍的性能提升可能相當(dāng)于本科生和博士生技能水平之間的差距——因此，各公司都在大力投資于訓(xùn)練這些模型?！?/p>
曲線偏移 （Shifting the curve）。 人工智能領(lǐng)域不斷涌現(xiàn)各種大大小小的創(chuàng)新理念，旨在提高效率或效能。這些創(chuàng)新可能體現(xiàn)在模型架構(gòu)的改進(jìn)上（例如對(duì)當(dāng)今所有模型都采用的 Transformer 基礎(chǔ)架構(gòu)進(jìn)行微調(diào)），也可能僅僅是更高效地在底層硬件上運(yùn)行模型的方法。
新一代硬件的出現(xiàn)也具有相同的效果。這些創(chuàng)新通常會(huì)使成本曲線發(fā)生偏移：如果某項(xiàng)創(chuàng)新帶來(lái)了 2 倍的“算力倍增效應(yīng)”（CM），那么原本需要花費(fèi) 1000 萬(wàn)美元才能完成 40%編程任務(wù)，現(xiàn)在只需 500 萬(wàn)美元即可實(shí)現(xiàn)；原本需要 1 億美元才能完成 60%的任務(wù)，現(xiàn)在只需 5000 萬(wàn)美元，以此類推。每一家前沿人工智能公司都會(huì)定期發(fā)現(xiàn)許多這樣的算力倍增效應(yīng)：小型創(chuàng)新（約 1.2 倍）時(shí)有發(fā)生，中型創(chuàng)新（約 2 倍）也偶有出現(xiàn)，而大型創(chuàng)新（約 10 倍）則較為罕見(jiàn)。
由于擁有更智能系統(tǒng)的價(jià)值極高，這種曲線偏移通常會(huì)導(dǎo)致公司在模型訓(xùn)練上投入更多而非更少的資金：成本效率的提升最終完全用于訓(xùn)練更智能的模型，唯一制約因素僅為公司的財(cái)務(wù)資源。人們自然而然地傾向于“先貴后賤”的思維模式——仿佛人工智能是一種質(zhì)量恒定的單一事物，當(dāng)它變得更便宜時(shí)，我們就會(huì)用更少的芯片來(lái)訓(xùn)練它。但關(guān)鍵在于規(guī)模曲線：當(dāng)曲線偏移時(shí)，我們只是更快地沿著曲線前進(jìn)，因?yàn)榍€盡頭的價(jià)值實(shí)在太高了。
2020 年，我的團(tuán)隊(duì)發(fā)表了一篇論文，指出算法進(jìn)步帶來(lái)的曲線偏移約為每年 1.68 倍。此后，這個(gè)速度可能已顯著加快；而且這還沒(méi)有考慮效率和硬件的進(jìn)步。我估計(jì)今天的數(shù)字可能約為每年 4 倍。此處還有另一項(xiàng)估計(jì)。訓(xùn)練曲線的偏移也會(huì)帶動(dòng)推理曲線的偏移，因此，多年來(lái)，在模型質(zhì)量保持不變的情況下，價(jià)格大幅下降的情況一直都在發(fā)生。例如，Claude 3.5 Sonnet 的 API 價(jià)格比原版 GPT-4 低約 10 倍，但其發(fā)布時(shí)間比 GPT-4 晚了 15 個(gè)月，且在幾乎所有基準(zhǔn)測(cè)試中都優(yōu)于 GPT-4?！?/p>
范式轉(zhuǎn)變 （Shifting the paradigm）。 有時(shí)，被規(guī)模化的底層事物會(huì)發(fā)生細(xì)微變化，或者在訓(xùn)練過(guò)程中會(huì)加入一種新的規(guī)模化方式。在 2020 年至 2023 年期間，主要的規(guī)模化對(duì)象是預(yù)訓(xùn)練模型：即使用越來(lái)越多的互聯(lián)網(wǎng)文本進(jìn)行訓(xùn)練，并在其基礎(chǔ)上進(jìn)行少量其他訓(xùn)練的模型。
2024 年，使用強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練模型生成思維鏈的想法已成為新的規(guī)?；攸c(diǎn)。Anthropic、DeepSeek 和許多其他公司（或許最引人注目的是 OpenAI，他們?cè)?9 月份發(fā)布了 o1-preview 模型）都發(fā)現(xiàn)，這種訓(xùn)練方式極大地提高了模型在某些特定、可客觀衡量的任務(wù)上的性能，例如數(shù)學(xué)、編程競(jìng)賽以及與這些任務(wù)相似的推理。這種新范式包括首先使用普通的預(yù)訓(xùn)練模型，然后在第二階段使用強(qiáng)化學(xué)習(xí)來(lái)添加推理技能。
重要的是，由于這種類型的強(qiáng)化學(xué)習(xí)是全新的，我們?nèi)蕴幱谝?guī)模曲線的早期階段：所有參與者在第二階段（強(qiáng)化學(xué)習(xí)階段）的投入都很少。投入 100 萬(wàn)美元而不是 10 萬(wàn)美元就足以獲得巨大的收益。各公司目前都在迅速努力將第二階段的投入規(guī)模擴(kuò)大到數(shù)億美元甚至數(shù)十億美元，但至關(guān)重要的是要理解，我們正處在一個(gè)獨(dú)特的“交叉點(diǎn)”，即存在一種強(qiáng)大的新范式，它正處于規(guī)模曲線的早期階段，因此可以迅速取得重大進(jìn)展?！?/p>
DeepSeek 的模型
上述三個(gè)動(dòng)態(tài)可以幫助我們理解 DeepSeek 近期發(fā)布的模型。大約一個(gè)月前，DeepSeek 發(fā)布了一個(gè)名為“DeepSeek-V3”的模型，這是一個(gè)純粹的預(yù)訓(xùn)練模型——即上述第三點(diǎn)中描述的第一階段。上周，他們又發(fā)布了“R1”，在 V3 的基礎(chǔ)上增加了第二階段。從外部無(wú)法完全了解這些模型的全部信息，但以下是我對(duì)這兩次發(fā)布的最佳理解。
DeepSeek-V3 實(shí)際上是真正的創(chuàng)新所在，一個(gè)月前就應(yīng)該引起人們的注意（我們當(dāng)然注意到了）。作為一款預(yù)訓(xùn)練模型，它在某些重要任務(wù)上的表現(xiàn)似乎已接近美國(guó)最先進(jìn)的模型水平，但訓(xùn)練成本卻大大降低（不過(guò)，我們發(fā)現(xiàn)，特別是 Claude 3.5 Sonnet 在某些其他關(guān)鍵任務(wù)上，例如實(shí)際編程方面，仍然明顯更勝一籌）。DeepSeek 團(tuán)隊(duì)通過(guò)一些真正令人印象深刻的創(chuàng)新實(shí)現(xiàn)了這一點(diǎn)，這些創(chuàng)新主要集中在工程效率方面。特別是在名為“鍵值緩存 （Key-Value cache）”的某一方面管理以及推動(dòng)“混合專家 （mixture of experts）”方法更進(jìn)一步的應(yīng)用上，取得了創(chuàng)新性的改進(jìn)?！?/p>
然而，有必要進(jìn)行更深入的分析：
DeepSeek 并未“以 600 萬(wàn)美元的成本實(shí)現(xiàn)了美國(guó)人工智能公司數(shù)十億美元投入的效果”。我只能代表 Anthropic 發(fā)言，Claude 3.5 Sonnet 是一款中等規(guī)模的模型，訓(xùn)練成本為數(shù)千萬(wàn)美元（我不會(huì)給出確切數(shù)字）。此外，3.5 Sonnet 的訓(xùn)練方式與任何規(guī)模更大或成本更高的模型無(wú)關(guān)（與某些傳言相反）。Sonnet 的訓(xùn)練是在 9-12 個(gè)月前進(jìn)行的，而 DeepSeek 的模型是在 11 月/12 月訓(xùn)練的，但 Sonnet 在許多內(nèi)部和外部評(píng)估中仍然顯著領(lǐng)先。因此，我認(rèn)為一個(gè)公正的說(shuō)法是：“DeepSeek 生產(chǎn)出了一款性能接近美國(guó) 7-10 個(gè)月前模型的模型，成本大幅降低（但遠(yuǎn)未達(dá)到人們所說(shuō)的比例）”?！?/p>
如果成本曲線的歷史下降趨勢(shì)約為每年 4 倍，這意味著在正常的商業(yè)進(jìn)程中——在 2023 年和 2024 年發(fā)生的歷史成本下降等正常趨勢(shì)下——我們預(yù)計(jì)現(xiàn)在會(huì)出現(xiàn)一款比 3.5 Sonnet/GPT-4o 便宜 3-4 倍的模型。
由于 DeepSeek-V3 的性能不如那些美國(guó)前沿模型——假設(shè)在規(guī)模曲線上落后約 2 倍，我認(rèn)為這對(duì)于 DeepSeek-V3 來(lái)說(shuō)已經(jīng)相當(dāng)慷慨了——這意味著，如果 DeepSeek-V3 的訓(xùn)練成本比美國(guó)一年前開(kāi)發(fā)的現(xiàn)有模型低約 8 倍，那將是完全正常、完全符合“趨勢(shì)”的。我不會(huì)給出具體數(shù)字，但從前一點(diǎn)可以清楚地看出，即使你完全相信 DeepSeek 宣稱的訓(xùn)練成本，他們的表現(xiàn)充其量也只是符合趨勢(shì)，甚至可能還達(dá)不到。例如，這遠(yuǎn)不如最初的 GPT-4 到 Claude 3.5 Sonnet 的推理價(jià)格差異（10 倍），而 3.5 Sonnet 是一款比 GPT-4 更出色的模型。
總而言之，DeepSeek-V3 并非一項(xiàng)獨(dú)特的突破，也并非從根本上改變了大型語(yǔ)言模型 （LLM） 的經(jīng)濟(jì)性；它只是持續(xù)成本降低曲線上一個(gè)預(yù)期的點(diǎn)。這次的不同之處在于，第一個(gè)展示預(yù)期成本降低的公司是中國(guó)公司。這在以前從未發(fā)生過(guò)，并且具有地緣政治意義。然而，美國(guó)公司很快也會(huì)效仿——而且他們不會(huì)通過(guò)復(fù)制 DeepSeek 來(lái)做到這一點(diǎn)，而是因?yàn)樗麄円苍趯?shí)現(xiàn)通常的成本降低趨勢(shì)。
DeepSeek 和美國(guó)人工智能公司都比以往擁有更多的資金和更多的芯片來(lái)訓(xùn)練其明星模型。額外的芯片用于研發(fā)支持模型背后的理念，有時(shí)也用于訓(xùn)練尚未準(zhǔn)備就緒（或需要多次嘗試才能成功）的更大模型。有報(bào)道稱——我們無(wú)法確定其真實(shí)性——DeepSeek 實(shí)際上擁有 50,000 塊 Hopper 架構(gòu)的芯片，我猜這與美國(guó)主要人工智能公司擁有的芯片數(shù)量在 2-3 倍的差距內(nèi)（例如，比 xAI 的 “Colossus” 集群少 2-3 倍）。這 50,000 塊 Hopper 芯片的成本約為 10 億美元。因此，DeepSeek 作為一家公司的總支出（與訓(xùn)練單個(gè)模型的支出不同）與美國(guó)人工智能實(shí)驗(yàn)室的支出并沒(méi)有天壤之別?！?/p>
值得注意的是，“規(guī)模曲線”分析有些過(guò)于簡(jiǎn)化，因?yàn)槟Ｐ驮谀撤N程度上是存在差異的，并且各有優(yōu)缺點(diǎn)；規(guī)模曲線數(shù)字是一個(gè)粗略的平均值，忽略了許多細(xì)節(jié)。我只能談?wù)?Anthropic 的模型，但正如我上面暗示的那樣，Claude 在編程和與人進(jìn)行良好設(shè)計(jì)的互動(dòng)風(fēng)格方面非常出色（很多人用它來(lái)尋求個(gè)人建議或支持）。在這些以及一些額外的任務(wù)上，DeepSeek 完全無(wú)法與之相提并論。這些因素在規(guī)模數(shù)字中并未體現(xiàn)出來(lái)?！?/p>
上周發(fā)布的 R1 模型引發(fā)了公眾的廣泛關(guān)注（包括英偉達(dá)股價(jià)下跌約 17%），但從創(chuàng)新或工程角度來(lái)看，它遠(yuǎn)不如 V3 有趣。R1 模型增加了第二階段的訓(xùn)練——強(qiáng)化學(xué)習(xí)，在前一節(jié)的第 3 點(diǎn)中對(duì)此進(jìn)行了描述——并且基本上復(fù)制了 OpenAI 在 o1 模型中所做的工作（他們似乎處于相似的規(guī)模，結(jié)果也相似）。然而，由于我們正處于規(guī)模曲線的早期階段，只要它們從強(qiáng)大的預(yù)訓(xùn)練模型起步，多家公司就有可能生產(chǎn)出這種類型的模型。在 V3 的基礎(chǔ)上生產(chǎn) R1 模型的成本可能非常低廉。因此，我們正處于一個(gè)有趣的“交叉點(diǎn)”，暫時(shí)會(huì)出現(xiàn)多家公司都能生產(chǎn)出優(yōu)秀的推理模型的情況。但隨著所有公司在這種模型的規(guī)模曲線上進(jìn)一步前進(jìn)，這種情況將迅速消失。
出口管制
以上所有內(nèi)容都只是我主要關(guān)注話題——對(duì)華芯片出口管制——的鋪墊。根據(jù)上述事實(shí)，我對(duì)當(dāng)前形勢(shì)的看法如下：
即使曲線周期性地發(fā)生偏移，訓(xùn)練特定智能水平模型的成本迅速下降，但各公司在訓(xùn)練強(qiáng)大人工智能模型上的支出卻持續(xù)增加。這僅僅是因?yàn)橛?xùn)練更智能模型的經(jīng)濟(jì)價(jià)值實(shí)在太大了，以至于任何成本上的節(jié)省幾乎都立即被抵消——它們被重新投入到制造更智能的模型中，花費(fèi)的仍然是最初計(jì)劃支出的巨額資金。DeepSeek 開(kāi)發(fā)的效率創(chuàng)新，如果美國(guó)實(shí)驗(yàn)室尚未發(fā)現(xiàn)，也將很快被美國(guó)和中國(guó)實(shí)驗(yàn)室應(yīng)用于訓(xùn)練數(shù)十億美元的模型。這些模型將比他們之前計(jì)劃訓(xùn)練的數(shù)十億美元模型性能更優(yōu)——但他們?nèi)匀粫?huì)花費(fèi)數(shù)十億美元。這個(gè)數(shù)字將繼續(xù)上升，直到我們達(dá)到人工智能在幾乎所有事情上都比幾乎所有人類更智能的程度。
制造出在幾乎所有事情上，都比幾乎所有人類更智能的人工智能，將需要數(shù)百萬(wàn)塊芯片、數(shù)百億美元（至少），并且最有可能在 2026-2027 年實(shí)現(xiàn)。DeepSeek 的成果發(fā)布并沒(méi)有改變這一點(diǎn)，因?yàn)樗鼈兇笾路弦恢北患{入這些計(jì)算的預(yù)期成本降低曲線。
這意味著在 2026-2027 年，我們可能會(huì)最終進(jìn)入兩個(gè)截然不同的世界之一。在美國(guó)，多家公司肯定會(huì)擁有所需的數(shù)百萬(wàn)塊芯片（以數(shù)百億美元的成本）。問(wèn)題是中國(guó)是否也能獲得數(shù)百萬(wàn)塊芯片？
如果中國(guó)能夠做到，我們將生活在一個(gè)兩極世界中，美國(guó)和中國(guó)都將擁有強(qiáng)大的人工智能模型，這將導(dǎo)致科學(xué)和技術(shù)的飛速發(fā)展——我稱之為“數(shù)據(jù)中心里的天才之國(guó)”。兩極世界不一定會(huì)無(wú)限期地保持平衡。即使美國(guó)和中國(guó)在人工智能系統(tǒng)方面勢(shì)均力敵，中國(guó)似乎也更有可能將更多的才能、資本和關(guān)注力投入到該技術(shù)的軍事應(yīng)用中。結(jié)合其龐大的工業(yè)基礎(chǔ)和軍事戰(zhàn)略優(yōu)勢(shì)，這可能有助于中國(guó)在全球舞臺(tái)上取得支配地位，不僅在人工智能領(lǐng)域，而且在所有領(lǐng)域?！?/p>
如果中國(guó)無(wú)法獲得數(shù)百萬(wàn)塊芯片，我們將（至少暫時(shí)）生活在一個(gè)單極世界中，只有美國(guó)及其盟友擁有這些模型。單極世界是否會(huì)持久尚不清楚，但至少存在一種可能性，即由于人工智能系統(tǒng)最終可以幫助制造更智能的人工智能系統(tǒng)，暫時(shí)的領(lǐng)先優(yōu)勢(shì)可能會(huì)轉(zhuǎn)化為持久的優(yōu)勢(shì)。因此，在這個(gè)世界中，美國(guó)及其盟友可能會(huì)在全球舞臺(tái)上取得支配且持久的領(lǐng)先地位?！?/p>
有效執(zhí)行的出口管制是唯一能夠阻止中國(guó)獲得數(shù)百萬(wàn)塊芯片的手段，因此也是我們最終會(huì)進(jìn)入單極世界還是兩極世界的最重要決定因素?！?/strong>
DeepSeek 的出色表現(xiàn)并不意味著出口管制失敗。正如我上面所述，DeepSeek 擁有相當(dāng)數(shù)量的芯片，因此他們能夠開(kāi)發(fā)并訓(xùn)練出一個(gè)強(qiáng)大的模型并不令人意外。他們的資源約束程度并不比美國(guó)人工智能公司高多少，出口管制也不是導(dǎo)致他們“創(chuàng)新”的主要因素。他們只是非常有才華的工程師，并表明中國(guó)是美國(guó)的一個(gè)強(qiáng)大競(jìng)爭(zhēng)對(duì)手。
審視一下目前報(bào)道的 DeepSeek 擁有的芯片也具有啟發(fā)意義。根據(jù) SemiAnalysis 的說(shuō)法，這是一個(gè)由 H100、H800 和 H20 組成的混合體，總計(jì) 5 萬(wàn)塊。H100 自發(fā)布以來(lái)就受到出口管制禁令的限制，因此如果 DeepSeek 擁有任何 H100，那一定是走私來(lái)的（請(qǐng)注意，英偉達(dá)已聲明 DeepSeek 的進(jìn)展“完全符合出口管制規(guī)定”）。H800 在 2022 年最初的出口管制措施下是允許的，但在 2023 年 10 月管制措施更新時(shí)被禁止，因此這些芯片可能是在禁令之前發(fā)貨的。H20 的訓(xùn)練效率較低，采樣效率較高——并且仍然是允許出口的，盡管我認(rèn)為應(yīng)該禁止出口。
總而言之，DeepSeek 人工智能芯片艦隊(duì)的很大一部分似乎是由以下芯片組成：尚未被禁止的芯片（但應(yīng)該被禁止）；在被禁止之前發(fā)貨的芯片，這表明出口管制實(shí)際上正在發(fā)揮作用并不斷調(diào)整：漏洞正在被堵塞；否則，他們很可能擁有全部由頂級(jí)的 H100 組成的芯片艦隊(duì)。如果我們能夠足夠快地堵塞漏洞，我們或許能夠阻止中國(guó)獲得數(shù)百萬(wàn)塊芯片，從而增加美國(guó)領(lǐng)先的單極世界出現(xiàn)的可能性。
考慮到我對(duì)出口管制和美國(guó)國(guó)家安全的關(guān)注，我想明確一點(diǎn)。我不認(rèn)為 DeepSeek 本身是對(duì)手，重點(diǎn)也不是專門針對(duì)他們。在他們接受的采訪中，他們看起來(lái)像是聰明的、充滿好奇心的研究人員，只是想創(chuàng)造有用的技術(shù)?！?/strong>
如果中國(guó)能夠在人工智能領(lǐng)域與美國(guó)匹敵，這個(gè)他們會(huì)是令人恐慌的。出口管制是我們阻止這種情況發(fā)生的最有力工具之一，認(rèn)為技術(shù)變得更強(qiáng)大、性價(jià)比更高就應(yīng)該放松出口管制，這種想法根本毫無(wú)道理?！?/p>
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論