近日，美國AI獨角獸Anthropic掌門人Dario Amodei在《技術(shù)的青春期》一文中闡述了AI發(fā)展所帶來的風險和挑戰(zhàn)。
他指出，隨著AI的快速進步，人類可能很快就會獲得幾乎無法想象的力量，但是當下的社會、政治和技術(shù)體系是否具備駕馭這種力量的成熟度，卻是一個未知的問題。
他強調(diào)，盡管存在不確定性，我們必須采取果斷而謹慎的行動來應(yīng)對可能的風險，并且認為，如果我們采取正確的措施，就有可能克服這些挑戰(zhàn)。
文章近2萬多字，Amodei試圖從AI模型自身風險、個人和組織風險，國家層面風險，以及經(jīng)濟和社會層面的風險等多個維度展開論述。
Amodei認為AI模型存在一定的自主性（Autonomy）風險。同時，他批判了兩類極端立場：一類是認為“AI不會有問題”：AI只是被訓練來執(zhí)行指令，就像掃地機器人不可能突然想殺人，因此AI造反是科幻；
還有一類是認如果將“盡可能地獲得權(quán)力”作為關(guān)鍵策略，那么AI就會概括出同樣經(jīng)驗以尋求權(quán)力作為完成任務(wù)的手段，這種傾向也會應(yīng)用到現(xiàn)實世界中。一旦AI獲得自主意識且足夠智能，它們將削弱甚至毀滅人類。
他認為，出現(xiàn)這種立場，其實是忽視了大模型訓練中帶有的“人格面具”以及模型生成的不可預(yù)測性。
他列舉了Anthropic內(nèi)部的測試：在訓練中暗示Claude“公司是邪惡的”，出于“應(yīng)懲處邪惡之人”的想法，Claude出現(xiàn)了欺騙行為；當告知Claude不要作弊時，卻在實際訓練時允許或獎勵這種行為，這導致Claude認為自己是“壞人”，并做出相應(yīng)破壞行為。這說明模型訓練過程極其復雜，數(shù)據(jù)、環(huán)境、獎勵機制等都會存在大量“陷阱”，導致大模型出現(xiàn)不可估量的后果。
Amodei指出，應(yīng)對自主性風險，實現(xiàn)對齊和可解釋性是最為有效的：
這個篇章Amodei將AI風險從個人或組織上升至國家層面，像AI武器、監(jiān)控系統(tǒng)、輿論影響、外交與軍事戰(zhàn)爭等。
不過，Amodei贊同了美國對中國進行的芯片出口管制，“我們絕對不應(yīng)該向中國出售芯片、芯片制造工具或數(shù)據(jù)中心。”
在他看來，芯片是發(fā)展AI的最大瓶頸，芯片出口管制是簡單卻非常有效的措施。中國在尖端芯片的量產(chǎn)能力比美國落后數(shù)年，而打造數(shù)據(jù)中心強國的關(guān)鍵時期可能就在未來幾年。
Amodei認為，強大的AI有望大幅提升國家外交、軍事戰(zhàn)略、研發(fā)、經(jīng)濟戰(zhàn)略以及許多其他領(lǐng)域的效率。
例如，一些即便自身不開發(fā)前沿模型，但如果能通過本國數(shù)據(jù)中心大規(guī)模運行大模型的國家，也存在算力濫用的風險。
Amodei認為AI將帶來經(jīng)濟的大幅增長，包括科學研究、生物醫(yī)學創(chuàng)新、制造業(yè)、供應(yīng)鏈、金融體系效率等方面的進步，“持續(xù)保持10%至20%的年均GDP增長率是有可能的。”
不過他也預(yù)測，盡管AI將加速經(jīng)濟增長，但也可能在短期內(nèi)對勞動力市場帶來巨大沖擊。
他判斷的依據(jù)在于：一是AI發(fā)展速度之快，遠超此前任何一次革命；二是隨著AI越來越接近于人類的一般認知能力，AI不是取代特定的工作，而是取代人類的一般認知勞動。
Amodei還注意到，AI還在影響那些有一定內(nèi)在know-how的人，因為AI正朝著能力階梯逐級發(fā)展，同時AI也能快速彌補短板，它每次發(fā)現(xiàn)問題能夠很快被修正。
他認為，勞動力市場或許有足夠的韌性來適應(yīng)如此巨大的沖擊。但即便最終能夠適應(yīng)，上述因素也表明，短期帶來的沖擊影響面將是前所未有的。
此外，Amodei還擔憂AI還將帶來財富過于集中，比如一個數(shù)據(jù)中心“天才之國”。目前AI數(shù)據(jù)中心已經(jīng)占美國經(jīng)濟增長的很大一部分，大型科技公司也越來越專注于AI或AI基礎(chǔ)設(shè)施建設(shè)。
作為一家在AI編程領(lǐng)域頗有影響力的公司，Anthropic的AI編程工具Claude Code和模型Claude 3.7 Sonnet擅長編碼任務(wù)。
同樣在這篇文章中，Amodei指出AI編碼目前承擔了Anthropic的大部分編碼工作，顯著加快其構(gòu)建下一代AI系統(tǒng)的節(jié)奏，或許只需要一兩年，新一代AI就能自主構(gòu)建下一代AI。而此前兩年，AI模型幾乎無法編寫一行代碼。
不過，在他看來，“編寫所有代碼”和“端到端完成軟件工程師的工作”是截然不同兩件事。因為后者的工作遠不止編寫代碼，還包括測試、環(huán)境、文件安裝、IT云部署、產(chǎn)品迭代等。（作者 | 楊麗，編輯 | 蓋虹達）
全文地址：https://www.darioamodei.com/essay/the-adolescence-of-technology#humanity-s-test
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論