近日，美國AI獨角獸Anthropic掌門人Dario Amodei在《技術(shù)的青春期》一文中闡述了AI發(fā)展所帶來的風(fēng)險和挑戰(zhàn)。
他指出，隨著AI的快速進(jìn)步，人類可能很快就會獲得幾乎無法想象的力量，但是當(dāng)下的社會、政治和技術(shù)體系是否具備駕馭這種力量的成熟度，卻是一個未知的問題。
他強(qiáng)調(diào)，盡管存在不確定性，我們必須采取果斷而謹(jǐn)慎的行動來應(yīng)對可能的風(fēng)險，并且認(rèn)為，如果我們采取正確的措施，就有可能克服這些挑戰(zhàn)。
文章近2萬多字，Amodei試圖從AI模型自身風(fēng)險、個人和組織風(fēng)險，國家層面風(fēng)險，以及經(jīng)濟(jì)和社會層面的風(fēng)險等多個維度展開論述。
Amodei認(rèn)為AI模型存在一定的自主性（Autonomy）風(fēng)險。同時，他批判了兩類極端立場：一類是認(rèn)為“AI不會有問題”：AI只是被訓(xùn)練來執(zhí)行指令，就像掃地機(jī)器人不可能突然想殺人，因此AI造反是科幻；
還有一類是認(rèn)如果將“盡可能地獲得權(quán)力”作為關(guān)鍵策略，那么AI就會概括出同樣經(jīng)驗以尋求權(quán)力作為完成任務(wù)的手段，這種傾向也會應(yīng)用到現(xiàn)實世界中。一旦AI獲得自主意識且足夠智能，它們將削弱甚至毀滅人類。
他認(rèn)為，出現(xiàn)這種立場，其實是忽視了大模型訓(xùn)練中帶有的“人格面具”以及模型生成的不可預(yù)測性。
他列舉了Anthropic內(nèi)部的測試：在訓(xùn)練中暗示Claude“公司是邪惡的”，出于“應(yīng)懲處邪惡之人”的想法，Claude出現(xiàn)了欺騙行為；當(dāng)告知Claude不要作弊時，卻在實際訓(xùn)練時允許或獎勵這種行為，這導(dǎo)致Claude認(rèn)為自己是“壞人”，并做出相應(yīng)破壞行為。這說明模型訓(xùn)練過程極其復(fù)雜，數(shù)據(jù)、環(huán)境、獎勵機(jī)制等都會存在大量“陷阱”，導(dǎo)致大模型出現(xiàn)不可估量的后果。
Amodei指出，應(yīng)對自主性風(fēng)險，實現(xiàn)對齊和可解釋性是最為有效的：
這個篇章Amodei將AI風(fēng)險從個人或組織上升至國家層面，像AI武器、監(jiān)控系統(tǒng)、輿論影響、外交與軍事戰(zhàn)爭等。
不過，Amodei贊同了美國對中國進(jìn)行的芯片出口管制，“我們絕對不應(yīng)該向中國出售芯片、芯片制造工具或數(shù)據(jù)中心。”
在他看來，芯片是發(fā)展AI的最大瓶頸，芯片出口管制是簡單卻非常有效的措施。中國在尖端芯片的量產(chǎn)能力比美國落后數(shù)年，而打造數(shù)據(jù)中心強(qiáng)國的關(guān)鍵時期可能就在未來幾年。
Amodei認(rèn)為，強(qiáng)大的AI有望大幅提升國家外交、軍事戰(zhàn)略、研發(fā)、經(jīng)濟(jì)戰(zhàn)略以及許多其他領(lǐng)域的效率。
例如，一些即便自身不開發(fā)前沿模型，但如果能通過本國數(shù)據(jù)中心大規(guī)模運行大模型的國家，也存在算力濫用的風(fēng)險。
Amodei認(rèn)為AI將帶來經(jīng)濟(jì)的大幅增長，包括科學(xué)研究、生物醫(yī)學(xué)創(chuàng)新、制造業(yè)、供應(yīng)鏈、金融體系效率等方面的進(jìn)步，“持續(xù)保持10%至20%的年均GDP增長率是有可能的。”
不過他也預(yù)測，盡管AI將加速經(jīng)濟(jì)增長，但也可能在短期內(nèi)對勞動力市場帶來巨大沖擊。
他判斷的依據(jù)在于：一是AI發(fā)展速度之快，遠(yuǎn)超此前任何一次革命；二是隨著AI越來越接近于人類的一般認(rèn)知能力，AI不是取代特定的工作，而是取代人類的一般認(rèn)知勞動。
Amodei還注意到，AI還在影響那些有一定內(nèi)在know-how的人，因為AI正朝著能力階梯逐級發(fā)展，同時AI也能快速彌補(bǔ)短板，它每次發(fā)現(xiàn)問題能夠很快被修正。
他認(rèn)為，勞動力市場或許有足夠的韌性來適應(yīng)如此巨大的沖擊。但即便最終能夠適應(yīng)，上述因素也表明，短期帶來的沖擊影響面將是前所未有的。
此外，Amodei還擔(dān)憂AI還將帶來財富過于集中，比如一個數(shù)據(jù)中心“天才之國”。目前AI數(shù)據(jù)中心已經(jīng)占美國經(jīng)濟(jì)增長的很大一部分，大型科技公司也越來越專注于AI或AI基礎(chǔ)設(shè)施建設(shè)。
作為一家在AI編程領(lǐng)域頗有影響力的公司，Anthropic的AI編程工具Claude Code和模型Claude 3.7 Sonnet擅長編碼任務(wù)。
同樣在這篇文章中，Amodei指出AI編碼目前承擔(dān)了Anthropic的大部分編碼工作，顯著加快其構(gòu)建下一代AI系統(tǒng)的節(jié)奏，或許只需要一兩年，新一代AI就能自主構(gòu)建下一代AI。而此前兩年，AI模型幾乎無法編寫一行代碼。
不過，在他看來，“編寫所有代碼”和“端到端完成軟件工程師的工作”是截然不同兩件事。因為后者的工作遠(yuǎn)不止編寫代碼，還包括測試、環(huán)境、文件安裝、IT云部署、產(chǎn)品迭代等。（作者 | 楊麗，編輯 | 蓋虹達(dá)）
全文地址：https://www.darioamodei.com/essay/the-adolescence-of-technology#humanity-s-test
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機(jī)號后發(fā)表評論