Meta首席執(zhí)行官扎克伯格
近日，科技巨頭Meta重磅推出迄今能力最強(qiáng)的開源大模型Llama 3，引爆了整個(gè)全球開源 AI 行業(yè)。
與此同時(shí)，億萬富翁、Meta首席執(zhí)行官馬克·扎克伯格（Mark Zuckerberg）與知名科技播客主持人Dwarkesh Patel的對(duì)話也同步發(fā)出。這個(gè)長達(dá)80分鐘的訪談里，扎克伯格主要圍繞Llama3、通用人工智能（AGI）、能源問題、AI安全問題、開源的風(fēng)險(xiǎn)等進(jìn)行探討。
扎克伯格表示，Llama 3的推出，對(duì)于Meta AI來說是向前邁出了一大步。盡管AI不可能一夜之間變得極其聰明，人類需要時(shí)間去適應(yīng)一下，但毫無疑問的是，AI 確實(shí)會(huì)改變我們的工作方式，為人類提供創(chuàng)意工具。
扎克伯格強(qiáng)調(diào)，他非常喜歡創(chuàng)新，特別喜歡圍繞人們?nèi)绾螠贤?、如何表達(dá)自己以及如何工作來構(gòu)建新事物。因此，Meta就投資1000億美元規(guī)劃公司 AI 和“元宇宙”領(lǐng)域未來。如何Meta停止創(chuàng)新，他就要完了。
“人們總是存在爭(zhēng)論，是否有足夠的信心去構(gòu)建新事物，但對(duì)我來說，如果我停止創(chuàng)新，我就完了。”扎克伯格表示。
針對(duì)于開源 AI 模型發(fā)展，扎克伯格稱，開源是一項(xiàng)有效的措施，未來 AI 的集中化有可能像它的廣泛傳播一樣危險(xiǎn)，通過開源大模型解決更多的安全漏洞。因此，即便成本價(jià)值100億美元的大模型，Meta也愿意開源。
“很多投資者和用戶無法理解我們?yōu)槭裁匆_源，我認(rèn)為這在科技領(lǐng)域有著深刻意義，可以創(chuàng)造更多贏家。”扎克伯格說道。
扎克伯格強(qiáng)調(diào)，AI 已成為Meta公司的核心。未來，訓(xùn)練大型AI模型可能面臨資本和能源限制等挑戰(zhàn)，因此，公司將全方位發(fā)力AI技術(shù)，從而賦予人們更強(qiáng)大的工具完成更有挑戰(zhàn)性的任務(wù)。
（本文首發(fā)于鈦媒體App，作者｜林志佳、AI科技組，編輯｜胡潤峰）
主持人：Mark，歡迎來到這個(gè)播客。
扎克伯格：謝謝你邀請(qǐng)我。我是您播客的忠實(shí)粉絲。
主持人：大家很關(guān)心你們推出的新大模型，可以介紹一下嗎？其中有哪些新鮮和令人興奮的事情？
扎克伯格：我們正在推出Llama 3，將其作為開發(fā)社區(qū)的開源項(xiàng)目，我們相信它將為Meta AI的發(fā)展提供動(dòng)力。圍繞Llama 3，市場(chǎng)肯定會(huì)有各種討論，但我認(rèn)為最重要的是Meta AI是人們可以免費(fèi)使用的最智能的AI助手。我們還整合了Google和Bing的搜索功能為用戶提供實(shí)時(shí)信息，并將Meta AI在Facebook和Messenger等應(yīng)用中置頂，用戶可以在搜索框里提出任何問題。
這次我們還新增不少功能，其中有一個(gè)是生成動(dòng)畫，我覺得很棒，你可以拍攝任何圖像并將其制作成動(dòng)畫，速度非?？?，幾乎可以實(shí)時(shí)更新。這項(xiàng)功能目前只在少數(shù)國家和地區(qū)推出了，不過未來幾周或幾個(gè)月內(nèi)我們還會(huì)開展更多工作。
Llama 3的推出對(duì)于Meta AI來說是向前邁出了一大步。這次我們訓(xùn)練了三個(gè)版本：80億參數(shù)、700億參數(shù)和4050億參數(shù)。我們會(huì)先發(fā)布其中一個(gè)版本，目前它們的規(guī)模處于領(lǐng)先地位，我們將發(fā)布一篇相關(guān)博客文章，以便人們可以自行查看，它是開源的，每個(gè)人都有機(jī)會(huì)使用它。我們制定了即將推出的新版本的路線圖，這些版本將帶來更多模式、更強(qiáng)語言性以及更大的上下文窗口。希望我們能在今年晚些時(shí)候推出4050億參數(shù)的版本。就目前的訓(xùn)練情況而言，該模型已經(jīng)達(dá)到85億參數(shù)左右，我們預(yù)計(jì)它在一系列測(cè)試中處于領(lǐng)先地位。
更有趣的是，我們這次推出的80億參數(shù)版本幾乎與我們發(fā)布的最大規(guī)模的Llama-2一樣強(qiáng)大。也就是說最小規(guī)模的Llama 3與最大規(guī)模的Llama 2一樣強(qiáng)大。
主持人：你2022年就開始大量購買H100芯片了，這是一筆不小的開支，你怎么知道未來會(huì)需要這些GPU芯片呢？
扎克伯格：我想是因?yàn)槲覀儺?dāng)時(shí)在開發(fā)Reels。我們總是希望有足夠的算力來構(gòu)建一些我們還看不到的未來的東西。我們?cè)陂_發(fā)Reels時(shí)遇到了這樣的情況，我們需要更多的GPU來訓(xùn)練模型。這是我們服務(wù)的一個(gè)重大進(jìn)化。我們不僅僅是對(duì)你關(guān)注的人或主頁的內(nèi)容進(jìn)行排序，我們開始大力推薦我們所謂的非關(guān)聯(lián)內(nèi)容，也就是來自你沒有關(guān)注的人或主頁的內(nèi)容。
我們可能向你展示的內(nèi)容候選庫從數(shù)千個(gè)量級(jí)擴(kuò)大到數(shù)百萬個(gè)量級(jí)。它需要一個(gè)完全不同的基礎(chǔ)設(shè)施。我們開始著手進(jìn)行這項(xiàng)工作，但在基礎(chǔ)設(shè)施方面受到限制，無法以我們想要的速度趕上TikTok的進(jìn)度。
我基本上是這樣看的，我想：“嘿，我們必須確保不再陷入這種境地。所以讓我們訂購足夠的GPU來完成Reels、內(nèi)容排名和信息流方面需要做的事情。但讓我們?cè)偌颖丁?rdquo;
事實(shí)上，大多數(shù)時(shí)候我們做的一些最終看起來不錯(cuò)的決定，是因?yàn)橹拔覀儼咽虑楦阍伊?，只是不想重?fù)這個(gè)錯(cuò)誤，繞過這個(gè)錯(cuò)誤反而到達(dá)了新的方向。
主持人：你有所有這些GPU，我想你說過到今年年底會(huì)有35萬個(gè)。
扎克伯格：那是整個(gè)系列。我們建造了兩個(gè)，我想是2.2萬或2.4萬的集群，這是我們用來訓(xùn)練大型模型的單個(gè)集群，顯然是在我們所做的很多事情中。我們很多東西都用于訓(xùn)練Reels模型、Facebook新聞源和Instagram信息流。推理對(duì)我們來說是一件大事，因?yàn)槲覀優(yōu)榇罅咳颂峁┓?wù)?？紤]到我們所服務(wù)的社區(qū)的龐大規(guī)模，我們所需的推理計(jì)算與訓(xùn)練之比可能比大多數(shù)從事這些工作的其他公司要高得多。
同時(shí)，很快，或許Llama 4就能用上定制模型訓(xùn)練。我們采取的方法是首先構(gòu)建自定義芯片，可以處理我們的排名和推薦內(nèi)容的推理，例如滾動(dòng)消息、動(dòng)態(tài)廣告等，這會(huì)消耗大量GPU，我們現(xiàn)在只能用昂貴的英偉達(dá)GPU進(jìn)行訓(xùn)練。我們希望能擁有自己的定制芯片，然后先用它來訓(xùn)練一些簡單的東西，最終也會(huì)實(shí)現(xiàn)用它來訓(xùn)練大型AI模型的目標(biāo)。這個(gè)計(jì)劃進(jìn)展順利，我們有一個(gè)長期路線圖，會(huì)有條不紊地推出它。
主持人：在他們事先與我分享的材料中，有一點(diǎn)很有趣，你在訓(xùn)練時(shí)使用的數(shù)據(jù)比僅用于訓(xùn)練的計(jì)算最優(yōu)數(shù)據(jù)還要多。推理對(duì)你們來說是一個(gè)大問題，對(duì)社區(qū)也是如此，在里面放入數(shù)萬億個(gè)token是有意義的。
扎克伯格：盡管有了700億參數(shù)的模型，有一件有趣的事情是，我們認(rèn)為它會(huì)更加飽和。我們用大約15萬億個(gè)token對(duì)它進(jìn)行了訓(xùn)練。我想我們一開始的預(yù)測(cè)是它會(huì)更多地漸近，但即使在最后它仍在學(xué)習(xí)。我們可能本可以給它更多的token，它就會(huì)變得更好一些。
在某種程度上，你在經(jīng)營一家公司，你需要做這些Meta推理問題。我是想把我們的GPU花在進(jìn)一步訓(xùn)練700億模型上？我們是想繼續(xù)下去，以便開始測(cè)試Llama-4的假設(shè)？我們需要做出這個(gè)決定，我認(rèn)為我們?cè)谶@個(gè)版本的700億中取得了合理的平衡。未來還會(huì)有其他的700億，多模態(tài)的那個(gè)，會(huì)在接下來的一段時(shí)間內(nèi)推出。但令人著迷的是，在這一點(diǎn)上，架構(gòu)可以接受如此多的數(shù)據(jù)。
主持人：未來幾十年 AI 會(huì)發(fā)生什么？
扎克伯格：人類將會(huì)獲得新的應(yīng)用程序，這種創(chuàng)新帶來的感覺更像是人類從沒有電腦到擁有電腦時(shí)的感受。很難確切地推斷出這種情況何時(shí)會(huì)發(fā)生，單從時(shí)間維度看，或許幾十年就能實(shí)現(xiàn)，但AI不可能一夜之間變得極其聰明，我們需要時(shí)間去適應(yīng)一下。不過毫無疑問的是，AI確實(shí)會(huì)改變我們的工作方式，為人類提供創(chuàng)意工具。
主持人：你們公司已經(jīng)進(jìn)行了很長時(shí)間的 AI 研究，現(xiàn)在AI也成為你公司的核心業(yè)務(wù)之一了，那你們打算何時(shí)打造AGI（通用人工智能），這會(huì)是Meta人工智能發(fā)展的首要任務(wù)嗎？
扎克伯格：毫無疑問，這是一件大事，大約10年前我們就開始做這件事。我們的想法是在通向AGI的道路上，將會(huì)有不同的創(chuàng)新，這將改善我們所做的一切。我們并沒有將AI視為一種產(chǎn)品，它更像是一個(gè)研究小組，過去10多年來，它創(chuàng)造了許多不同的東西，改進(jìn)了我們所有的產(chǎn)品，推動(dòng)了該領(lǐng)域的發(fā)展，并允許該領(lǐng)域的其他人創(chuàng)造出同樣改進(jìn)我們產(chǎn)品的東西。
隨著ChatGPT和圍繞圖像創(chuàng)建的擴(kuò)散模型問世，過去幾年顯然發(fā)生了很大的變化。那時(shí)，我們成立了生成式AI的小組，目標(biāo)是將這些科技成果引入我們的產(chǎn)品中，并想要構(gòu)建領(lǐng)先的基礎(chǔ)模型來為我們的產(chǎn)品發(fā)展提供動(dòng)力。
我們正在做的很多事情都充滿了社交屬性，無論是應(yīng)用程序、智能眼鏡還是VR，都是幫助人們與創(chuàng)作者互動(dòng)、與企業(yè)互動(dòng)，為企業(yè)銷售產(chǎn)品提供客戶支持。一開始并沒有清晰地意識(shí)到AGI能支持這些用例，但通過努力，我們正在不斷向AGI靠近。例如當(dāng)時(shí)我們開發(fā)Llama 2時(shí)，沒有優(yōu)先考慮編碼，因?yàn)槿藗儾粫?huì)在WhatsApp（免費(fèi)的即時(shí)通訊和視頻通話應(yīng)用程序）中向Meta AI問很多編碼問題。但在過去18個(gè)月中我們發(fā)現(xiàn)了令人驚訝的結(jié)果，編碼在AI大模型中至關(guān)重要。即使人們不問編碼問題，對(duì)模型進(jìn)行編碼訓(xùn)練可以幫助它們?cè)诨卮饐栴}時(shí)更加嚴(yán)謹(jǐn)，還能對(duì)問題進(jìn)行推理。所以對(duì)于Llama-3，我們開始專注于通過大量編碼來訓(xùn)練它，即使人們不問與編碼相關(guān)的問題，這也能使它在服務(wù)中可以做得更好。
再比如推理，當(dāng)你想與創(chuàng)作者聊天或者與客戶互動(dòng)時(shí)，并不是簡單的一問一答，這是一個(gè)復(fù)雜的、有多個(gè)步驟的互動(dòng)。需要大模型去思考“我要如何實(shí)現(xiàn)這個(gè)人的目標(biāo)”。很多時(shí)候客戶并不一定能清楚地表達(dá)他們想要什么，AI的工作并不僅僅是回答問題，需要更全面地思考，這就需要較強(qiáng)的推理能力。換言之，如果其他公司在AI推理方面取得了良好進(jìn)展，而我們的AI還停留在只會(huì)簡單聊天的階段，那我們的產(chǎn)品就顯得很蹩腳。所以我們意識(shí)到必須做AGI，解決這些問題，并且加大了投資來確保我們能做到這一點(diǎn)。
主持人：當(dāng)你訓(xùn)練Llama 5或Llama 4時(shí)，發(fā)生什么會(huì)讓你猶豫要不要開源它？
扎克伯格：我認(rèn)為開源是一項(xiàng)有效的措施。我支持開源還有一層哲學(xué)邏輯，未來人工智能的集中化有可能像它的廣泛傳播一樣危險(xiǎn)。對(duì)于一個(gè)機(jī)構(gòu)來說，擁有比其他人更強(qiáng)大的人工智能或許更可怕。我想到了一個(gè)安全類比，許多事物都存在安全漏洞，如果你比別人多了解一些安全漏洞，就可以入侵對(duì)方系統(tǒng)。相信一個(gè)非常聰明的人工智能能夠識(shí)別一些漏洞，那如果它像人一樣去入侵系統(tǒng)產(chǎn)生危害，那我們?nèi)祟愒撊绾稳ヌ幚磉@個(gè)問題呢？
我想其中一個(gè)有效的方式就是開源人工智能模型，當(dāng)對(duì)人工智能模型進(jìn)行改進(jìn)時(shí)，它不會(huì)僅僅停留在一家公司的產(chǎn)品中，而是可以廣泛部署到不同的系統(tǒng)，這樣可以讓該模型變得更安全、更穩(wěn)定。因?yàn)殡S著越來越多的人可以看到它、使用它，那它的工作模式就會(huì)逐漸標(biāo)準(zhǔn)化，所有依托于這個(gè)人工智能系統(tǒng)的軟件都將在某種程度上受到控制，這是一個(gè)更健康的狀態(tài)，有利于塑造更公平的競(jìng)爭(zhēng)環(huán)境。
主持人：如果你們開發(fā)的大模型價(jià)值100億美元，還能接受其他人對(duì)你們的模型進(jìn)行微調(diào)嗎？你們?cè)敢忾_源價(jià)值100億美元的模型嗎？
扎克伯格：只要開源對(duì)我們有利，就會(huì)去做這件事情。我們一直致力于開源軟件，不過我們不傾向于開源產(chǎn)品，更多的是開源一些基礎(chǔ)設(shè)施，比如我們不會(huì)開源Instagram的代碼，但會(huì)開放Llama大模型。
我們歷史上最大的開源項(xiàng)目可能是開放計(jì)算機(jī)，我們對(duì)所有服務(wù)器、網(wǎng)絡(luò)交換機(jī)和數(shù)據(jù)中心進(jìn)行了設(shè)計(jì)，并將其開源，使得它變得非常有用。盡管很多人都可以設(shè)計(jì)服務(wù)器，但行業(yè)現(xiàn)在已經(jīng)對(duì)我們的設(shè)計(jì)進(jìn)行了標(biāo)準(zhǔn)化，這意味著供應(yīng)鏈基本上都是圍繞我們的設(shè)計(jì)構(gòu)建的，所以我們的銷量增加了，節(jié)省了很多成本。所以開源總的來說是利大于弊的，人們可以更便宜地使用大模型，雖然我們將在這些AI基礎(chǔ)設(shè)施上花費(fèi)數(shù)十億、數(shù)千億美元甚至更多，但如果我們能夠提高10%的生產(chǎn)效率，就可以節(jié)省數(shù)十億或數(shù)百億美元，這本身就很有價(jià)值。特別是還要與其他大模型競(jìng)爭(zhēng)，我們并不會(huì)放棄在這一領(lǐng)域擁有的獨(dú)特優(yōu)勢(shì)。
很多投資者和用戶無法理解我們?yōu)槭裁匆_源，我認(rèn)為這在科技領(lǐng)域有著深刻意義，這實(shí)際上創(chuàng)造了很多贏家。有些模型可以用來構(gòu)建人們常常無法理解的東西，他們無法理解這對(duì)人們來說是一件有價(jià)值的事情。
主持人：就開源而言，我感到好奇的是，你認(rèn)為PyTorch、React、Open Compute等開源項(xiàng)目對(duì)世界的影響，是否有可能超越Meta在社交媒體方面的影響？我曾與這些服務(wù)的用戶交流過，他們認(rèn)為這種可能性是存在的，畢竟互聯(lián)網(wǎng)的大部分運(yùn)行都依賴于這些開源項(xiàng)目。
扎克伯格：我們的消費(fèi)產(chǎn)品確實(shí)在全球范圍內(nèi)擁有龐大的用戶基礎(chǔ)，幾乎覆蓋了全世界一半的人口。然而，我認(rèn)為開源正成為一種全新的、強(qiáng)大的構(gòu)建方式。它可能會(huì)像貝爾實(shí)驗(yàn)室一樣，最初他們研發(fā)晶體管是為了實(shí)現(xiàn)長途通話，這一目標(biāo)確實(shí)實(shí)現(xiàn)了，并為他們帶來了可觀的利潤。但5年到10年后，當(dāng)人們回顧他們最引以為傲的發(fā)明時(shí)，可能會(huì)提到其他更有深遠(yuǎn)影響的技術(shù)。
我堅(jiān)信，我們構(gòu)建的許多項(xiàng)目，如Reality Labs、某些AI項(xiàng)目以及一些開源項(xiàng)目，將對(duì)人類的進(jìn)步產(chǎn)生持久而深遠(yuǎn)的影響。雖然具體的產(chǎn)品會(huì)隨著時(shí)間的推移不斷發(fā)展、出現(xiàn)和消失，但它們對(duì)人類社會(huì)的貢獻(xiàn)卻是持久的。這也是我們作為技術(shù)從業(yè)者能夠共同參與的、令人振奮的部分。
主持人：你曾經(jīng)有機(jī)會(huì)以10億美元的價(jià)格賣掉公司，但你沒有選擇這么做，特別是當(dāng)時(shí)市場(chǎng)并不看好元宇宙，我很好奇為什么你堅(jiān)持發(fā)展元宇宙呢？
扎克伯格：我很喜歡創(chuàng)新，特別喜歡圍繞人們?nèi)绾螠贤?、如何表達(dá)自己以及如何工作來構(gòu)建新事物。大學(xué)時(shí)我學(xué)習(xí)了計(jì)算機(jī)科學(xué)和心理學(xué)兩門課程，這兩門學(xué)科交織在一起，賦予我了一種非常深刻的驅(qū)動(dòng)力。從本質(zhì)上講，如果我不構(gòu)建新的東西，我就是在做錯(cuò)事。當(dāng)我們?cè)谡硗顿Y1000億美元人工智能或元宇宙中巨額資金的商業(yè)案例時(shí)，我們制定了計(jì)劃，這些計(jì)劃已經(jīng)非常清楚地表明，如果我們的產(chǎn)品有效，這將是一筆不錯(cuò)的投資。人們總是存在爭(zhēng)論，是否有足夠的信心去構(gòu)建新事物，但對(duì)我來說，如果我停止創(chuàng)新，我就完了。
主持人：關(guān)于“納入模型本身”，你是指在模型本身想要的東西上訓(xùn)練它嗎？“納入模型本身”是什么意思？
扎克伯格：對(duì)于Llama 2，工具的使用非常具體，而Llama 3在工具使用方面要好得多。我們不必手動(dòng)編寫所有的東西來讓它使用Google并進(jìn)行搜索。它可以直接做到這一點(diǎn)。類似地，對(duì)于編碼和運(yùn)行代碼以及許多類似的東西也是如此。一旦你獲得了這種能力，你就可以瞥見我們接下來可以開始做什么。
我們不一定要等到Llama-4出現(xiàn)才開始構(gòu)建這些功能，所以我們可以開始在它周圍做一些hack。你做了大量的手工編碼，至少在過渡期內(nèi)，這會(huì)使產(chǎn)品變得更好。然后這有助于為我們想要在下一個(gè)版本模型中構(gòu)建的東西指明方向。
主持人：你最期待哪個(gè)Llama 3微調(diào)版本的發(fā)展？
扎克伯格：我認(rèn)為這類東西的本質(zhì)是你會(huì)感到驚訝。任何我認(rèn)為有價(jià)值的具體事物，我們可能都在構(gòu)建。我認(rèn)為你會(huì)得到蒸餾版本。我認(rèn)為你會(huì)得到較小的版本。有一點(diǎn)是，我認(rèn)為80億還不夠小，無法滿足大量用例。隨著時(shí)間的推移，我很樂意得到一個(gè)10~20億參數(shù)的模型，甚至是一個(gè)5億參數(shù)的模型，看看你能用它做什么。
如果有80億個(gè)參數(shù)，我們幾乎和最大的Llama 2模型一樣強(qiáng)大，那么有10億個(gè)參數(shù)，你應(yīng)該能做一些有趣的事情，而且速度更快。在將其提供給最強(qiáng)大的模型以完善提示應(yīng)該是什么之前，它非常適合于分類，或者人們?cè)诶斫庥脩舨樵円鈭D方面所做的許多基本事情。我認(rèn)為這可能是社區(qū)可以幫助填補(bǔ)的一個(gè)空白。我們也在考慮自己開始蒸餾其中一些東西，但現(xiàn)在GPU都被用來訓(xùn)練4050億的模型了。
主持人：你提到過Meta即使研發(fā)預(yù)算或資本支出預(yù)算是現(xiàn)在的10倍，也無法負(fù)擔(dān)得起的事情嗎？有沒有這樣的事情，也許是與人工智能相關(guān)的項(xiàng)目，也許不是，即使像Meta這樣的公司也沒有資源？有沒有你腦海中閃過的事情，但以現(xiàn)在的Meta，你甚至無法為此發(fā)行股票或債券？它的規(guī)模比你的預(yù)算大10倍？
扎克伯格：我認(rèn)為能源是一個(gè)方面。我認(rèn)為如果我們能獲得能源，我們可能會(huì)建造比目前更大的集群。
主持人：這在極限情況下從根本上受到資金的限制嗎？如果你有1萬億美元......
扎克伯格：我認(rèn)為是時(shí)間問題。這取決于指數(shù)曲線走多遠(yuǎn)?，F(xiàn)在許多數(shù)據(jù)中心的規(guī)模在50兆瓦或100兆瓦左右，或者一個(gè)大的數(shù)據(jù)中心可能是150兆瓦。拿一個(gè)整個(gè)數(shù)據(jù)中心，裝滿你需要做訓(xùn)練的所有東西，你建造你能建造的最大的集群。我認(rèn)為有一群公司正在做這樣的事情。
但是當(dāng)你開始建造一個(gè)300兆瓦、500兆瓦或1吉瓦的數(shù)據(jù)中心時(shí)，還沒有人建造過1吉瓦的數(shù)據(jù)中心。我認(rèn)為這將發(fā)生。這只是時(shí)間問題，但不會(huì)是明年的事。其中一些事情需要幾年的時(shí)間來建設(shè)。只是為了說明這一點(diǎn)，我認(rèn)為一個(gè)千兆瓦的數(shù)據(jù)中心相當(dāng)于一個(gè)有意義的核電站，只用于訓(xùn)練一個(gè)模型。
主持人：亞馬遜沒有這樣做嗎？他們有950兆瓦的。
扎克伯格：我不確切知道他們做了什么。你得問他們。
主持人：但它不一定要在同一個(gè)地方，對(duì)吧？如果分布式訓(xùn)練有效，它可以是分布式的。
扎克伯格：嗯，我認(rèn)為這是一個(gè)大問題，它將如何工作。未來似乎很有可能，我們所說的這些大型模型的訓(xùn)練實(shí)際上更接近于推理生成合成數(shù)據(jù)，然后再將其輸入模型。我不知道這個(gè)比例會(huì)是多少，但我認(rèn)為合成數(shù)據(jù)的生成比今天的訓(xùn)練更像是推理。顯然，如果你這樣做是為了訓(xùn)練一個(gè)模型，它就是更廣泛的訓(xùn)練過程的一部分。所以這是一個(gè)懸而未決的問題，這個(gè)平衡以及它將如何發(fā)展。
主持人：你是否希望通過將你的模型授權(quán)給云服務(wù)商來獲得可觀的收入？
扎克伯格：我們希望有這樣的安排，但我不知道它會(huì)有多重要。這基本上是我們對(duì)Llama的許可，在很多方面，它是一個(gè)非常寬松的開源許可，只是我們對(duì)最大的公司使用它有一個(gè)限制。這就是我們?cè)O(shè)置這個(gè)限制的原因。我們不是試圖阻止他們使用它。
我們希望這些巨頭公司在使用我們的模型去賺錢時(shí)，能夠與我們商談，比如微軟或亞馬遜等大型云服務(wù)商，我們應(yīng)該從中獲得一些收入分成。
所以對(duì)于Llama-2，我們與基本上所有這些主要云公司都有交易，Llama-2作為托管服務(wù)在所有這些云上都可用。我假設(shè)，隨著我們發(fā)布越來越大的模型，這將成為一件更大的事情。這不是我們正在做的主要事情，但我認(rèn)為，如果這些公司要銷售我們的模型，我們應(yīng)該以某種方式分享其中的好處，這是有道理的。
主持人：讓我們來探討一下元宇宙，你對(duì)人類歷史上的哪個(gè)時(shí)期最感興趣？在元宇宙中你想回到哪個(gè)時(shí)代？
扎克伯格：我對(duì)美國歷史和古典歷史非常感興趣，我對(duì)科學(xué)史也很感興趣。事實(shí)上，看到并嘗試更多地了解一些重大進(jìn)步是如何產(chǎn)生的會(huì)很有趣。其實(shí)我們目前所擁有著作在某種程度上是極其有限的，我不太確定在元宇宙中是否會(huì)允許你回到?jīng)]有記錄的時(shí)代。以后元宇宙或許對(duì)上歷史課很有幫助，但這不是我最感興趣的用例。我的想法是，無論身在何處，都能感受到與人在一起的感覺。
在我們正在進(jìn)行的人工智能對(duì)話中，大部分內(nèi)容都是關(guān)于所有這一切背后的物理限制。我認(rèn)為技術(shù)的一個(gè)教訓(xùn)是，希望盡可能地將事物從物理約束領(lǐng)域轉(zhuǎn)移到軟件中，因?yàn)檐浖菀讟?gòu)建和發(fā)展。或許不是每個(gè)人都會(huì)擁有數(shù)據(jù)中心，但很多人都可以獲取開源代碼并對(duì)其進(jìn)行修改。當(dāng)元宇宙實(shí)現(xiàn)了對(duì)現(xiàn)實(shí)世界的數(shù)字化構(gòu)建，肯定會(huì)帶來改變，人們或許不會(huì)再覺得他們必須一起做很多事情?？偟膩碚f，我認(rèn)為元宇宙對(duì)社交、工作等很多事情產(chǎn)生重要影響。
我最喜歡的名言之一是畢加索曾說過的：“所有孩子都是藝術(shù)家，面對(duì)的挑戰(zhàn)是在成長過程中保持藝術(shù)家的身份。”當(dāng)你年輕時(shí)，更容易產(chǎn)生瘋狂的想法，在你的生活和事業(yè)中，都存在著與創(chuàng)新者困境類似的困難。當(dāng)你處于發(fā)展的早期階段，會(huì)更容易轉(zhuǎn)變和接受新想法。我認(rèn)為這是經(jīng)營公司的一個(gè)有趣的部分：如何保持活力，如何持續(xù)創(chuàng)新。
總有這樣的情況，組織中會(huì)發(fā)生一些隨機(jī)的令人驚奇的事情，而我甚至都不知道，那些都很棒?？偟膩碚f，組織的能力在很大程度上受到首席執(zhí)行官和管理團(tuán)隊(duì)監(jiān)督能力的限制，這是我們需要關(guān)注的重點(diǎn)。正如風(fēng)投家本·霍洛維茨（Ben Horowitz）所說：要把主要的事情放在首位，努力專注于那些關(guān)鍵優(yōu)先事項(xiàng)。
主持人：開源大模型風(fēng)險(xiǎn)開始增多，現(xiàn)在它們就像Google搜索使用大模型，在目前樣本中生長以及改變，你如何緩解這個(gè)問題？因?yàn)橛腥丝梢灾苯游⒄{(diào)進(jìn)去，對(duì)吧？
扎克伯格：這是真的。我認(rèn)為，大多數(shù)人會(huì)選擇直接使用現(xiàn)成的模型，但也有一些心懷不軌的人可能會(huì)試圖利用這些模型進(jìn)行不良行為，另一方面，我在哲學(xué)上如此支持開源的原因之一是，我認(rèn)為未來如果人工智能過度集中化，其潛在風(fēng)險(xiǎn)可能不亞于它的廣泛傳播。許多人都在思考：“如果我們能夠做到這些，那么這些技術(shù)在社會(huì)上的廣泛應(yīng)用是否會(huì)成為壞事？”同時(shí)，另一個(gè)值得思考的問題是，如果一個(gè)機(jī)構(gòu)擁有比其他所有人更強(qiáng)大的人工智能，這是否也是一件壞事？
我想到一個(gè)安全類比，許多不同的事物中存在如此多的安全漏洞。如果你能回到一兩年前，假設(shè)你只是多了一兩年關(guān)于安全漏洞的知識(shí)。你幾乎可以侵入任何系統(tǒng)。這不是人工智能。所以相信一個(gè)非常智能的人工智能可能能夠識(shí)別一些漏洞，基本上就像一個(gè)人類可以回到一兩年前并破壞所有這些系統(tǒng)，這并非完全是天方夜譚。
那么我們作為一個(gè)社會(huì)是如何應(yīng)對(duì)這種情況的呢？一個(gè)重要部分是開源軟件，它使得當(dāng)軟件得到改進(jìn)時(shí)，它不會(huì)只局限于一個(gè)公司的產(chǎn)品，而是可以廣泛部署到許多不同的系統(tǒng)中，無論是銀行、醫(yī)院還是政府的東西。隨著軟件變得更加強(qiáng)大，這是因?yàn)楦嗟娜丝梢钥吹剿?，更多的人可以敲打它，關(guān)于這些東西如何工作有一些標(biāo)準(zhǔn)。世界可以一起很快升級(jí)。
我認(rèn)為，在一個(gè)人工智能被非常廣泛部署的世界里，它已經(jīng)隨著時(shí)間的推移逐步得到強(qiáng)化，所有不同的系統(tǒng)都會(huì)以某種方式受到制約。在我看來，這從根本上比這種情況更集中要健康得多。所以各方面都有風(fēng)險(xiǎn)，但我認(rèn)為這是一種我沒聽到人們談?wù)摰媚敲炊嗟娘L(fēng)險(xiǎn)。有人工智能系統(tǒng)做壞事的風(fēng)險(xiǎn)。但我整夜擔(dān)心的是，一個(gè)不值得信賴的行為者擁有超級(jí)強(qiáng)大的人工智能，無論是敵對(duì)的政府、不值得信賴的公司還是其他什么。我認(rèn)為這可能是一個(gè)大得多的風(fēng)險(xiǎn)。
主持人：最后一個(gè)問題。這完全是題外話，如果你被任命為Google+的CEO，你能讓它成功嗎?
扎克伯格：Google+？哦。好吧，我不知道。我不知道，這是一個(gè)非常困難的反事實(shí)。
主持人：好的，那真正的最后一個(gè)問題是：當(dāng)Gemini推出時(shí)，辦公室里有人說過 “Carthago delenda est”（迦太基必須被摧毀）嗎?
扎克伯格：不，我想我們現(xiàn)在更溫和了。這是個(gè)好問題。問題是Google+沒有CEO。它只是公司內(nèi)部的一個(gè)部門。你之前問過什么是最稀缺的商品，但你問的是美元方面的問題。我實(shí)際上認(rèn)為，對(duì)于大多數(shù)這種規(guī)模的公司來說，最稀缺的是專注。
當(dāng)你是一家初創(chuàng)公司時(shí)，也許你在資金方面更受限制。你只專注于一個(gè)想法，你可能沒有所有的資源。在某個(gè)時(shí)候，你會(huì)跨越一個(gè)門檻，進(jìn)入你所做事情的本質(zhì)。你正在構(gòu)建多個(gè)東西，你在它們之間創(chuàng)造了更多價(jià)值，但你在能夠投入其中的精力上變得更加受限。
總有一些情況，組織中會(huì)隨機(jī)發(fā)生一些很棒的事情，而我甚至都不知道。那些都很棒。但我認(rèn)為一般來說，組織的能力在很大程度上受到CEO和管理團(tuán)隊(duì)能夠監(jiān)督和管理的內(nèi)容的限制。這對(duì)我們來說一直是一個(gè)重點(diǎn)。正如本·霍洛維茨所說，我們應(yīng)該把主要的事情放在首位，并盡量專注于你的關(guān)鍵優(yōu)先事項(xiàng)。
主持人：非常感謝。馬克，你做得太棒了。
本文部分中文翻譯信息源來自中國企業(yè)家雜志、華爾街見聞、Kimi智能助手等。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論