2022年12月22-23日，2022T-EDGE全球創(chuàng)新大會暨鈦媒體十年致敬盛典在中國北京舉辦，本次大會主題為“十年致敬·生態(tài)重塑”，邀請全球創(chuàng)新領(lǐng)袖一起復(fù)盤過去十年產(chǎn)業(yè)變革的跌宕起伏，展望下一個十年經(jīng)濟發(fā)展的核心動能。
12月22日，美國國家工程院外籍院士、北京智源人工智能研究院理事張宏江在鈦媒體2022T-EDGE大會上發(fā)表了《ChatGPT和AIGC：Al 大模型發(fā)展和機遇》的主題演講。
張宏江在演講中表示，ChatGPT和AIGC（生成式人工智能）技術(shù)爆火背后，代表著人工智能（AI）大模型進入一個新的技術(shù)范式，同時也是第三波 AI 浪潮經(jīng)過十幾年發(fā)展之后一個非常重要的拐點。
據(jù)悉，早在1956年夏天，計算機科學家約翰·麥卡錫（John McCarthy）等人在具有傳奇色彩的“達特茅斯會議”上創(chuàng)造“人工智能”這個術(shù)語，被認為標志著 AI 的正式誕生。在之后半個世紀當中，計算機技術(shù)飛速進步，AI 也影響著全世界的技術(shù)變革與發(fā)展。
全球共經(jīng)歷了三次 AI 浪潮。相對于前兩次浪潮由于數(shù)據(jù)量不夠、算法不強、商業(yè)化不如預(yù)期等因素，讓所有人期盼的十年“AI 效應(yīng)”看法泡沫破滅。如今第三次 AI 浪潮，AI 算法、算力、數(shù)據(jù)“三駕馬車”同步突破，尤其是如今的 AI 大模型帶來的發(fā)展機會和機遇。
此次演講中，張宏江圍繞基于GPT-3技術(shù)的ChatGPT、AIGC的前沿趨勢、技術(shù)應(yīng)用，從而詳細闡述 AI 大模型的產(chǎn)業(yè)發(fā)展機會與機遇。
首先，OpenAI 開發(fā)的GPT-3技術(shù)，基于Transformer預(yù)訓練語言模型架構(gòu)、深度學習網(wǎng)絡(luò)架構(gòu)發(fā)展進步，向我們展示了從算法到工程上的一系列突破，是工程化能力的典型代表。
從對話式文本問答平臺ChatGPT模型來看，基于WebGPT和InstructGPT的技術(shù)研究突破，ChatGPT讓我們對于人機對話有了一個完全性理解，既能作文，又能考試，還能寫程序，而且能夠擁有持續(xù)對話的能力。
從 AIGC 技術(shù)來看，從OpenAI 2021年1月發(fā)布的DALL·E 1.0開始，按照一段文字、個人風格，通過 AI 大模型生成圖像的方法風靡全球，代表了當前文圖生成的最新算法，實現(xiàn)了 AI 技術(shù)的新突破。最近幾個月出現(xiàn)的Stable Diffusion是目前最好的技術(shù)。
在國內(nèi)，北京智源人工智能研究院于今年11月開發(fā)了AltDiffusion，以及開源文生圖系統(tǒng)FlagStudio等，將生成式模型進行了本地化，以及用文字+圖片形式產(chǎn)生新圖片的創(chuàng)新方案，從而實現(xiàn)技術(shù)進步。
“它其實代表著從以前‘大煉模型’（各自研發(fā)專用小模型），到‘煉大模型’（研發(fā)超大規(guī)模通用智能模型）的一個范式轉(zhuǎn)變。這個轉(zhuǎn)變有很重要的意義：通過這種比較先進的算法架構(gòu)，盡量整個可能多的數(shù)據(jù)，匯集大量算力，集約化的訓練達模式，從而供大量用戶使用。”張宏江表示，大模型的發(fā)展很可能會改變信息產(chǎn)業(yè)的格局，改變以前作坊式 AI 開發(fā)模式，把 AI 應(yīng)用帶入基于互聯(lián)網(wǎng)、云計算的大規(guī)模智能云階段。
張宏江在總結(jié)中稱，盡管過去幾年 AI 技術(shù)行業(yè)碰到了一些技術(shù)瓶頸和商業(yè)化難題，但這種狀況會隨著大模型的發(fā)展和普及，尤其是通過大模型+微調(diào)的新技術(shù)開發(fā)范式，將能夠使人工智能的能力，更好、更有效的應(yīng)用到各個場景里面，從而大大降低開發(fā)成本。
張宏江強調(diào)，由于ChatGPT、AIGC等AI大模型技術(shù)不斷成熟，未來會帶來新的創(chuàng)業(yè)機會，包括更好的對話機器人、更好的機器翻譯，更好的創(chuàng)作平臺。
“大模型是一個快速發(fā)展、快速引爆市場的機會型技術(shù)，將會帶來新一波創(chuàng)業(yè)熱潮，無論是我們今天已經(jīng)看到的應(yīng)用，還是未來會看到的應(yīng)用，都將會有非常大的潛力。”張宏江在演講的最后這樣表示。
各位嘉賓，各位鈦媒體的朋友，大家早上好。我是智源人工智能研究院理事長 張宏江。
最近，大模型開始從學術(shù)界“燒”到了產(chǎn)業(yè)界，現(xiàn)在又“燒”到了大眾媒體，尤其是人工智能生成模型（AIGC）的熱度還沒有褪去，然后ChatGPT的熱又一波接著一波。
那么，最近人工智能到底發(fā)生了什么大的變化？這背后的原因是什么？這些技術(shù)能夠用來做什么？又將為我們的生活和工作帶來什么？為中國的產(chǎn)業(yè)帶來什么？我在這里結(jié)合智源人工智能研究院的一些工作，和大家分享一下我的理解和看法，尤其是針對ChatGPT和AIGC帶來 AI 大模型的發(fā)展機會和機遇。
過去這兩年，技術(shù)大模型已經(jīng)成為人工智能快速發(fā)展的關(guān)鍵技術(shù)，各大企業(yè)和高校、各個研究機構(gòu)在這個領(lǐng)域上都進行了布局和發(fā)力，各個領(lǐng)域的模型層出不窮。所以，大模型的研究和應(yīng)用也將會逐步成為人工智能發(fā)展的一個關(guān)鍵方向，從而形成了新一波人工智能浪潮。尤其在應(yīng)用領(lǐng)域，我相信會形成一個非常持久的浪潮。
自GPT-3于2020年5月份發(fā)布開始，智源“悟道”在不到一年后的2021年6月發(fā)布，是當時世界上最大的1.7萬億模型。隨后的一年多來，我們看到有更多的大模型研究出來。尤其是DALL·E模型和ChatGPT模型，來宣告“大模型”進入了一個新的高地。
從各個研究機構(gòu)發(fā)布的技術(shù)模型數(shù)量來看，“大模型”數(shù)量在持續(xù)增加，而且模型規(guī)模也越來越大，這背后其實有它非常深遠的技術(shù)和學術(shù)背景。
首先，從基礎(chǔ)技術(shù)角度看預(yù)訓練大模型的發(fā)展，回顧一下它的技術(shù)積累。
其實在15年前，深度學習逐步快速發(fā)展的時候，當時我們實際上處于一個探索的階段，因為構(gòu)建深度學習的主要方式就是監(jiān)督學習，這中間需要大量的人工標注的數(shù)據(jù)。而數(shù)據(jù)的生產(chǎn)周期長，而且也非常昂貴。那么，如何能夠通過有限的人工標注，在特定的任務(wù)上構(gòu)建更有效的神經(jīng)網(wǎng)絡(luò)，或是自動產(chǎn)生大量的數(shù)據(jù)，這其實是我們一直在研究的問題。
隨著深度學習技術(shù)發(fā)展，在大概七八年前，就出現(xiàn)了遷移學習技術(shù)，就是從過去學習的知識上不用再開始訓練，如果用新的數(shù)據(jù)加上去之后，再將已經(jīng)捕獲的知識遷移到一個新的目標或新的應(yīng)用上去。這兩塊是我們今天大模型非常重要的技術(shù)基礎(chǔ)——傳統(tǒng)的“監(jiān)督學習”逐步變成“強化學習”。
另外，我們往往會忽略掉，人們認為，“大模型”的快速發(fā)展主要原因是學術(shù)發(fā)展比較快。但實際上，不止是學術(shù)發(fā)展，更重要的是“大模型”通過標注好的數(shù)據(jù)進行學習。這其實是過去幾年非常大的變化。另兩個很大的變化是：算法、算力的要求上。
所以我們說，深度學習主要有三個因素：數(shù)據(jù)、算法和算力。
算法的進展我就不多講。但數(shù)據(jù)的進展在過去十幾年里是非?？焖俚?mdash;—從一個最開始的人工標注，到開放的數(shù)據(jù)集分享，再到數(shù)據(jù)自動標注和生成式研究。而技術(shù)進展到了最近五年，我們開始把數(shù)據(jù)變成了“云服務(wù)”，從而建立起了數(shù)據(jù)標注、處理、存儲管理一體的云數(shù)據(jù)中心。這對于人工智能的發(fā)展具有非常重要的推動作用。
另外一方面，我們從一開始推動 AI 專用芯片，比如英偉達的GPU（圖形處理器），到后來推動大規(guī)模分布式計算環(huán)境，再到我們今天已經(jīng)有的大規(guī)模、高性能 AI 算力中心。這兩塊一個是數(shù)據(jù)，一個是專利，這中間是不可缺少的。而且，今天在整個過程中間，我們意識到另外一點，就是以前認為的基于深度學習的人工智能技術(shù)的基礎(chǔ)研究，取得了一些算法的突破。
更重要的是，“大模型”到了現(xiàn)在這個階段，工程化能力是非常重要的，尤其是GPT-3，向我們展示了從算法到工程上的一系列突破。
GPT-3大模型是（工程化能力）典型代表。從算法架構(gòu)來看，它是建立在神經(jīng)網(wǎng)絡(luò)架構(gòu)Transformer基礎(chǔ)之上的。它克服了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)技術(shù)用淺層的預(yù)訓練網(wǎng)絡(luò)來捕捉單詞，并無法解決一詞多義等問題缺陷，而是優(yōu)化了類人腦的一個學習過程。它在學習過程中間關(guān)注于重點而非全部，從而使得它的學習效率非常高。
隨著模型規(guī)模的變化，基于Transformer預(yù)訓練語言模型架構(gòu)——這種隱含的豐富語言知識，從而使得它能夠在眾多下游NLP任務(wù)中間有驚人的表現(xiàn)。在此之前，谷歌的BERT就是建立在Transformer基礎(chǔ)上的，而OpenAI 的 GPT這一類模型也都是建立在這基礎(chǔ)之上的。所以，Transformer是這里面（GPT-3）的核心所在，而且是近三年我們看到大模型發(fā)展最核心的深度學習架構(gòu)。
那么，GPT-3的出現(xiàn)有幾個里程碑式的意義：一是凸顯了Transformer生成式模型的學習能力；二是1750億模型規(guī)模非常大，其模型在小樣本和0樣本中的學習中間表現(xiàn)出了突出性能；三是GPT設(shè)計理念像語言學習（Language Learning）這種概念，也就是學習過程關(guān)注重點而非全部，有效利用數(shù)據(jù)進行核心學習，而非此前那種利用標注數(shù)據(jù)進行的深度學習過程。
事實上，今天GPT-3的學習過程的數(shù)據(jù)要求非常大，1750億參數(shù)量，約有700G大小，一次訓練成本大致花1200萬美金。所以，大模型的發(fā)展不光是算法上的進步，在數(shù)據(jù)、算力上的要求也非常巨大。而大模型中有GPT-3這一類模型的話，核心優(yōu)勢是利用這種模型進行微調(diào)就可以用了，用來做一些新的任務(wù)，這是以前模型所不具備的。
接下來，我們看一下 GPT-3在語言能力上的突破。
無論是最早的英文GLUE Benchmark，還是后來的寫作，它都有了非常好的突破。因為這種大模型里面隱含大量支持，對這些知識支持模型進行一些推理層面的任務(wù)，并得到了非常好的效果。比如，中文寫一篇關(guān)于個性化搜索未來發(fā)展趨勢的論文，或1801年的美國總統(tǒng)是誰等，它從中間學會后記憶，并用在未來場景里面。
另外，GPT-3在中文的文言文理解能力也讓人驚嘆。這段來自于孟子的文言文是北京市小升初的題目，而GPT-3能夠非常好的理解它。
GPT-3發(fā)布之后，OpenAI 發(fā)布ChatGPT，簡直就是讓我們對于人機對話有了一個完全性理解。實際上，ChatGPT就是為對話而優(yōu)化、在GPT-3基礎(chǔ)上優(yōu)化的一個大語言模型，它在寫故事、寫代碼，甚至參加SAT考試，都比GPT-3有非常大的進步。值得注意的是，它在SAT試題的回答是練習10次之后的水平，最終在數(shù)學滿分800分中達到600分，寫作滿分800分中拿到520分，相當了不起。
所以，馬斯克驚呼ChatGPT好的嚇人，他甚至預(yù)測危險的強 AI 離我們不遠了。實際上，ChatGPT確實在對話方面達到了一個新的高端，完全可以以假亂真，至少是記憶和學習能力超強的“超級鸚鵡”。
那么，ChatGPT為什么能夠有這樣的能力？
我們知道，GPT-3已經(jīng)是針對于語言的大模型。而OpenAI又在其基礎(chǔ)上做了兩個方向的研究：一是WebGPT，搭建基于文字的頁面瀏覽環(huán)境，教GPT-3上網(wǎng)查詢，再生成結(jié)果的同時生成引用來源，相對GPT-3大幅提升生成內(nèi)容信息量和事實性；二是InstructGPT，基于用戶反饋的強化學習RLHF，將語言模型的輸出與用戶的意圖非常好的align（對齊/相關(guān)）起來。這是InstructGPT的核心所在。
ChatGPT恰恰是建立在InstructGPT基礎(chǔ)之上的。之前深度學習，包括最早出現(xiàn)CNN/RNN到Transformer的框架，然后才出現(xiàn)GPT?；剡^來看，其實還是Transformer的出現(xiàn)，使我們今天在深度學習網(wǎng)絡(luò)架構(gòu)上有了新的突破。
ChatGPT既能作文，又能考試，還能寫程序。它的核心特點在于其持續(xù)對話能力，能夠記住歷史信息和人的反饋，保持對話的一致性，容許用戶提供后續(xù)更正。他會意識到而且會挑戰(zhàn)你，做到了“知之為知之，不知為不知，是知也”，它也承認錯誤后進一步改進。而且其核心能力在于持續(xù)的迭代，大幅度提高用戶意圖理解和結(jié)果準確性，這就是InstructGPT特點與能力。
當然，ChatGPT也有一些局限性，可能產(chǎn)生不正確的信息，也可能產(chǎn)生一些有害指令或是偏見內(nèi)容，而且它的訓練數(shù)據(jù)大部分是2021年以前的，所以過去6個月發(fā)生的事情它了解很有限，我覺得這些其實很正常。
接著，我們來聊聊AIGC（生成式人工智能）模型——按照一段文字、個人風格來生成圖像。
這一技術(shù)早在2021年1月（一年多），OpenAI 發(fā)布 DALL·E 1.0開始的，它核心就是不斷學習文字和圖像之間的匹配關(guān)系。自從DALL·E出現(xiàn)之后，又有一系列模型出現(xiàn)，最近幾個月出現(xiàn)的Stable Diffusion是目前最好的技術(shù)。
智源研究院在這個基礎(chǔ)上做了一些改善，于2022年11月公布中文模型AltDiffusion，效果比Stable的標準要更好。
無論是Stable，還是其他一些文字生成圖像模型，原理都是通過圖片離散編碼，然后將圖像的Token和文字的Token作為Transformer decoder進行輸入，然后將大量圖片與文字對上。而一開始，DALL·E產(chǎn)生的圖像還是相對來說比較簡單，那么在此基礎(chǔ)上，Stable就把它的能力提高一大截。
需要提及的是，DALL·E是以皮克斯的WALL-E 和西班牙超現(xiàn)實主義畫家薩爾瓦多·達利（Salvador Dalí）的名字命名。
下面，我用智源的多語言生成模型AltDiffusion，來說一下Stable Diffusion以及我們AltDiffusion最近的一些工作。
開源的Stable Diffusion近幾個月出現(xiàn)之后，風靡了整個圈子，實際上代表了當前智能文圖生成的最新算法。它用AItCLIP替換了Stable Diffusion中的文本塔，使得模型可以支持多種語言，并在多語言圖文對數(shù)據(jù)集上進一步訓練。
實際上，這個不是靠人來做，而是靠機器來做，本身說話是一個很重要的技術(shù)。原理上，我們AltDiffusion對它進行了一些改善，所以它對于中文的理解就會更好，比如把中文的畫風也引進來。同時，它還支持除了中文以外的其他九種語言，包括法語、韓語、西班牙語、俄語、意大利語、阿拉伯語等。而且，不只有這些語料，很重要的是它在模型里面做了一些改善。
當然，它也有一些很有意思的現(xiàn)象，就是對于不同語言、同樣內(nèi)容的模型輸入，會有很大差異，其實中間也反映出了文化差異。那么，我們的模型能夠適應(yīng)于這一點，本身也是一個很好的技術(shù)問題。
好，這里我給大家看一下智源研究院的開源文生圖系統(tǒng)FlagStudio。你注意看界面的話，可以選擇繪畫風格，以及藝術(shù)家風格，根據(jù)某個藝術(shù)家來定義畫風，比如這塊選擇的是虛擬引擎，畫出來虛幻圖片，用文字來描述你想要什么解答。另外就是用一個文字離開描述，比如一籃子蘋果它給你生成一個蘋果，如果描述改成梨就是能生成對應(yīng)風格，產(chǎn)生新的圖像。而且，不光是用文字來產(chǎn)生圖片，而且用文字+圖片形式可以產(chǎn)生新的圖片，這是該模型能夠做的、也是現(xiàn)在生成式模型的一個很大進步。
團隊用我的照片來做實驗，然后做了一個開源的系統(tǒng)，通過我不同時期的6幅照片，根據(jù)不同風格要求，產(chǎn)生新的圖像，風格也多變，有的就比較年輕帥氣，有的就形象老態(tài)等。
我在前面很快介紹了大模型的發(fā)展，尤其是ChatGPT和AIGC技術(shù)的發(fā)展和其具備的能力。那么，下面我花幾分鐘時間來談一下這些大模型，對于產(chǎn)業(yè)的影響在哪里？
實際上，大模型代表了一個新的技術(shù)范式。我們可以做個比喻，它其實代表著從以前“大煉模型”（各自研發(fā)專用小模型），到“煉大模型”（研發(fā)超大規(guī)模通用智能模型）的一個轉(zhuǎn)變。這個轉(zhuǎn)變有很重要的意義：通過這種比較先進的算法架構(gòu)，盡量整個可能多的數(shù)據(jù)，匯集大量算力，集約化的訓練達模式，從而供大量用戶使用。
所以大家可以注意到，從某種意義上來說，它是從小農(nóng)經(jīng)濟到大規(guī)模生產(chǎn)的一個很重要的變化，就像當初電網(wǎng)的變革一樣，此前自己發(fā)電，而今天要用 AI，就不需要再做模型了，而是用已有的大模型，以一種服務(wù)方式提供給用戶。這很可能會改變信息產(chǎn)業(yè)的格局，改變以前作坊式 AI 開發(fā)模式，把 AI 應(yīng)用帶入基于互聯(lián)網(wǎng)、云計算的大規(guī)模智能云階段。
那么，它的重要性、優(yōu)勢在哪兒？我認為是有技術(shù)和產(chǎn)業(yè)的雙重優(yōu)勢。很重要的一點在于，通過微調(diào)方式把大模型能力，能夠有效轉(zhuǎn)移到各種不同的應(yīng)用場景中間，不再需要自己重新從0開始做模型，從而大大降低開發(fā)成本，使得它的應(yīng)用會變得更加迅速、更加有效。
最近，IDC的一篇報告曾指出，超大模型將是快速引爆市場機會型的技術(shù)，這點我完全同意。
實際上，大模型是人工智能這一波浪潮，經(jīng)過十幾年發(fā)展之后的一個非常重要的拐點。下面我結(jié)合自己的體會，分享一下我對這個產(chǎn)業(yè)影響的一些看法。
從應(yīng)用場景上來看，文本生成或是圖文生成的模型，會很快應(yīng)用到各種各樣的場景（應(yīng)用）中間。今天我們已經(jīng)看到了剛才演示的文生圖幾個場景。其實大家可以想象，那么它可以用來做一系列應(yīng)用，更不用說寫GPT-3、ChatGPT的寫作能力、問答能力等。
我相信，由于這些（DALL·E、ChatGPT等）大模型技術(shù)本身不斷成熟，會帶來新的創(chuàng)業(yè)機會，包括更好的對話機器人、更好的機器翻譯，更好的創(chuàng)作平臺。
另外一方面，這些大模型會帶來一些 AI 基礎(chǔ)設(shè)施創(chuàng)業(yè)的可能性，包括垂直性訓練、大模型運營管理訓練等。在美國有一家公司發(fā)展比較快，叫做Hugging Face，專門做大模型的訓練和推廣，尤其是一些開源的推廣。
在應(yīng)用方面的話，其實中國發(fā)展速度也很快。雖然目前發(fā)展狀況是國外的頭部企業(yè)引領(lǐng)技術(shù)和商業(yè)應(yīng)用，國內(nèi)可能會落后兩年，但是，中國的落地能力非常強。
不過比較悲催的是，實際上，從學術(shù)技術(shù)研究方面看，OpenAI 公司在過去三年獨領(lǐng)風騷，無論是從GPT-1、GPT-2、GPT-3，尤其是GPT-3和ChatGPT出來之后，從研究角度來說它搭好了框架，占據(jù)了第一位置。雖然其他人這兩年做了很多模型，但從學術(shù)角度來看，其實我們都是在給它“補漏”。也就是說，在給它打工。
那么從學術(shù)角度來說，這其實要呼喚中國的學術(shù)原創(chuàng)性、學術(shù)創(chuàng)新能力。
但是從應(yīng)用角度來看，文本生成、圖像生成、音頻生成、視頻生成、虛擬人、元宇宙等場景，只要國外有的公司，中國都有比它更多的公司。而且我相信，中國的落地能力、應(yīng)用場景一定會比他們走的更快。
此外，我們除了講的ChatGPT和 AIGC生成模型之外，其實大模型還有更多質(zhì)變潛力，尤其是我們今天看到，包括大模型在內(nèi)的人工智能技術(shù)，在生命科學、材料科學、能源科學和環(huán)境健康等方面，都可以利用大模型來生成、驅(qū)動新的研究發(fā)現(xiàn)。尤其在 AI 制藥、材料設(shè)計等領(lǐng)域，AI都有非常好的前景，而且已經(jīng)開始落地。
最后，總結(jié)一下，我們認為，大模型實際上是 AI 第三波浪潮的一個拐點。
相比之前第一波和第二波浪潮，如今第三波浪潮，就是以深度學習、神經(jīng)網(wǎng)絡(luò)為代表的大概15年前開始的浪潮。
那么其實，過去幾年，這一波浪潮已經(jīng)碰到了一些技術(shù)瓶頸和商業(yè)化難題，使得我們 AI 企業(yè)的商業(yè)化非常不順，高估值泡沫逐漸破裂，而且一些上市公司的技術(shù)找不到核心應(yīng)用，或者說在核心應(yīng)用上無法進行突破，那么從而使得它的 AI 技術(shù)賦能和增值情況都很有限。
但如今，這種狀況會隨著大模型的發(fā)展和普及，尤其是通過大模型+微調(diào)的新技術(shù)開發(fā)范式，將能夠使人工智能的能力，更好、更有效的應(yīng)用到各個場景里面去，而不需要每家企業(yè)/機構(gòu)都要開發(fā)自己的模型，從而大大降低了開發(fā)成本。
所以，大模型是一個快速發(fā)展、快速引爆市場的機會型技術(shù)，將會帶來新一波創(chuàng)業(yè)熱潮，無論是我們今天已經(jīng)看到的應(yīng)用，還是未來會看到的應(yīng)用，都將會有非常大的潛力。
好，謝謝大家。今天講到這兒。（本文首發(fā)鈦媒體App）
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論
離大規(guī)模應(yīng)用很長遠，不過指日可待了
AI很棒！