圖片來源@視覺中國
浪潮日前發(fā)布的巨量模型源1.0引起了業(yè)界專家的關(guān)注。據(jù)說該模型參數(shù)規(guī)模達(dá)到了2457億，訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5000GB。相比OpenAI 去年推出的GPT-3模型（1750億參數(shù)量，570GB訓(xùn)練數(shù)據(jù)集），源1.0參數(shù)規(guī)模領(lǐng)先40%，訓(xùn)練數(shù)據(jù)集規(guī)模領(lǐng)先近10倍。因此，浪潮源1.0也被稱為全球最大規(guī)模的人工智能巨量模型。
在源1.0發(fā)布當(dāng)日，浪潮還同步舉行了一個(gè)研討會(huì)，來自國內(nèi)自然語言理解領(lǐng)域的近20位專家、院士參加研討，就巨量模型的應(yīng)用前景與挑戰(zhàn)都發(fā)表了個(gè)人看法。
就像上文提到的，源1.0是用5000GB的中文數(shù)據(jù)集訓(xùn)練而來，所以源1.0本質(zhì)上是一個(gè)偏向于中文語言的巨量模型，且其未來應(yīng)用的突破點(diǎn)也主要會(huì)在NLP（自然語言處理）領(lǐng)域進(jìn)行先期切入。
在傳統(tǒng)的人工智能語言模型訓(xùn)練中，由于計(jì)算資源等各種條件限制，業(yè)界的語言模型往往針對(duì)某個(gè)小場(chǎng)景，通用性不強(qiáng)。而由于巨量模型采用的數(shù)據(jù)集夠大、形成的參數(shù)規(guī)模也夠大，最終模型的通用性也會(huì)比較高，是真正的“見多識(shí)廣”。
但由于巨量模型在前期訓(xùn)練的過程中需要消耗的計(jì)算資源太大，所以一般業(yè)界做這種嘗試的并不多。此前，全球已經(jīng)推出千億級(jí)巨量模型比較典型的是OpenAI 的GPT3模型，其參數(shù)模型達(dá)到了1750億。
據(jù)了解，源1.0參數(shù)量高達(dá)2457億，訓(xùn)練采用的中文數(shù)據(jù)集達(dá)5000GB,相比GPT3 1750億參數(shù)集、570GB訓(xùn)練數(shù)據(jù)，參數(shù)集規(guī)模提升了40%，訓(xùn)練數(shù)據(jù)規(guī)模提升近10倍。
巨量模型訓(xùn)練出來了，有什么價(jià)值，亮點(diǎn)在哪兒？我們拿AI作詩舉例。
一般情況下，讓人工智能寫一首詩之前，首先要有一個(gè)學(xué)習(xí)了大量唐詩宋詞的模型出來，人工智能才能自動(dòng)填詞。但是由于這個(gè)小模型只學(xué)習(xí)過唐詩宋詞的語料，如果撰寫文章，這類模型則很難完成。巨量模型就不同了，由于它提前學(xué)習(xí)的海量預(yù)料中包含了唐詩宋詞、各種文體作文、甚至還是有明星八卦，所以無論問它什么，它好像都能從容作答。
現(xiàn)場(chǎng)，浪潮人工智能研究院首席研究員吳韶華展示了它為源1.0的設(shè)置的指代、推理、理解等多方位的問題，比如完形填空，讓AI在空白處填寫正確的成語，它回答的都分毫不差。吳韶華也說，除此之外，巨量模型在寫300-500字的主題創(chuàng)作上，也能夠順利完成。也就是說，有了巨量模型，在不久的將來，讓成熟的文檔自己寫稿的日子或許真的指日可待了。
在過去4個(gè)月里，一群浪潮AI專家，把近5年互聯(lián)網(wǎng)內(nèi)容濃縮成2000億詞，讓AI在16天內(nèi)讀完，終于煉成了“源1.0”。源1.0的成果得到了在座專家的一致肯定。不過對(duì)于源1.0的應(yīng)用以及后續(xù)迭代上，大家也都毫不諱言。其中，受到關(guān)注最多的問題是，源1.0這樣的巨量模型怎么能夠跟產(chǎn)業(yè)場(chǎng)景結(jié)合，怎么能夠落地使用。
在場(chǎng)景落地上，巨量模型首要挑戰(zhàn)有兩個(gè)，一是能不能找到殺手級(jí)應(yīng)用；二是，巨量模型中包含的千億參數(shù)怎么在低功耗的情況下落地。
對(duì)于第一個(gè)挑戰(zhàn)，當(dāng)前業(yè)界還沒有最佳實(shí)踐可循，巨量模型的市場(chǎng)化表現(xiàn)還有待觀察。與會(huì)專家拋磚引玉指出，希望可以在中文輸入法、語音翻譯質(zhì)量（特別是方言場(chǎng)景）、謠言識(shí)別、智能客服、客戶端個(gè)性化推薦等場(chǎng)景上看到巨量模型有所作為。
不過也有專家指出，源1.0主要針對(duì)的是語言模型，但當(dāng)前實(shí)際業(yè)務(wù)中，多模態(tài)模型需求是個(gè)趨勢(shì)，他們希望源1.0不僅是針對(duì)中文文本的模型，在視頻、圖片、聲音等多模態(tài)語境甚至是多語種語境中也能有所作為。
對(duì)于巨量模型低功耗落地的問題，浪潮信息副總裁劉軍回應(yīng)稱，人工智能巨量模型在發(fā)展過程中，勢(shì)必會(huì)經(jīng)歷“把一本書讀厚，再把一本書讀薄”的過程。浪潮人工智能研究院正在基于對(duì)巨量模型規(guī)律的了解和掌握，用一些科學(xué)和技術(shù)方法在保證模型效果的情況下，降低參數(shù)，進(jìn)而降低使用功耗和在產(chǎn)業(yè)落地的門檻。“至于能不能降到像大家非常關(guān)心的在手機(jī)上用，我們今天不能保證，但是至少會(huì)朝著這個(gè)方向去做。”劉軍說。
從技術(shù)上來說，專家們也表達(dá)了對(duì)巨量模型的可解釋性和表現(xiàn)穩(wěn)定性上的期待，原因在于，在實(shí)際落地的過程中，巨量模型即使有90%的可靠性，另外10%的風(fēng)險(xiǎn)也會(huì)給實(shí)際應(yīng)用帶來業(yè)務(wù)上的挑戰(zhàn)。
當(dāng)然，源1.0模型的成功也讓學(xué)界和產(chǎn)業(yè)界都看到了巨量模型背后的奇妙之處。“為什么在學(xué)習(xí)了海量數(shù)據(jù)集之后，計(jì)算機(jī)可以自己解釋海量問題？它背后的計(jì)算肌理是否發(fā)生了變化？”這些問題都要留待更深入的研究。
“浪潮今天已經(jīng)把這個(gè)模型訓(xùn)練出來了，證明了效果，下一步會(huì)開放出來，讓學(xué)術(shù)界和產(chǎn)業(yè)界大家都去用。這樣使得我們?cè)谶@方面的巨量人財(cái)物的投入能夠成為學(xué)術(shù)界和產(chǎn)業(yè)界前進(jìn)助推劑。”劉軍總結(jié)。他相信，在學(xué)界和產(chǎn)業(yè)界的深入合作中，領(lǐng)先的智能模型、以及殺手級(jí)應(yīng)用一定能夠成為推進(jìn)社會(huì)智能化的一部分。（本文首發(fā)鈦媒體App，作者 | 秦聰慧）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論