創(chuàng)新工場董事長兼CEO、零一萬物CEO李開復(fù)博士
鈦媒體App獲悉，11月5日上午，知名投資人、創(chuàng)新工場董事長兼CEO李開復(fù)博士帶隊(duì)創(chuàng)辦 AI 2.0大模型公司“零一萬物”（01.AI），正式發(fā)布首款研發(fā)的最強(qiáng)開源人工智能（AI）大模型系列，名為“Yi”。
此次 Yi 系列基礎(chǔ)模型的首個(gè)公開版本包括兩款：Yi-6B（數(shù)據(jù)參數(shù)量為60億）、Yi-34B（340億），均是雙語（英文/中文）、支持開源。其中，Yi-34B模型在多項(xiàng)評測基準(zhǔn)中全球領(lǐng)跑，基于超強(qiáng)Infra下模型訓(xùn)練成本實(shí)測下降40%，模擬千億規(guī)模訓(xùn)練成本可下降多達(dá)50%，并以更小模型尺寸的基準(zhǔn)結(jié)果超過LLaMA2-34B/70B、Falcon-180B等大尺寸開源模型，以及百川智能（王小川創(chuàng)立）的Baichuan2-13B。
創(chuàng)新工場董事長兼CEO、零一萬物CEO李開復(fù)表示，“零一萬物堅(jiān)定進(jìn)軍全球第一梯隊(duì)目標(biāo)，從招的第一個(gè)人，寫的第一行代碼，設(shè)計(jì)的第一個(gè)模型開始，就一直抱著成為‘World's No.1’的初衷和決心。我們組成了一支有潛力對標(biāo) OpenAI、Google等一線大廠的團(tuán)隊(duì)，經(jīng)歷了近半年的厚積薄發(fā)，以穩(wěn)定的節(jié)奏和全球齊平的研究工程能力，交出了第一張極具全球競爭力的耀眼成績單。Yi-34B可以說不負(fù)眾望，一鳴驚人。”
“隨著團(tuán)隊(duì)到位，今年6、7月份開始寫第一行代碼，短短四個(gè)月做了非常自豪的產(chǎn)品。我們是‘不鳴則已，一鳴驚人’。所以‘一鳴驚人’之后，如果我們過半年甚至過一年回頭看，今天對我們來說只是剛剛開始，我們還會(huì)不斷的去開發(fā)、推動(dòng)、宣布更多令人驚艷的成果。”李開復(fù)表示。
鈦媒體App還了解到，后續(xù)，Yi系列也將推出專長代碼和數(shù)學(xué)的訓(xùn)練模型。此外，目前零一萬物已驚啟動(dòng)100B（1000億）參數(shù)的訓(xùn)練，有望近幾個(gè)月內(nèi)發(fā)布，未來還有望推出基于 AI 2.0 的超級應(yīng)用等技術(shù)產(chǎn)品。
據(jù)悉，早在今年3月19日，李開復(fù)發(fā)文宣布入局 AI 大模型領(lǐng)域，親自籌辦新Project AI 2.0公司，稱是一個(gè)致力于打造AI 2.0 全新平臺(tái)與AI-first生產(chǎn)力應(yīng)用的全球化公司。“這是一家由技術(shù)愿景驅(qū)動(dòng)、擁有卓越中國工程底蘊(yùn)的創(chuàng)新企業(yè)，在全球范圍號召世界級人才加入。”他表示。
隨后在7月初，李開復(fù)創(chuàng)辦；額最新 AI 大模型創(chuàng)業(yè)公司“零一萬物”，同時(shí)這也是創(chuàng)新工場“塔尖孵化”的第7家公司，總部位于北京，零一萬物由李開復(fù)博士親自掛帥、任CEO。該公司主要圍繞精進(jìn)模型、預(yù)訓(xùn)練框架技術(shù)等七個(gè)方向進(jìn)行研究，致力打造全新的 AI 2.0，理念就是AI-first，驅(qū)動(dòng)力是技術(shù)愿景，技術(shù)專家擁有多家中外科技大廠、博士學(xué)位等背景。
李開復(fù)當(dāng)時(shí)表示，零一即01，代表的是數(shù)字世界，從零到一，乃至宇宙萬物，寓意 “零一智能，萬物賦能” 的雄心，并稱這是李開復(fù)“擼起袖子”親自帶隊(duì)，“塔尖孵化”了一家AI 2.0公司，歷經(jīng)了三個(gè)月的籌辦期。零一萬物稱，其認(rèn)為 AI 應(yīng)當(dāng)以人為本，Human（人類）+ AI 將合作創(chuàng)造巨大的經(jīng)濟(jì)價(jià)值及社會(huì)價(jià)值。
此前在2023年中關(guān)村論壇上，李開復(fù)就對鈦媒體App等表示，以GPT-4等大模型為代表的生成式 AI 熱度在全球蔓延，意味著AI 2.0時(shí)代已經(jīng)到來，它將帶來比移動(dòng)互聯(lián)網(wǎng)時(shí)代大十倍的機(jī)會(huì)，穿透各行各業(yè)極大地提振生產(chǎn)力。“我們預(yù)測，全新的 AI 2.0平臺(tái)將能有效幫助提升人類生產(chǎn)力，創(chuàng)造巨大的經(jīng)濟(jì)價(jià)值及社會(huì)價(jià)值。”
“大模型的技術(shù)門檻很高，非常需要整合一個(gè)兼具科研能力和開發(fā)實(shí)力的高效團(tuán)隊(duì)，制定貫徹公司的技術(shù)和產(chǎn)品戰(zhàn)略，從上到下一致執(zhí)行。”李開復(fù)認(rèn)為，零一萬物將專注打造AI 2.0時(shí)代的平臺(tái)及生產(chǎn)力應(yīng)用生態(tài)，創(chuàng)新工場愿景是把零一萬物打造為一家向全球展現(xiàn)其研發(fā)及工程能力的世界級公司。
團(tuán)隊(duì)方面，此次零一萬物公布了零一萬物技術(shù)副總裁及AIInfra負(fù)責(zé)人戴宗宏，零一萬物技術(shù)副總裁及Pretrained負(fù)責(zé)人黃文灝兩位專家。其中，公開信息顯示，戴宗宏曾任職于阿里、華為，擔(dān)任華為云 AI 領(lǐng)域CTO；黃文灝則畢業(yè)于北京大學(xué)博士學(xué)位，曾在微軟研究院擔(dān)任高級研究員，并曾任職于北京智源 AI 研究院。
據(jù)介紹，此次發(fā)布的60億、340億參數(shù)量的Yi-6B、Yi-34B，兩者都以4K序列長度進(jìn)行訓(xùn)練，并且在推理期間可以擴(kuò)展到32K（3.2萬）量級，且支持開源，模型對學(xué)術(shù)研究完全開放，同步開放免費(fèi)商用申請。
同時(shí)，開源Yi系列大型模型還有兩個(gè)主要特點(diǎn)：一用更少的參數(shù)擊敗了具有上百億參數(shù)的模型；二支持全球最長的上下文窗口，可達(dá)40萬字符。
超長上下文窗口是體現(xiàn)大模型實(shí)力的一個(gè)重要維度，擁有更長的上下文窗口則能處理更豐富的知識庫信息，生成更連貫、準(zhǔn)確的文本，也能支持大模型更好處理文檔摘要/問答等任務(wù)。要知道，目前大模型的諸多垂直行業(yè)應(yīng)用中（如金融、法律、財(cái)務(wù)等），文檔處理能力是剛需。如GPT-4可支持32K、約2.5萬漢字，Claude 2可支持100K、約20萬字。
而Yi-34B還將大模型上下文窗口長度刷新到了200K，可處理約40萬漢字超長文本輸入。這相當(dāng)于能一次處理兩本《三體》小說、理解超過1000頁的PDF文檔等場景。所以，零一萬物不僅刷新了業(yè)界紀(jì)錄，同時(shí)也成為首家將超長上下文窗口在開源社區(qū)開放的大模型公司。
在Hugging Face開放單預(yù)訓(xùn)練模型排名中，Yi-34B以70.72分的成績?nèi)蚺琶谝?，超越了參?shù)量是其兩倍的LLaMA-70B和五倍的Falcon-180B。它不僅以較小的參數(shù)量登頂榜單，而且實(shí)現(xiàn)了跨數(shù)量級的逆襲，用百億級別的參數(shù)量擊敗了千億級別的大模型。特別是在MMLU（大規(guī)模多任務(wù)語言理解）和TruthfulQA（真實(shí)性基準(zhǔn)測試）兩個(gè)指標(biāo)上，Yi-34B都大幅領(lǐng)先于其他大模型。
目前，Yi系列模型已在 Hugging Face、ModelScope、GitHub 三大全球開源社區(qū)平臺(tái)正式上線，同時(shí)開放商用申請，給開發(fā)者在使用LLM的過程中提供更多、更優(yōu)質(zhì)的選擇。
而Yi-6B、Yi-34B的主要區(qū)分點(diǎn)在于，Yi-6B適合個(gè)人及研究用途，Yi-34B已經(jīng)具備大模型涌現(xiàn)能力，適合發(fā)揮于多元場景，滿足開源社區(qū)的剛性需求。
在交流中，談及算力，李開復(fù)表示，零一萬物很早就意識到了GPU（圖形處理器）芯片的重要性，已經(jīng)租賃了大量算力，而且與國內(nèi)很多云廠商、GPU云等方向上合作。
談及大模型商業(yè)化話題時(shí)，李開復(fù)表示，他認(rèn)為此前 AI 1.0商業(yè)化做的并不好，只是有博士、論文等，而資本市場最終要看企業(yè)能不能賺錢、收入是否能持續(xù)化。如今 AI 2.0時(shí)代，有更多的商業(yè)機(jī)會(huì)，一方面企業(yè)一定要AIl in AI、能夠?qū)崿F(xiàn)快速收入、產(chǎn)生好的利潤，另一方面也要做對標(biāo)微信、美團(tuán)的超級App，才能推動(dòng)大模型的商業(yè)化發(fā)展。
李開復(fù)曾公開表示，以基座大模型為突破的AI 2.0時(shí)代，將掀起技術(shù)、平臺(tái)到應(yīng)用多個(gè)層面的革命。如同Windows帶動(dòng)了PC普及，Android催生了移動(dòng)互聯(lián)網(wǎng)的生態(tài)，AI2.0將誕生比移動(dòng)互聯(lián)網(wǎng)大十倍的平臺(tái)機(jī)會(huì)，將把既有的軟件、使用界面和應(yīng)用重寫一次，也將誕生新一批AI-first的應(yīng)用，并催生由AI主導(dǎo)的商業(yè)模式。
李開復(fù)還在今天透露，在完成 Yi-34B 預(yù)訓(xùn)練的同時(shí)，目前，零一萬物已經(jīng)啟動(dòng)下一個(gè)千億參數(shù)模型的訓(xùn)練。
“零一萬物的數(shù)據(jù)處理管線、算法研究、實(shí)驗(yàn)平臺(tái)、GPU資源和 AI Infra 都已經(jīng)準(zhǔn)備好，我們的動(dòng)作會(huì)越來越快”。李開復(fù)表示，零一萬物希望有更多的開發(fā)者使用Yi系列模型，打造自己場景中的“ChatGPT”，引領(lǐng)下一代前沿創(chuàng)新和商業(yè)模型，探索走向通用 AI 時(shí)代。
（本文首發(fā)鈦媒體App，作者｜林志佳）
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請綁定手機(jī)號后發(fā)表評論