零一萬(wàn)物回應(yīng)“抄襲LLaMA”:尊重開(kāi)源社區(qū)反饋,將更新代碼
鈦媒體App 11月14日消息,李開(kāi)復(fù)旗下AI企業(yè)零一萬(wàn)物開(kāi)源大模型被指責(zé)完全使用LLaMA的架構(gòu),只對(duì)兩個(gè)張量(Tensor)名稱進(jìn)行修改。對(duì)此,零一萬(wàn)物表示:GPT是一個(gè)業(yè)內(nèi)公認(rèn)的成熟架構(gòu),Llama在GPT上做了總結(jié)。零一萬(wàn)物研發(fā)大模型的結(jié)構(gòu)設(shè)計(jì)基于GPT成熟結(jié)構(gòu),借鑒了行業(yè)頂尖水平的公開(kāi)成果,由于大模型技術(shù)發(fā)展還在非常初期,與行業(yè)主流保持一致的結(jié)構(gòu),更有利于整體的適配與未來(lái)的迭代。同時(shí)零一萬(wàn)物團(tuán)隊(duì)對(duì)模型和訓(xùn)練的理解做了大量工作,也在持續(xù)探索模型結(jié)構(gòu)層面本質(zhì)上的突破。零一萬(wàn)物也表示,在大量訓(xùn)練實(shí)驗(yàn)過(guò)程中,由于實(shí)驗(yàn)執(zhí)行需求對(duì)代碼做了更名,將尊重開(kāi)源社區(qū)的反饋,將代碼進(jìn)行更新,也更好的融入 Transformer 生態(tài)。
本文內(nèi)容僅供參考,不構(gòu)成投資建議,請(qǐng)謹(jǐn)慎對(duì)待。
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求,請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論