圖片來源：視覺中國(guó)
文｜趙賽坡
深度學(xué)習(xí)儼然已經(jīng)是人工智能的代名詞，也是各家巨頭們爭(zhēng)奪的重點(diǎn)領(lǐng)域。自 2015 年開始，包括 Google、百度、Facebook 等巨頭公司先后開源了旗下的深度學(xué)習(xí)框架，旨在吸引更多開發(fā)者，從而搶占深度學(xué)習(xí)生態(tài)的話語權(quán)。
上周，阿里巴巴也加入這個(gè)賽道。根據(jù)媒體的報(bào)道，阿里旗下的阿里媽媽正式開源了其深度學(xué)習(xí)算法框架 X-Deep Learning（下文簡(jiǎn)稱為 XDL）。在其官方宣傳語里，提及了兩個(gè)「首次」：阿里巴巴首次公開的深度學(xué)習(xí)框架以及業(yè)界首個(gè)面向超大規(guī)模高維稀疏數(shù)據(jù)場(chǎng)景的深度學(xué)習(xí)開源框架。
前一個(gè)「首次」不難理解，這也的確是阿里巴巴的首個(gè)深度學(xué)習(xí)開源項(xiàng)目，而后一個(gè)「首次」連同兩個(gè)關(guān)鍵描述「超大規(guī)模高維稀疏數(shù)據(jù)場(chǎng)景」和「深度學(xué)習(xí)框架」，多少有些爭(zhēng)議。
正如上文所言，各大公司從 2015 年開始陸續(xù)開源了自家的深度學(xué)習(xí)框架。從時(shí)間上看，有幾個(gè)典型代表，其一，2015 年 11 月， Google 開源了 TensorFlow 深度學(xué)習(xí)框架，過去三年間，TensorFlow 在開發(fā)者社區(qū)享有盛譽(yù)，已成為最為常用的深度學(xué)習(xí)框架之一。
其二，2016 年，百度開源了自研的深度學(xué)習(xí)平臺(tái) PaddlePaddle，也成為國(guó)內(nèi)首個(gè)深度學(xué)習(xí)開源框架。
其三，2017 年初，F(xiàn)acebook 在 Torch 的基礎(chǔ)上，針對(duì) Python 語言發(fā)布了全新的機(jī)器學(xué)習(xí)框架 PyTorch。
如果以這個(gè)時(shí)間線來看，XDL 的確也無法稱之為國(guó)內(nèi)首個(gè)深度學(xué)習(xí)開源框架。
其次，此次 XDL 特別提到了「超大規(guī)模高維稀疏數(shù)據(jù)」，這里有必要稍微展開一下。
從定義上看，稀疏數(shù)據(jù)是指數(shù)據(jù)庫二維表中含有大量空值的數(shù)據(jù)，但稀疏數(shù)據(jù)絕對(duì)不是無用數(shù)據(jù)，只不過是信息不完全的數(shù)據(jù)。
互聯(lián)網(wǎng)擁有大量處理稀疏數(shù)據(jù)的應(yīng)用場(chǎng)景，比如在線廣告、搜索引擎以及智能推薦等等。作為阿里體系下的大數(shù)據(jù)處理子公司，阿里媽媽的確擁有這樣的處理需求，但這個(gè)項(xiàng)目也絕不是所謂的業(yè)界「首次」。
稀疏數(shù)據(jù)的挑戰(zhàn)也廣泛存在于全球互聯(lián)網(wǎng)巨頭之中。比如，在線廣告是 Google、Facebook 的重要收入來源，而搜索業(yè)務(wù)也是 Google、百度的核心業(yè)務(wù)，這些公司恰恰也是當(dāng)下深度學(xué)習(xí)領(lǐng)域的代表公司，因而也具備應(yīng)對(duì)大規(guī)模稀疏數(shù)據(jù)的能力。
以目前百度重點(diǎn)發(fā)力的信息流業(yè)務(wù)為例，其序列特性更強(qiáng)，也需要更多考慮歷史信息，數(shù)據(jù)的特征空間變得更大，參數(shù)規(guī)?？蛇_(dá)到千億甚至萬億，模型大小達(dá)到TB 級(jí)別。這些超高維度的稀疏數(shù)據(jù)，給訓(xùn)練和在線部署都帶來了極大挑戰(zhàn)。
在今年 7 月的百度 AI 開發(fā)者大會(huì)上，隨著 PaddlePaddle 3.0 的發(fā)布，百度也進(jìn)一步展示了該框架對(duì)于大規(guī)模稀疏數(shù)據(jù)分布式模型訓(xùn)練的支持和優(yōu)化。其新一代核心框架 Fluid 1.1的更新日志里明確寫道：「支持千億規(guī)模稀疏參數(shù)服務(wù)器，用于大規(guī)模多機(jī)異步訓(xùn)練，適用于推薦、廣告等領(lǐng)域的點(diǎn)擊率預(yù)估模型?！?/p>
因此，不管是正式發(fā)布時(shí)間還是具體應(yīng)用的時(shí)間，XDL 都不具備「首次」的定義，如此這般的宣傳實(shí)在有點(diǎn)誤導(dǎo)公眾。
更進(jìn)一步去看，XDL 對(duì)于「框架」的自我定位也多少有點(diǎn)問題。
深度學(xué)習(xí)框架的流行，既是因?yàn)楦骷揖揞^為了搶奪生態(tài)有利地位，也源自深度神經(jīng)網(wǎng)絡(luò)技術(shù)特點(diǎn)的必然趨勢(shì)，這是因?yàn)?，神?jīng)網(wǎng)絡(luò)模型在基本結(jié)構(gòu)單元、訓(xùn)練模式有很多通用的地方，利用封裝的框架，可以有效減少處理神經(jīng)模型的錯(cuò)誤以及時(shí)間，能夠大幅提升效率。
不管是 TensorFlow、Pytorch還是 PaddlePaddle，這些深度學(xué)習(xí)框架都有幾個(gè)基本特點(diǎn)，主要包括如下幾點(diǎn)：
當(dāng)然，上述三點(diǎn)還是以比較粗線條的形式勾勒了一個(gè)深度學(xué)習(xí)框架的基本能力，不過值得注意的是，此次發(fā)布 的 XDL 似乎并不能真正滿足上述基本要求。
根據(jù)目前公開的資料，XDL 并沒有提及建模能力，這也意味著其需要依托其他的深度學(xué)習(xí)框架。其官方介紹也提到，「支持 TensorFlow 與 MxNet 作為其單節(jié)點(diǎn)計(jì)算后端。這種橋接的架構(gòu)，使得 XDL 跟業(yè)界的開源社區(qū)無縫對(duì)接。此外，對(duì)于已經(jīng)在使用其它開源框架的企業(yè)或者個(gè)人用戶，也可以在原有系統(tǒng)基礎(chǔ)上輕松進(jìn)行擴(kuò)展?！?/p>
雖然強(qiáng)調(diào)在工業(yè)級(jí)的大規(guī)模分布式訓(xùn)練的支持能力，但這也是著力于如何分布式運(yùn)行其他框架。當(dāng)然，XDL 在部署上的確有一些自己的想法，這是基于阿里媽媽核心業(yè)務(wù)所提煉出的算法模型，有一定的參考價(jià)值。
但不管怎么說，XDL 都更像是某個(gè)深度學(xué)習(xí)框架的一部分，而非真正的框架。
事實(shí)上，過去幾年行業(yè)的確有類似的嘗試。在國(guó)外， Keras 頗受歡迎，其基于 Python，后端接入多個(gè)深度學(xué)習(xí)開源框架 TensorFlow、CNTK和Theano，因此擁有豐富的周邊生態(tài)，但它依然只是一個(gè)「高級(jí)封裝起來的 API」。
在國(guó)內(nèi)，騰訊優(yōu)圖在去年開源了面向移動(dòng)端的 NCNN，只包含前向計(jì)算，因此無法進(jìn)行訓(xùn)練，需要導(dǎo)入其他框架訓(xùn)練好的模型參數(shù)。
今年 8 月，小米也開源了自研的移動(dòng)端深度學(xué)習(xí)引擎 MACE（全稱為 Mobile AI Compute Engine），這是一個(gè)專門為移動(dòng)端異構(gòu)計(jì)算平臺(tái)優(yōu)化的神經(jīng)網(wǎng)絡(luò)引擎。支持 TensorFlow 和 Caffe 框架，提供轉(zhuǎn)換工具，可以將訓(xùn)練好的模型轉(zhuǎn)換成專有的模型數(shù)據(jù)文件。
從這個(gè)角度去看，XDL 與 Keras、NCNN、MACE 類似，都是基于某種（或某幾種）深度學(xué)習(xí)框架，在此基礎(chǔ)上提供更便于調(diào)用的算法模型或參數(shù)，這些引擎各自也有應(yīng)用的場(chǎng)景，滿足了科研、開發(fā)的不同層次需求，但的確算不上業(yè)界所定義的深度學(xué)習(xí)框架。
人工智能寄托著人類征服自己的偉大夢(mèng)想，過去的五六年，深度學(xué)習(xí)又一次成為工業(yè)界、學(xué)術(shù)界以及媒體關(guān)注的焦點(diǎn)，由此也出現(xiàn)了深度學(xué)習(xí)的炒作熱潮。
但必須看到一個(gè)事實(shí)，深度學(xué)習(xí)之路還非常漫長(zhǎng)，需要企業(yè)、學(xué)術(shù)以及普通開發(fā)者共同努力，更需要從底層技術(shù)到算法部署的整體框架。
這對(duì)中國(guó)的深度學(xué)習(xí)從業(yè)者尤其重要，長(zhǎng)期借助國(guó)外深度學(xué)習(xí)開源平臺(tái)，將會(huì)嚴(yán)重限制我國(guó)在人工智能芯片、行業(yè)標(biāo)準(zhǔn)、人才培養(yǎng)、應(yīng)用落地等領(lǐng)域的發(fā)展，然而，深度學(xué)習(xí)平臺(tái)卻也不是一天就能建成的，它需要時(shí)間、需要人力財(cái)力的投入、更需要實(shí)戰(zhàn)的檢驗(yàn)，一如百度 PaddlePaddle「五年磨一劍」后的初露鋒芒。
這當(dāng)然也是中國(guó)互聯(lián)網(wǎng)公司的機(jī)會(huì)，BAT 以及小米等公司也從不同角度切入到深度學(xué)習(xí)領(lǐng)域。只是，在邁向人工智能的偉大征程里，我們還是希望這些公司能少一些套路和誤導(dǎo)性的口號(hào)，真正做一些有益于中國(guó)深度學(xué)習(xí)開發(fā)者的事情。
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論