2012是神奇的，這一年，Hinton 教授和他的兩個研究生 Alex Krizhevsky、 Illya Sutskever 將以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的深度學(xué)習(xí)框架運用到 ImageNet 大型圖像識別競賽上，獲得了空前的成功。
Hinton 教授就此在 AI 界封神。而將人工神經(jīng)網(wǎng)絡(luò)演進到深度學(xué)習(xí)，并且是卷積神經(jīng)網(wǎng)絡(luò)的第一個發(fā)明人和推廣者燕樂純，被遺忘在角落。
為什么說一次競賽的勝利就成為了深度學(xué)習(xí)乃至 AI 的歷史轉(zhuǎn)折點？
因為 AI 能力的測試標(biāo)桿，公認(rèn)是在圖像識別和處理：
1981年諾貝爾醫(yī)學(xué)獎獲得者 David Hubel 和 Torsten Wiesel 發(fā)現(xiàn)人的視覺系統(tǒng)的信息處理是分級的：從視網(wǎng)膜（Retina）出發(fā)，經(jīng)過低級的V1區(qū)提取邊緣特征，到V2區(qū)的基本形狀或目標(biāo)的局部，再到高層的整個目標(biāo)（如判定為一張人臉），以及到更高層的PFC（前額葉皮層）進行分類判斷等。高層的特征是低層特征的組合，從低層到高層的特征表達越來越抽象和概念化，也即越來越能表現(xiàn)語義或者意圖。
現(xiàn)在的深度神經(jīng)網(wǎng)絡(luò)，就是受此啟發(fā)。
李飛飛點名推崇的重要人物 Jitendra Malik，這位伯克利教授， 把計算機視覺這個領(lǐng)域從圖像處理帶進了 AI。Jitendra 是最早一批看到了視覺本身在智能這個問題上的重要性——視覺是人類智能極其重要的部分。
但是 ImageNet 競賽，這個繼承了PASCAL VOC的人工智能圖像識別的標(biāo)桿，從2010年開始舉辦以來，深度學(xué)習(xí)并不是主流，而是另外一種機器學(xué)習(xí)辦法——支持向量機（SVM）的天下。
ImageNet 就相當(dāng)于機器學(xué)習(xí)的華山論劍，所以，什么武功最厲害?
如此驚人的成績，學(xué)術(shù)界轟動了。
更驚人的是，深度學(xué)習(xí)訓(xùn)練的模型（2012年之后就成為主流），在2015年的競賽中部分類別圖像的識別率上甚至超過了人類（雖然只占到所有圖片分類中的千分一）。
然后就是我們眾所周知的故事：2016年，以走棋網(wǎng)絡(luò)和估值網(wǎng)絡(luò)兩個卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合了蒙特卡洛樹搜索和強化學(xué)習(xí)兩種方法開發(fā)的人工智能圍棋程序AlphaGo，4：1 擊敗了圍棋界的小李子——曾經(jīng)的人類圍棋第一人李世石，震驚世界。
在此之前，人們普遍認(rèn)為，計算機最少還要20年才能擊敗人類頂尖高手，因為圍棋是一種無法用計算機窮舉擊敗人類的游戲，堪稱人類智慧最后的殿堂。
2017年，AlphaGo的升級版本Master更是在網(wǎng)絡(luò)快棋上大開殺戒，以60盤全勝的戰(zhàn)績挑落了所有排得上名號的人類圍棋高手。讓目前的圍棋第一人柯潔產(chǎn)生了絕望感。
一個機器學(xué)習(xí)的小門派最終成為了江湖泰斗。眾人只記住了Hinton教授，在 SVM 熱潮中堅持研究神經(jīng)網(wǎng)絡(luò)，經(jīng)歷了20多年的門庭冷落，帶領(lǐng)弟子練就了絕世武功。但是燕樂純，則被稱為神經(jīng)網(wǎng)絡(luò)辟荒的眾大佬之一。實際上這哥們完全是跟Hinton教授一樣，是“黑暗中舉著火炬的人”。
回顧歷史，今天遍地開花的神經(jīng)網(wǎng)絡(luò)，并不是最近才冒出來的新鮮玩意，而是名副其實的老古董。
深度學(xué)習(xí)所依附的神經(jīng)網(wǎng)絡(luò)技術(shù)起源于上世紀(jì)50年代，那個時候還叫感知機（Perceptron）。在人工神經(jīng)網(wǎng)絡(luò)領(lǐng)域中，感知機也被指為單層的人工神經(jīng)網(wǎng)絡(luò)，盡管結(jié)構(gòu)簡單，卻能夠?qū)W習(xí)并解決相當(dāng)復(fù)雜的問題。
雖然最初被認(rèn)為有著良好的發(fā)展?jié)撃?，但感知機最終被證明存在著嚴(yán)重的不可逾越的問題：它只能學(xué)習(xí)線性可分函數(shù)。連簡單的異或（XOR映射）等線性不可分問題，都無能為力。
1969年，Marvin Minsky出版的《Perceptrons》書，是一個歷史的轉(zhuǎn)折點，神經(jīng)網(wǎng)絡(luò)第一次被打倒。Minsky的書最著名的觀點有幾個：
（1）單層感知機沒用，我們需要用MLPs（多層感知機，多層神經(jīng)網(wǎng)絡(luò)的另一種說法）來代表簡單的非線性函數(shù)，比如XOR （異或）映射；
（2）世界上沒人有辦法將MLPs訓(xùn)練得夠好。
簡而言之，要解決感知機（單層神經(jīng)網(wǎng)絡(luò)）學(xué)習(xí)線性不可分函數(shù)的問題，就必須發(fā)展多層感知機，即中間包含一個隱層的兩層神經(jīng)網(wǎng)絡(luò)。
但是當(dāng)時，根本找不到運用在多層神經(jīng)網(wǎng)絡(luò)上的有效算法。學(xué)術(shù)權(quán)威開啟了神經(jīng)網(wǎng)絡(luò)的反右運動，悲觀主義開始蔓延。
從現(xiàn)在看，突破性的誤差反向傳播算法，即著名的BP算法，開啟訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的“鑰匙”，其實那個時候已經(jīng)存在了。
冰凍十年中，盡管Paul Werbos在1974年的博士畢業(yè)論文中深刻分析了將BP算法運用于神經(jīng)網(wǎng)絡(luò)方面的可能性，成為美國第一位提出可以將其用于神經(jīng)網(wǎng)絡(luò)的研究人員，但是他沒有發(fā)表將BP算法用于神經(jīng)網(wǎng)絡(luò)這方面的研究。因為這個圈子大體已經(jīng)失去解決那些問題的信念。
這時候我們的燕樂純燕大俠上場了。80年代博士在學(xué)期間，他提出了神經(jīng)網(wǎng)絡(luò)的反向傳播算法原型（當(dāng)時他在Hinton的實驗室做博士后研究，Hinton是燕樂純的導(dǎo)師）。
眾人只知道，1986年BP算法開始流行開來，是因為Rumelhart、Hinton、Williams合著的《Learning representations by back-propagating errors》，真正的，David Parker 和燕樂純是事先發(fā)現(xiàn)這一研究進路的兩人。
1989年，燕大俠加入貝爾實驗室，他開始將1974年提出的標(biāo)準(zhǔn)反向傳播算法應(yīng)用于深度神經(jīng)網(wǎng)絡(luò)，這一網(wǎng)絡(luò)被用于手寫郵政編碼識別，盡管因為種種問題失敗。但是這一時期，燕大俠發(fā)明了真正可用的卷積神經(jīng)網(wǎng)絡(luò)。
到90年代中期，貝爾實驗室商業(yè)化了一批基于卷積神經(jīng)網(wǎng)絡(luò)的系統(tǒng)，用于識別銀行支票（印刷版和手寫版均可識別）。直到90年代末，其中一個系統(tǒng)識別了全美國大概10%到20%的支票。
燕大俠和其他人發(fā)展的神經(jīng)網(wǎng)絡(luò)，正開始被熱捧的時候，他一生較勁的對象Vapnik（貝爾實驗室的同事）出現(xiàn)了。因為兩層神經(jīng)網(wǎng)絡(luò)盡管解決了10年前困擾神經(jīng)網(wǎng)絡(luò)界的線性不可分問題，但是多層神經(jīng)網(wǎng)絡(luò)在實際發(fā)展中碰上了新的難題：
90年代中期，由Vapnik等人發(fā)明的支持向量機（Support Vector Machines，SVM）誕生，它同樣解決了線性不可分問題，但是對比神經(jīng)網(wǎng)絡(luò)有全方位優(yōu)勢：
1、高效，可以快速訓(xùn)練；2、無需調(diào)參，沒有梯度消失問題；3、高效泛化，全局最優(yōu)解，不存在過擬合問題。
幾乎全方位的碾壓。
SVM 迅速打敗多層神經(jīng)網(wǎng)絡(luò)成為主流。后來一度發(fā)展到，只要你的論文中包含神經(jīng)網(wǎng)絡(luò)相關(guān)的字眼，非常容易拒稿，學(xué)術(shù)界那時對神經(jīng)網(wǎng)絡(luò)的態(tài)度可想而知。
這個事情連如今的谷歌老大都記得。2017年年初，謝爾蓋在達沃斯的一個對談環(huán)節(jié)上還回憶說，
“坦誠來說，我根本沒關(guān)注人工智能”，“90 年代學(xué)習(xí)計算機科學(xué)的人都知道，人工智能并不管用，人們嘗試過，他們試過各種神經(jīng)網(wǎng)絡(luò)，沒有一個管用。”
神經(jīng)網(wǎng)絡(luò)再次墮入黑暗。10年沉寂中，只有幾個學(xué)者仍然在堅持研究。比如一再提及的Hinton教授。
2006年，Hinton在《Science》和相關(guān)期刊上發(fā)表了論文，首次提出了“深度置信網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，深度信念網(wǎng)絡(luò)有一個“預(yù)訓(xùn)練”（pre-training）的過程，它的作用是讓神經(jīng)網(wǎng)絡(luò)權(quán)值找到一個接近最優(yōu)解的值，之后再使用“微調(diào)”(fine-tuning)技術(shù)，即使用反向傳播算法或者其他算法作為調(diào)優(yōu)的手段，來對整個網(wǎng)絡(luò)進行優(yōu)化訓(xùn)練。這兩個技術(shù)的運用大幅度提升了模型的性能，而且減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時間。他給多層神經(jīng)網(wǎng)絡(luò)相關(guān)的學(xué)習(xí)方法賦予了一個新名詞——“深度學(xué)習(xí)”。
后面的故事我們都知道了，2012年Hinton的團隊用燕樂純賴以成名的卷積神經(jīng)網(wǎng)絡(luò)，和自己在深度置信網(wǎng)絡(luò)的調(diào)優(yōu)技術(shù)，碾壓了其他機器學(xué)習(xí)辦法。
至此，深度學(xué)習(xí)開始壟斷人工智能的新聞報道，像Hinton、燕樂存和他們的學(xué)生搖滾明星一般受到追捧，慣于見風(fēng)使舵的學(xué)者們也來了個180度大轉(zhuǎn)變，現(xiàn)在是沒有和深度學(xué)習(xí)沾上邊的文章很難發(fā)表了。
除了名，還有利，谷歌、Facebook、Twitter們不但把學(xué)術(shù)界人物挖了個遍，更是重金收購深度學(xué)習(xí)大佬們所創(chuàng)建的公司，坐了幾十年冷板凳的人忽然一夜之間身價暴漲財務(wù)自由。
令人唏噓的是，現(xiàn)在主導(dǎo)Facebook AI 實驗室的燕樂純，他不斷呼吁學(xué)術(shù)界對深度學(xué)習(xí)保持冷靜，批判深度學(xué)習(xí)的泡沫繁榮...
嗯，深度學(xué)習(xí)變得如此有用，人工智能正在蓬勃發(fā)展，很多人甚至開始談?wù)撊祟惿鐣?ldquo;技術(shù)奇點”的到來...
下棋、圖像識別、自動駕駛、金融分析師...看似無所不能、比進化了數(shù)百萬年人類更有“智慧”的人工神經(jīng)網(wǎng)絡(luò)，卻有人發(fā)現(xiàn)，它有一些比較“搞笑”的方面：
比如 Jeff Clune、Anh Nguyen、Jason Yosinski 訓(xùn)練了一個用于識別物體的系統(tǒng)，該系統(tǒng)99.6%確信左圖是一只海星，同樣99.6%確信右圖是只獵豹。
而另一個來自Google、Facebook、紐約大學(xué)和蒙特利爾大學(xué)研究人員組成的團隊，開發(fā)的一個神經(jīng)網(wǎng)絡(luò)系統(tǒng)，認(rèn)為左圖是一只狗，而右圖（僅在左圖的基礎(chǔ)上略微改變了像素）是一只鴕鳥。
比較詭異的是，這種事情不是發(fā)生了一次兩次，而是穩(wěn)定地出現(xiàn)。
“一個為某一模型生成的樣本，通常也會被其他模型錯誤歸類，即使它們有著完全不同的架構(gòu)。”
“即使使用的是完全不同的數(shù)據(jù)集。”
左圖被神經(jīng)網(wǎng)絡(luò)判定為熊貓。給它人為疊加上中圖所示微小的擾動（實際疊加權(quán)重只有0.7%），就獲得了右圖。在人類看來，左圖和右圖沒有區(qū)別；可是AI卻會以99.3%的置信度，一口咬定右圖是一只長臂猿。
這些“錯誤”，不知道是神經(jīng)網(wǎng)絡(luò)的缺陷，還是人類肉眼凡胎不識“真相”，目前這些錯誤被取了一個名字——“對抗樣本”。
梳理人工神經(jīng)網(wǎng)絡(luò)的歷史，感知機—雙層神經(jīng)網(wǎng)絡(luò)—多層神經(jīng)網(wǎng)絡(luò)—深度學(xué)習(xí)，我們明顯可以看到這是怎樣一個曲折的軌跡。
過去神經(jīng)網(wǎng)絡(luò)曾經(jīng)被人棄之如敝履，未來就一定不會遭遇下一個低谷？我想，沒人敢打包票。
無論是目前過擬合、梯度消失的固疾，還是對抗樣本的問題，都說明以神經(jīng)網(wǎng)絡(luò)為代表的機器學(xué)習(xí)目前還是非常“弱”的人工智能。
而且有一家與DeepMind齊名的人工智能公司 Vicrious ——吸引了Mark Zuckerberg、Elon Musk、Peter Thiel、Jeff Bezos 私人投資，專注于通用人工智能的另類，他們的創(chuàng)始人 Scott Phoenix 曾說：
深度神經(jīng)網(wǎng)絡(luò)（DNN）需要大量的訓(xùn)練數(shù)據(jù)，不能很好地適用于新的任務(wù)或環(huán)境。
（注：有變數(shù)，最近DeepMind最近新論文，他們宣稱發(fā)明彈性權(quán)重鞏固算法讓 AI 擁有“記憶”，目前只能勝任特定領(lǐng)域一項任務(wù)的神經(jīng)網(wǎng)絡(luò)，開始能夠習(xí)得“多項技能”）
此外深度學(xué)習(xí)往往側(cè)重于學(xué)習(xí)輸入感知與輸出動作之間的映射（如用于做分類決策或者是圍棋、Atari游戲上的移動的決策），對大腦功能的模擬，太過單一。
我們認(rèn)為智能的本質(zhì)是能夠?qū)W習(xí)一個所處在世界的心理模型(mental model )，然后能否在這個模型上進行模擬（所謂想象力）。
深度學(xué)習(xí)是一個黑盒，我們設(shè)定了規(guī)則、輸入了數(shù)據(jù)、訓(xùn)練出一個數(shù)據(jù)處理模型，但是并不了解數(shù)據(jù)處理在內(nèi)部究竟如何進行。
那些在輸入層、隱層、目標(biāo)層之間連接的人工神經(jīng)元發(fā)生的所有事情，目前根本無法知曉，所以也無法預(yù)測輸出的結(jié)果：“我們看著Master走出了驚世駭俗的落子，看著它表演，它卻不能告訴我們?yōu)槭裁匆哌@里。”
深度學(xué)習(xí)用大量的數(shù)據(jù)樣本才能訓(xùn)練“泛化能力”，相比李世石，后者才是真正的天才——他用遠(yuǎn)遠(yuǎn)少于AlphaGo的訓(xùn)練樣本，達到了接近AlphaGo的水平。
目前，人工神經(jīng)網(wǎng)絡(luò)僅僅是模擬大腦皮層的一小部分運行方式，而且是跨過了“認(rèn)識世界”、“認(rèn)識智能的本質(zhì)” 這個階段，直接到了“改變世界”。
基礎(chǔ)理論并不成熟的工程應(yīng)用，其實有著極大的隱患。
【鈦媒體作者：楊青山，微信公眾號 "偽geek"】
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論
一個程序員統(tǒng)治的世界正悄無聲息的向我們走來