第六課：機(jī)器學(xué)習(xí)存在萬能的模型嗎？
小欣：本期課程的最后一節(jié)，陳雨強(qiáng)老師會為我們講解機(jī)器學(xué)習(xí)是否存在萬能的模型。
陳雨強(qiáng)：其實(shí)并沒有哪個(gè)模型在所有的情況下都更好，換句話說，機(jī)器學(xué)習(xí)并沒有免費(fèi)的午餐也不會存在萬能的模型。沒有免費(fèi)午餐定理是由兩位數(shù)學(xué)家在95年提出來的，他們證明了任何的算法不會嚴(yán)格優(yōu)于另一個(gè)算法。
這個(gè)告訴了我們什么呢？所有的機(jī)器學(xué)習(xí)模型都是偏置，這個(gè)偏置代表你對數(shù)據(jù)的假設(shè)。偏置本身并不會有哪個(gè)更好，所以說你既可以使用更多的模型假設(shè)使用更少的數(shù)據(jù)，也可以使用更少的模型假設(shè)使用更多的數(shù)據(jù)，這都是能使得最終的模型效果變好的方式。總結(jié)起來，對于我們工業(yè)界來說，機(jī)器學(xué)習(xí)并沒有免費(fèi)的午餐，一定要做出對于業(yè)務(wù)合適的選擇。
追求高VC維有兩條路：一個(gè)是走寬和離散的路，比如說谷歌那條路。另一條是走深的那條路，比方說雅虎news或者是bingads的路。這就是寬與深的大戰(zhàn)。因?yàn)閷捙c深在工業(yè)界都有非常成功的案例，所以堅(jiān)信寬的人和堅(jiān)信深的人在很長一段時(shí)間內(nèi)，都是互相不能理解的。
堅(jiān)信深度學(xué)習(xí)復(fù)雜模型的人認(rèn)為寬度模型實(shí)在太簡單了，20年前模型已經(jīng)被研究非常透徹沒有什么更多的創(chuàng)新。對于堅(jiān)持寬度模型的人來說攻擊深度學(xué)習(xí)的點(diǎn)也非常的簡單，深度學(xué)習(xí)從來就沒有真正的把所有的數(shù)據(jù)都用好過，從來沒有真正發(fā)揮過所有數(shù)據(jù)的全部價(jià)值，沒有真正做到過真正的個(gè)性化。因?yàn)榇_實(shí)深度模型在推理上做得很好，但是在個(gè)性化、記憶方面其實(shí)相比于寬度模型會差很多。
非常有幸的是我之前在兩邊都做過比較多的實(shí)際的探索和研究。其實(shí)寬和深都有各自的好處的。寬度模型和深度模型有非常強(qiáng)的融合趨勢。不同的業(yè)務(wù)應(yīng)該使用不同的模型，不同的模型也會有不同的特點(diǎn)。所以我們看一看深度模型和寬度模型分別有什么樣的特點(diǎn)，分別適合什么樣的業(yè)務(wù)和應(yīng)用。
寬度模型是有比較準(zhǔn)確的記憶能力，而深度模型是有很強(qiáng)的推理能力；寬度模型的泛化是靠層次化的特征進(jìn)行泛化，深度模型是靠模型本身的疊加進(jìn)行泛化；寬度模型有很強(qiáng)的可解釋性，比如說一個(gè)線性的模型我可以非常容易的知道每個(gè)特征的權(quán)重是多少，以及一每個(gè)特征是如何去影響最終的結(jié)果，而對于一個(gè)深度模型來說，我們是非常難理解原始的輸入和最終的輸出是怎么樣一個(gè)對應(yīng)的關(guān)系。
寬度的模型對平臺工程要求是更高的，因?yàn)槲覀兂诵枰獙?shù)據(jù)進(jìn)行并行，還需要對模型進(jìn)行并行.而深度的模型對平臺工程的要求相對更低一點(diǎn)，他的模型基本上都是單機(jī)可加載的。
還有對于選型很關(guān)鍵的一點(diǎn)。寬度模型這條路上特征工程的創(chuàng)新是提升效果的關(guān)鍵，業(yè)務(wù)的知識是很容易加入建模的，所以說在寬度模型這條路上業(yè)務(wù)專家是非常容易產(chǎn)生價(jià)值的，并且非常容易的可以參與到整個(gè)模型的優(yōu)化之中的。而相比來說，深度模型的創(chuàng)新主要來自于模型本身的結(jié)構(gòu)的創(chuàng)新。這樣的創(chuàng)新基本上都來自于學(xué)術(shù)界和研究的專家，每種業(yè)務(wù)知識的加入可能都意味著是一種新的模型。所以說這兩種模型的選型代表著不同的人來優(yōu)化你的系統(tǒng)。
寬度和深度的大戰(zhàn)在我看來，各自有各自的優(yōu)缺點(diǎn)可以取長補(bǔ)短，對他們進(jìn)行一些融合?，F(xiàn)在寬和深的融合也就是所謂的第四象限已經(jīng)逐漸成為了一個(gè)研究的熱點(diǎn)。谷歌在去年4月份發(fā)表了一篇論文，介紹他們最新的工作Deep & Wide Model，這樣的模型分成deep的部分和wide的兩部分。它對細(xì)的特征有很好的記憶，也有很好的推理能力，我們認(rèn)為將來的方向都應(yīng)該朝這條路上走。
小欣：非常感謝陳雨強(qiáng)老師的講解，這期課程就到這里了。如果您喜歡這期課程就請大力點(diǎn)贊收藏或轉(zhuǎn)發(fā)~還可以在下方評論中留下您想要交流的想法和對本課程的建議~當(dāng)然也歡迎嘉賓推薦或自薦，咱們下期再見！
【版權(quán)歸鈦媒體所有，未經(jīng)許可不得轉(zhuǎn)載】
賬號合并
經(jīng)檢測，你是“鈦媒體”和“商業(yè)價(jià)值”的注冊用戶?，F(xiàn)在，我們對兩個(gè)產(chǎn)品因進(jìn)行整合，需要您選擇一個(gè)賬號用來登錄。無論您選擇哪個(gè)賬號，兩個(gè)賬號的原有信息都會合并在一起。對于給您造成的不便，我們深感歉意。
Oh! no
您是否確認(rèn)要?jiǎng)h除該條評論嗎？