第三課：通用AI集群應(yīng)該怎么搭建？
小欣：這節(jié)課，于洋老師會(huì)為我們講解通用AI集群應(yīng)該怎么搭建。
于洋：專用集群其實(shí)是更常見的一種集群配置模式。比如說我們公司有存儲(chǔ)的需求，我就配置一個(gè)Hadoop集群去使用HDFS，有線下處理的需求，我再用Hadoop的Map-Reduce集群去做線下處理。
對于網(wǎng)站的話，網(wǎng)站前端大家會(huì)配置一個(gè)nginx集群，再使用kalfka將網(wǎng)站的一些日志收集下來，再給AI處理。
專用集群的架構(gòu)就是把幾個(gè)事情分別部署在不同的機(jī)器里，這些機(jī)器是相互隔離，不能互相訪問的。這樣做的好處其實(shí)是顯而易見的，因?yàn)椴煌瑧?yīng)用分別跑在不同的物理機(jī)里，可以避免不同應(yīng)用之間的相互影響，但是壞處也很明顯，就是成本會(huì)很高，每個(gè)集群其實(shí)物理硬件的利用率是不夠的。
下面我以一個(gè)語音識別服務(wù)舉例，說明一個(gè)通用AI集群應(yīng)該怎么搭建。
下圖是一個(gè)通用集群的簡單示意圖，這個(gè)集群里有很多GPU的服務(wù)器，也有很多CPU的服務(wù)器，他們都部署在一個(gè)集群里。在這個(gè)集群的機(jī)器之上運(yùn)行著Kubernetes。
Kubernetes是一個(gè)谷歌開源的分布式的操作系統(tǒng)。在2007年的時(shí)候，谷歌就使用集群操作系統(tǒng)Borg，通過混合部署各種來源的各種任務(wù)，將CPU的利用率一直維持在75%到80%左右。
這對企業(yè)的成本是一個(gè)極大的降低。之前我們說過普遍專用集群的資源利用率大概在20%左右，如果我們使用一個(gè)集群操作系統(tǒng)去管理集群的任務(wù)，那么硬件利用率可以提升到75%到80%左右，這樣一個(gè)通用集群就相當(dāng)于普通的四個(gè)左右的專用集群。
通用集群數(shù)據(jù)還是存儲(chǔ)在HDFS上，在HDFS上有一些有標(biāo)簽的數(shù)據(jù)，這些數(shù)據(jù)送給PaddlePaddle做線下訓(xùn)練。在這個(gè)系統(tǒng)的前端就是一個(gè)語音識別的服務(wù)，用戶去提交自己的語音后返回一段文字。
在這個(gè)前端語音識別API里用戶實(shí)時(shí)提交的語音數(shù)據(jù)就形成了一個(gè)實(shí)時(shí)的日志，這個(gè)日志就會(huì)被其他的進(jìn)程收集下來，比如使用Kalfka進(jìn)行收集，再去做一些線上的預(yù)處理，進(jìn)而將這些數(shù)據(jù)繼續(xù)傳遞給PaddlePaddle做訓(xùn)練。這樣PaddlePaddle既可以支持線下的大批量的數(shù)據(jù)訓(xùn)練，也可以支持線上的實(shí)時(shí)的數(shù)據(jù)訓(xùn)練。
在目前眾多的深度學(xué)習(xí)平臺(tái)里似乎沒有一個(gè)平臺(tái)再去考慮如何在通用集群里更好地進(jìn)行訓(xùn)練。這是因?yàn)榇蟛糠值纳疃葘W(xué)習(xí)平臺(tái)都是大企業(yè)開發(fā)的，在大企業(yè)中，通用集群的訓(xùn)練對他們來講并不重要，但這對初創(chuàng)企業(yè)是至關(guān)重要的。
小欣：下節(jié)課，于洋老師會(huì)為我們講解通用集群對深度學(xué)習(xí)系統(tǒng)的挑戰(zhàn)。
【版權(quán)歸鈦媒體所有，未經(jīng)許可不得轉(zhuǎn)載】
賬號合并
經(jīng)檢測，你是“鈦媒體”和“商業(yè)價(jià)值”的注冊用戶?，F(xiàn)在，我們對兩個(gè)產(chǎn)品因進(jìn)行整合，需要您選擇一個(gè)賬號用來登錄。無論您選擇哪個(gè)賬號，兩個(gè)賬號的原有信息都會(huì)合并在一起。對于給您造成的不便，我們深感歉意。
Oh! no
您是否確認(rèn)要?jiǎng)h除該條評論嗎？