請輸入圖說
它是一個分層的VQ-VAE，可以把不同尺度的信息分開處理。
比如，輸入一張256×256圖像，編碼器要把它壓縮進不同的潛在空間里：
頂層 (Top Level) 要壓縮成64×64的潛在映射圖，為**全局信息 (比如形狀等) 生成潛碼；
底層 (Bottom Level) 要壓縮成32×32的潛在映射圖，為局部信息 (比如紋理等) 生成潛碼。
然后，解碼器用這兩個潛在映射圖 (Latent Maps) 中，做出一張與原圖同樣大小的重構(gòu)圖，其中包含了局部和全局信息。
團隊發(fā)現(xiàn)，如果不用頂層來調(diào)節(jié) (Condition) 底層，頂層就需要編碼像素中每一個細節(jié)。
所以，他們就讓每個層級分別依賴于像素 (Separately Depend on Pixels) ：可以鼓勵A(yù)I在每個映射圖中，編碼補充信息 (Complementary Information) ，降低重構(gòu)誤差。
而學(xué)到分層潛碼 (Hierarchical Latent Codes) 之后，該進入下一部分了：
在從潛碼中學(xué)到先驗 (Prior) ，生成新圖。
這一部分，是二代與一代最大的區(qū)別所在：把一代用到的自回歸先驗 (Autoregressive Priors) 擴展、增強了。
用當前最優(yōu)秀的PixelRNN模型來為先驗建模，這是一個帶自注意力機制的自回歸模型，能夠把先驗分布 (Prior Distribution) ，和上一部分學(xué)到的邊界后驗 (Marginal Posterior) 匹配起來。
這樣，可以生成比從前相干性更高，保真度也更高的圖像。
和第一部分相似：這里也有編碼器和解碼器，可以進一步壓縮圖像。
做好之后，從先驗里取樣，可以生成新的圖像：和原圖清晰度一致，并且保持了相關(guān)性 (Coherence) 。
兩個部分合在一起，可以把256×256的圖像，壓縮200倍來學(xué)習(xí)；把1024×1024的高清大圖，壓縮50倍來學(xué)習(xí)。
團隊說這樣一來，把圖像生成速度提升了一個數(shù)量級。
在需要快速編碼、快速解碼的應(yīng)用上，這樣的方法便有了得天獨厚的優(yōu)勢。
同時，還避免了GAN的兩個著名缺點：
一是mode collapse，即生成某些圖像之后，GAN的生成器和判別器就達成和解，不再繼續(xù)學(xué)習(xí)了；二是多樣性不足的問題。
這項研究的作者共有三位，均來自DeepMind，Ali Razavi和Aäron van den Oord為共同一作，Oriol Vinyals為二作。
Ali Razavi博士畢業(yè)于滑鐵盧大學(xué)，此前在IBM、Algorithmics和Google就職過，2017年加入DeepMind，任職研究工程師。
研究員Aäron van den Oord小哥主要研究生成模型，此前還參與Google Play的音樂推薦項目。
2017年，Aäron參與了哈薩比斯項目組關(guān)于Parallel WaveNet的研究，為這篇論文的第一作者。
Oriol Vinyals小哥此前參與了多個明星項目，比如星際項目、比如AlphaStar，還與圖靈獎得主Geoffrey Hinton和谷歌大腦負責(zé)人Jeff Dean一起合作過，合著論文Distilling the knowledge in a neural network。
對了，最先稱贊BigGAN是“史上最佳GAN”的人，也是他~
傳送門
論文Generating Diverse High-Fidelity Images with VQ-VAE-2地址：
https://arxiv.org/abs/1906.00446
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論