請(qǐng)輸入圖說
它是一個(gè)分層的VQ-VAE，可以把不同尺度的信息分開處理。
比如，輸入一張256×256圖像，編碼器要把它壓縮進(jìn)不同的潛在空間里：
頂層 (Top Level) 要壓縮成64×64的潛在映射圖，為**全局信息 (比如形狀等) 生成潛碼；
底層 (Bottom Level) 要壓縮成32×32的潛在映射圖，為局部信息 (比如紋理等) 生成潛碼。
然后，解碼器用這兩個(gè)潛在映射圖 (Latent Maps) 中，做出一張與原圖同樣大小的重構(gòu)圖，其中包含了局部和全局信息。
團(tuán)隊(duì)發(fā)現(xiàn)，如果不用頂層來(lái)調(diào)節(jié) (Condition) 底層，頂層就需要編碼像素中每一個(gè)細(xì)節(jié)。
所以，他們就讓每個(gè)層級(jí)分別依賴于像素 (Separately Depend on Pixels) ：可以鼓勵(lì)A(yù)I在每個(gè)映射圖中，編碼補(bǔ)充信息 (Complementary Information) ，降低重構(gòu)誤差。
而學(xué)到分層潛碼 (Hierarchical Latent Codes) 之后，該進(jìn)入下一部分了：
在從潛碼中學(xué)到先驗(yàn) (Prior) ，生成新圖。
這一部分，是二代與一代最大的區(qū)別所在：把一代用到的自回歸先驗(yàn) (Autoregressive Priors) 擴(kuò)展、增強(qiáng)了。
用當(dāng)前最優(yōu)秀的PixelRNN模型來(lái)為先驗(yàn)建模，這是一個(gè)帶自注意力機(jī)制的自回歸模型，能夠把先驗(yàn)分布 (Prior Distribution) ，和上一部分學(xué)到的邊界后驗(yàn) (Marginal Posterior) 匹配起來(lái)。
這樣，可以生成比從前相干性更高，保真度也更高的圖像。
和第一部分相似：這里也有編碼器和解碼器，可以進(jìn)一步壓縮圖像。
做好之后，從先驗(yàn)里取樣，可以生成新的圖像：和原圖清晰度一致，并且保持了相關(guān)性 (Coherence) 。
兩個(gè)部分合在一起，可以把256×256的圖像，壓縮200倍來(lái)學(xué)習(xí)；把1024×1024的高清大圖，壓縮50倍來(lái)學(xué)習(xí)。
團(tuán)隊(duì)說這樣一來(lái)，把圖像生成速度提升了一個(gè)數(shù)量級(jí)。
在需要快速編碼、快速解碼的應(yīng)用上，這樣的方法便有了得天獨(dú)厚的優(yōu)勢(shì)。
同時(shí)，還避免了GAN的兩個(gè)著名缺點(diǎn)：
一是mode collapse，即生成某些圖像之后，GAN的生成器和判別器就達(dá)成和解，不再繼續(xù)學(xué)習(xí)了；二是多樣性不足的問題。
這項(xiàng)研究的作者共有三位，均來(lái)自DeepMind，Ali Razavi和Aäron van den Oord為共同一作，Oriol Vinyals為二作。
Ali Razavi博士畢業(yè)于滑鐵盧大學(xué)，此前在IBM、Algorithmics和Google就職過，2017年加入DeepMind，任職研究工程師。
研究員Aäron van den Oord小哥主要研究生成模型，此前還參與Google Play的音樂推薦項(xiàng)目。
2017年，Aäron參與了哈薩比斯項(xiàng)目組關(guān)于Parallel WaveNet的研究，為這篇論文的第一作者。
Oriol Vinyals小哥此前參與了多個(gè)明星項(xiàng)目，比如星際項(xiàng)目、比如AlphaStar，還與圖靈獎(jiǎng)得主Geoffrey Hinton和谷歌大腦負(fù)責(zé)人Jeff Dean一起合作過，合著論文Distilling the knowledge in a neural network。
對(duì)了，最先稱贊BigGAN是“史上最佳GAN”的人，也是他~
傳送門
論文Generating Diverse High-Fidelity Images with VQ-VAE-2地址：
https://arxiv.org/abs/1906.00446
快報(bào)
根據(jù)《網(wǎng)絡(luò)安全法》實(shí)名制要求，請(qǐng)綁定手機(jī)號(hào)后發(fā)表評(píng)論