圖片來源@視覺中國
鈦媒體注：本文來源于微信公眾號機器之心（ID：almosthuman2014），鈦媒體經(jīng)授權(quán)發(fā)布。
曾何幾時，人工智能因為算力不足進入了長達數(shù)十年的瓶頸，GPU 點燃了深度學(xué)習(xí)。在 ChatGPT 時代，AI 因為大模型再次面臨算力不足的問題，這一次英偉達還有辦法嗎？
3 月 22 日，GTC 大會正式召開，在剛剛進行的 Keynote 上，英偉達 CEO 黃仁勛搬出了為 ChatGPT 準備的芯片。
「加速計算并非易事，2012 年，計算機視覺模型 AlexNet 動用了 GeForce GTX 580，每秒可處理 262 PetaFLOPS。該模型引發(fā)了 AI 技術(shù)的爆炸，」黃仁勛說道。「十年之后，Transformer 出現(xiàn)了，GPT-3 動用了 323 ZettaFLOPS 的算力，是 AlexNet 的 100 萬倍，創(chuàng)造了 ChatGPT 這個震驚全世界的 AI。嶄新的計算平臺出現(xiàn)了，AI 的 iPhone 時代已經(jīng)來臨。」
AI 的繁榮推動英偉達股價在今年上漲了 77%，目前，英偉達的市值為 6400 億美元，已是英特爾的近五倍。不過今天的發(fā)布告訴我們，英偉達的腳步還沒有停。
生成式 AI（AIGC ）的發(fā)展正在改變科技公司對于算力的需求，英偉達一次展示了四種針對 AI 任務(wù)的推理平臺，它們都使用了統(tǒng)一的架構(gòu)。
其中，NVIDIA L4 提供「比 CPU 高 120 倍的 AI 驅(qū)動視頻性能，以及 99% 的能源效率」，可以用于視頻流、編碼和解碼以及生成 AI 視頻等工作；算力更強的 NVIDIA L40 則專門用于 2D/3D 圖像生成。
針對算力需求巨大的 ChatGPT，英偉達發(fā)布了 NVIDIA H100 NVL，這是一種具有 94GB 內(nèi)存和加速 Transformer Engine 的大語言模型（LLM）專用解決方案，配備了雙 GPU NVLINK 的 PCIE H100 GPU。
「當前唯一可以實際處理 ChatGPT 的 GPU 是英偉達 HGX A100。與前者相比，現(xiàn)在一臺搭載四對 H100 和雙 NVLINK 的標準服務(wù)器速度能快 10 倍，可以將大語言模型的處理成本降低一個數(shù)量級，」黃仁勛說道。
最后還有 NVIDIA Grace Hopper for Recommendation Models，除了為推薦任務(wù)優(yōu)化之外，它還可以為圖形神經(jīng)網(wǎng)絡(luò)和矢量數(shù)據(jù)庫提供動力。
當前，半導(dǎo)體的生產(chǎn)工藝已經(jīng)逼近物理學(xué)所能達到的極限。2nm 制程之后，突破點又是什么？英偉達決定從芯片制造的最原始階段 —— 光刻入手。
從根本上說，這是一個物理極限下的成像問題。在先進制程下，芯片上的許多特征會小于打印過程中使用的光的波長，掩模的設(shè)計必須不斷進行修改，這一步驟稱為光學(xué)鄰近校正。計算光刻模擬了光通過原件與光刻膠相互作用時的行為，這些行為是根據(jù)麥克斯韋方程描述的，這是芯片設(shè)計制造領(lǐng)域中需要算力最多的任務(wù)。
黃仁勛在 GTC 上宣布了一項名為 CuLitho 的新技術(shù)，用以加快半導(dǎo)體的設(shè)計和制造。該軟件使用英偉達芯片來加速基于軟件的芯片設(shè)計，并加速用于在芯片上打印該設(shè)計的光刻掩模的物理制造之間的步驟。
CuLitho 在 GPU 上運行，其性能比目前的光刻技術(shù)提高了 40 倍，可以加速目前每年消耗數(shù)百億個 CPU 小時的大規(guī)模計算工作負載。「造 H100 需要 89 塊掩膜版，在 CPU 上運算時一塊就得算兩個星期，但如果用 H100 在 CuLitho 上運行就只需要 8 個小時，」黃仁勛說道。
這意味著 500 個英偉達 DGX H100 系統(tǒng)就能夠替代 4 萬個 CPU 系統(tǒng)的工作，并運行計算光刻工藝的所有部分，幫助減少電力需求和對環(huán)境的潛在影響。
這一進展將使芯片的晶體管和電路比現(xiàn)在尺寸更小，同時加快了芯片的上市時間，并提高為推動制造過程而全天候運行的大規(guī)模數(shù)據(jù)中心的能源效率。
英偉達表示，它正在與 ASML、Synopsys 和臺積電合作，將該技術(shù)推向市場。據(jù)介紹，臺積電將在 6 月開始準備該技術(shù)的試產(chǎn)。
「芯片行業(yè)是世界上幾乎所有其他行業(yè)的基礎(chǔ)，」黃仁勛表示。「由于光刻技術(shù)已處于物理學(xué)的極限，通過 CuLitho 以及與我們的合作伙伴臺積電、ASML 和 Synopsys 的合作，晶圓廠能夠提高產(chǎn)量，減少碳足跡，并為 2nm 及以后的發(fā)展奠定基礎(chǔ)?！?/p>
在今天的活動中，英偉達還宣布了一個使用 Quantum Machines 構(gòu)建的新系統(tǒng)，該系統(tǒng)為從事高性能和低延遲量子經(jīng)典計算的研究人員提供了一種革命性的新架構(gòu)。
作為全球首個 GPU 加速的量子計算系統(tǒng)，NVIDIA DGX Quantum 將全球最強大的加速計算平臺（由 NVIDIA Grace Hopper 超級芯片和 CUDA Quantum 開源編程模型實現(xiàn)）與全球最先進的量子控制平臺 OPX（由 Quantum Machines 提供）相結(jié)合。這種組合使研究人員能夠建立空前強大的應(yīng)用，將量子計算與最先進的經(jīng)典計算相結(jié)合，實現(xiàn)校準、控制、量子糾錯和混合算法。
DGX Quantum 的核心是一個由 PCIe 連接到 Quantum Machines OPX + 的 NVIDIA Grace Hopper 系統(tǒng)，實現(xiàn)了 GPU 和量子處理單元（QPU）之間的亞微秒級延遲。
英偉達公司 HPC 和量子主管 Tim Costa 表示：「量子加速的超級計算有可能重塑科學(xué)和工業(yè)，英偉達 DGX Quantum 將使研究人員能夠突破量子 - 經(jīng)典計算的界限?！?/p>
對此，英偉達將高性能的 Hopper 架構(gòu) GPU 與該公司的新 Grace CPU 整合為「Grace Hopper」，為巨型 AI 和 HPC 應(yīng)用提供了超強的動力。它為運行 TB 級數(shù)據(jù)的應(yīng)用提供了高達 10 倍的性能，為量子 - 經(jīng)典研究人員解決世界上最復(fù)雜的問題提供了更多動力。
DGX Quantum 還為開發(fā)者配備了英偉達 CUDA Quantum，這是一個強大的統(tǒng)一軟件棧，現(xiàn)在已經(jīng)開放了源代碼了。CUDA Quantum 是一個混合型量子 - 經(jīng)典計算平臺，能夠在一個系統(tǒng)中整合和編程 QPU、GPU 和 CPU。
微軟斥資數(shù)億美元購買了數(shù)萬塊 A100 構(gòu)建了 GPT 專用超算，你現(xiàn)在可能會想要租用 OpenAI 和微軟訓(xùn)練 ChatGPT 和必應(yīng)搜索相同的 GPU 來訓(xùn)練自己的大模型。
英偉達提出的 DGX Cloud 提供了專用的 NVIDIA DGX AI 超級計算集群，搭配 NVIDIA AI 軟件，該服務(wù)使每個企業(yè)都可以使用簡單的網(wǎng)絡(luò)瀏覽器訪問 AI 超算，消除了獲取、部署和管理本地基礎(chǔ)設(shè)施的復(fù)雜性。
據(jù)介紹，每個 DGX Cloud 實例都具有八個 H100 或 A100 80GB Tensor Core GPU，每個節(jié)點共有 640GB GPU 內(nèi)存。使用 NVIDIA Networking 構(gòu)建的高性能、低延遲結(jié)構(gòu)確保工作負載可以跨互連系統(tǒng)集群擴展，允許多個實例充當一個巨大的 GPU，以滿足高級 AI 訓(xùn)練的性能要求。
現(xiàn)在，企業(yè)可以按月租用 DGX Cloud 集群，快速輕松地擴展大型多節(jié)點訓(xùn)練工作負載的開發(fā)，而無需等待通常需求量很大的加速計算資源。
而月租的價格，據(jù)黃仁勛介紹，每個實例每月 36999 美元起。
「我們正處于人工智能的 iPhone 時刻，」黃仁勛表示：「初創(chuàng)公司競相打造出了顛覆性產(chǎn)品和商業(yè)模式，而現(xiàn)有企業(yè)也在尋求回應(yīng)。DGX Cloud 讓客戶能夠即時訪問全球規(guī)模的云中的 NVIDIA AI 超級計算?！?/p>
為了幫助企業(yè)迎接生成式 AI 的浪潮，英偉達同時宣布了一系列云服務(wù)，讓企業(yè)能夠構(gòu)建、改進定制的大型語言模型和生成式 AI 模型。
現(xiàn)在，人們可以使用 NVIDIA NeMo 語言服務(wù)和 NVIDIA Picasso 圖像、視頻和 3D 服務(wù)來構(gòu)建專有的、特定領(lǐng)域的生成式 AI 應(yīng)用程序，用于智能對話和客戶支持、專業(yè)內(nèi)容創(chuàng)建、數(shù)字模擬等。另外，英偉達還宣布了 NVIDIA BioNeMo 生物學(xué)云服務(wù)的新模型。
「生成式 AI 是一種新型計算機，可以用人類的自然語言進行編程。這種能力影響深遠 —— 每個人都可以命令計算機來解決問題，而此前不久，這還是程序員們的專利，」黃仁勛說道。
從今天的發(fā)布內(nèi)容看來，英偉達不僅正在針對科技公司的 AI 負載不斷改進硬件設(shè)計，也在提出新的商業(yè)模式。在一些人看來，英偉達是想做「AI 領(lǐng)域的臺積電」：像晶圓廠一樣提供先進生產(chǎn)力代工服務(wù)，幫助其他公司在其之上訓(xùn)練各自特定場景的 AI 算法。
用英偉達的超算訓(xùn)練，直接省去中間商賺差價，會是未來 AI 發(fā)展的方向嗎？
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機號后發(fā)表評論