鈦度圖聞·一百四十六期
策劃制作｜鈦媒體視覺中心，編輯｜劉亞寧，作圖｜初彥墨
2024年剛開年，OpenAI推出的文生視頻工具Sora再次風(fēng)靡全球，成為了OpenAI繼ChatGPT之后新的生成式AI標(biāo)桿。AI重塑世界，也可能會讓環(huán)境資源付出巨大的代價。
據(jù)《紐約客》雜志引援國外研究機(jī)構(gòu)報告，ChatGPT每天要響應(yīng)大約2億個請求，在此過程中消耗超過50萬度電力，也就是說，ChatGPT每天用電量相當(dāng)于1.7萬個美國家庭的用電量。而隨著生成式AI的廣泛應(yīng)用，預(yù)計到2027年，整個人工智能行業(yè)每年將消耗85至134太瓦時（1太瓦時=10億千瓦時）的電力。
除了耗電，和ChatGPT或其他生成式AI聊天，也會消耗水資源。加州大學(xué)河濱分校研究顯示，ChatGPT每與用戶交流25-50個問題，就可消耗500毫升的水。而ChatGPT有超過1億的活躍用戶，這背后消耗的水資源無疑是令人震驚的。
訓(xùn)練一個大模型，科技巨頭每年都消耗了多少能源？本期鈦媒體·鈦度圖聞帶你關(guān)注。
在大模型的訓(xùn)練中，語料信息的規(guī)模是很重要的。一般來說，語料規(guī)模越大，其蘊(yùn)含的信息就越豐富，模型所形成的參數(shù)越大，具有更好的泛化能力。為了獲得智能水平更高的大模型，AI模型的語料規(guī)模和參數(shù)規(guī)模越來越大。
從參數(shù)規(guī)模上看，大模型先后經(jīng)歷了預(yù)訓(xùn)練模型、大規(guī)模預(yù)訓(xùn)練模型、超大規(guī)模預(yù)訓(xùn)練模型三個階段，參數(shù)量實現(xiàn)了從億級到百萬億級的突破。2017年，谷歌首次提出6500萬參數(shù)的Transformer模型，自此大模型就開始走上了一條快速發(fā)展之路。
2018年，谷歌發(fā)布基于Transformer的BERT，BERT學(xué)習(xí)了16GB的語料，形成3.4億個參數(shù)；2019年，OpenAI推出了15億參數(shù)的GPT-2，同年，谷歌推出T5模型，參數(shù)達(dá)到110億。從十億級到百億級，大模型在一年內(nèi)實現(xiàn)躍升。2020年，OpenAI推出了1750億參數(shù)的GPT-3；2021年，谷歌推出Switch Transformer架構(gòu)，其參數(shù)量擴(kuò)展到了1.6萬億；同年，北京智源人工智能研究院也推出參數(shù)量在萬億級別的模型“悟道”。2022年，清華大學(xué)、阿里達(dá)摩院等機(jī)構(gòu)的研究人員提出的“八卦爐”模型，其具有174萬億個參數(shù)，可與人腦中的突觸數(shù)量相媲美。如今，大模型參數(shù)量已實現(xiàn)百萬億級的突破。
目前，人工智能公司很少公開談?wù)摯竽Ｐ偷挠?xùn)練成本，但相關(guān)研究估計這些模型的訓(xùn)練成本可高達(dá)數(shù)百億美元。斯坦福大學(xué)發(fā)布的《2023年人工智能指數(shù)報告》，基于已有大模型披露的硬件和訓(xùn)練時間，對其訓(xùn)練成本進(jìn)行了估算。
2019年，OpenAI發(fā)布的大語言模型GPT-2參數(shù)量為15億，它的訓(xùn)練成本約為5萬美元左右；到了2020年，訓(xùn)練1750億參數(shù)量的GPT-3的費(fèi)用大概是180萬美元。GPT-3比GPT-2的參數(shù)量擴(kuò)大了117倍，其訓(xùn)練費(fèi)用也增加了36倍。大型語言和多模態(tài)模型如“吞金獸一般”，變得越來越大，也越來越貴。
訓(xùn)練大模型需要大量的能源，比傳統(tǒng)的數(shù)據(jù)中心要消耗更多的電力。OpenAI曾發(fā)布報告指出，自2012年以來，AI訓(xùn)練應(yīng)用的電力需求每3到4個月就會翻一倍。華為AI 首席科學(xué)家田奇也曾給出數(shù)據(jù)，AI算力在過去10年至少增長了40萬倍。AI大模型可謂是“耗電巨獸”。
研究顯示，訓(xùn)練谷歌于2022年發(fā)布的大語言模型PaLM需要消耗3436兆瓦時的電量，約等于11.8萬美國普通家庭日耗電量（美國普通家庭日均耗電量約為29千瓦時）；就算訓(xùn)練參數(shù)量為3.4億的BERT模型，也需要消耗1.5兆瓦時的電量，相當(dāng)于觀看1875小時的流媒體。
據(jù)了解，AI服務(wù)器和芯片是產(chǎn)生能耗最主要的地方。通用型服務(wù)器只需要2顆800W服務(wù)器電源，而AI服務(wù)器則需要4顆1800W高功率電源，AI服務(wù)器對于電源的需求大大提升。荷蘭一位學(xué)者表示，到2027年，新制造的人工智能設(shè)備的用電量將與荷蘭、瑞典、阿根廷等國的用電量一樣。
除了耗電，由于算力設(shè)備的冷卻需求，AI消耗的水資源數(shù)量也驚人。
谷歌環(huán)境報告顯示，2022年谷歌的用水量達(dá)到了56億加侖水（約212億升水），相當(dāng)于8500個奧運(yùn)會規(guī)格的游泳池，這些水被用來為該公司的數(shù)據(jù)中心散熱。不僅如此，在微軟的美國數(shù)據(jù)中心訓(xùn)練GPT-3使用的水量相當(dāng)于填滿一個核反應(yīng)堆的冷卻塔所需的水量，大約70萬升。而用戶在使用生成式AI工具時也需要耗水。研究顯示，ChatGPT每與用戶交流25-50個問題，就可消耗500毫升的水。研究人員預(yù)計，到2027年，全球范圍內(nèi)的AI需求可能會需要消耗掉66億立方米的水資源，幾乎相當(dāng)于美國華盛頓州全年的取水量。
除了消耗大量的電力和水資源，AI大模型還是碳排放大戶。斯坦福大學(xué)報告顯示，OpenAI的GPT-3模型在訓(xùn)練期間釋放了502公噸碳，是目前大模型中有據(jù)可查耗能最嚴(yán)重的，它的碳排放量是Gopher模型的1.4倍， 是BLOOM模型的20.1倍，約等于8輛普通汽油乘用車一生的碳排放量，人均91年的碳排放量。
隨著科技日新月異，未來AI大模型會層出不窮。不可否認(rèn)的是，生成式AI的出現(xiàn)給社會生活帶來了巨大的助力，但AI給人類帶來效率提升的同時也可能引發(fā)能源危機(jī)。所以，科技巨頭們還需從算法和模型優(yōu)化、硬件優(yōu)化、訓(xùn)練和計算技巧等方面入手，讓AI功耗在一定程度上降低。
數(shù)據(jù)來源：斯坦福大學(xué)《2023年人工智能指數(shù)報告》、《AI專題：重新思考對AI能源使用的擔(dān)憂》、中國政府網(wǎng)等公開資料整理。
快報
根據(jù)《網(wǎng)絡(luò)安全法》實名制要求，請綁定手機(jī)號后發(fā)表評論
Al行業(yè)也是利益驅(qū)動，應(yīng)該提倡回歸大自然，減少科技污染