AI的盡頭是電力。作為耗電大戶,馬斯克的“超級算力工廠”,正面臨監(jiān)管審查。
據(jù)外媒報道,馬斯克創(chuàng)辦的AI公司xAI在美國田納西州孟菲斯構(gòu)建的超級計算機“Colossus”(巨人)因違反環(huán)境規(guī)定而面臨審查。南方環(huán)境法律中心在近日發(fā)給謝爾比縣衛(wèi)生局的一封信中表示,航拍圖像和其他數(shù)據(jù)顯示,xAI在當(dāng)?shù)氐墓S安裝了“多達35臺甲烷氣體渦輪機”。這些渦輪機的總功率可達到420兆瓦,足以為一座城市供電。這35臺渦輪機不僅是重大空氣污染源,同時也遠超xAI向謝爾比縣衛(wèi)生局申請的“15臺設(shè)備”的數(shù)量,是“非法”的。
Colossus是馬斯克為了給xAI聊天機器人Grok提供算力而建設(shè)的世界上規(guī)模最大的超級計算機。大模型訓(xùn)練過程需要巨大的算力支持,這直接導(dǎo)致了大量的電力需求。國際能源署預(yù)測,全球數(shù)據(jù)中心到2026年的用電量將高達1.05萬億千瓦時,凸顯了AI發(fā)展極快的能源消耗速度。馬斯克被控“非法發(fā)電”的背后,是AI大模型這一“吞電巨獸”所面臨的電力困境。
馬斯克“非法”安裝35臺甲烷氣體渦輪機
去年6月,xAI宣布將在美國田納西州孟菲斯建造一臺超級計算機來訓(xùn)練其人工智能大模型Grok。同年9月,馬斯克透露孟菲斯超級計算機的一部分,即現(xiàn)在的Colossus已經(jīng)上線。
值得注意的是,馬斯克曾表示,孟菲斯的超級計算機系統(tǒng)包括20萬個英偉達GPU,其中一半是在短短122天內(nèi)安裝完成的,他希望最終將GPU規(guī)模擴大到100萬個。自宣布這一項目以來,xAI已向當(dāng)?shù)靥峤涣?4份施工許可申請,相關(guān)文件顯示,預(yù)計項目成本合計達到了4.059億美元。
從去年開始,xAI就已經(jīng)開始孟菲斯數(shù)據(jù)中心訓(xùn)練Grok模型。今年2月18日,xAI發(fā)布了最新一代模型Grok 3。為了打造Grok 3,馬斯克投入了高達10萬個英偉達GPU作為算力支撐,計算量是前代的10倍。
但是,孟菲斯的超級計算機項目自宣布以來就面臨著能源消耗及環(huán)境污染的質(zhì)疑。據(jù)外媒報道,xAI已向孟菲斯照明、天然氣和水處理公司(MLGW)申請了300兆瓦的電網(wǎng)電力,并獲得150兆瓦的供電許可。這一供應(yīng)許可,足以為10萬個家庭提供電力。
即使是這樣,這些電力對于Colossus而言仍然遠遠不夠。南方環(huán)境法律中心在近日發(fā)給謝爾比縣衛(wèi)生局的一封信中表示,航拍圖像和其他數(shù)據(jù)顯示,xAI在當(dāng)?shù)氐墓S安裝了“多達35臺甲烷氣體渦輪機”。這些渦輪機的總功率高達420兆瓦,足以滿足一座城市的用電需求。
早在去年夏天,xAI就曾在額外設(shè)置甲烷發(fā)電機,謝爾比縣衛(wèi)生局當(dāng)時表示,xAI并未獲得使用這些發(fā)電機的許可。今年1月,xAI申請了15臺發(fā)電機的許可,以臨時為數(shù)據(jù)中心供電。而最新披露的35臺顯然遠遠超過其申請的數(shù)量。
此外,南方環(huán)境法律中心在信中還提到,xAI非法安裝的設(shè)備違反了《清潔空氣法》,特別是其中關(guān)于有毒和致癌污染物的排放限額,是“重大空氣污染源”。該組織呼吁,當(dāng)?shù)貞?yīng)發(fā)布緊急命令,要求xAI停止使用35臺發(fā)電機,如果未遵守,建議每日罰款2.5萬美元。
“吞電”巨獸,如何緩解能耗與污染難題?
xAI因能源消耗及環(huán)境污染所面臨監(jiān)管審查,折射出當(dāng)前AI大模型所面臨的資源掣肘及環(huán)保難題。
國際能源署發(fā)布的2024版全球電力報告顯示,2022年全球數(shù)據(jù)中心和人工智能大約消耗了全球總用電量的1.6%,而且增長迅速。隨著大模型的異軍突起,全球數(shù)據(jù)中心到2026年的用電量將高達1.05萬億千瓦時。斯坦福人工智能研究所發(fā)布的《2023年人工智能指數(shù)報告》顯示,大語言模型GPT-3一次訓(xùn)練的耗電量為1287兆瓦時,相當(dāng)于120個美國家庭一年的用電量。而GPT-4的主要參數(shù)是GPT-3的20倍,計算量是GPT-3的10倍,能耗也隨之大幅增加。
除此以外,大模型還會帶來碳排放增多的問題。去年6月,谷歌發(fā)布的環(huán)境報告顯示,自2019年以來,其溫室氣體總排放量增長了48%,僅2023年一年谷歌就產(chǎn)生了1430萬噸二氧化碳,同比2022年增長13%。谷歌將碳排放量激增的原因,歸結(jié)于數(shù)據(jù)中心的能源使用和供應(yīng)鏈排放的增加。
能耗問題正逐漸成為人工智能發(fā)展的“絆腳石”。OpenAI首席執(zhí)行官山姆·奧特曼曾公開表示,未來AI的耗電量將大大超過人們的預(yù)期,因此必須在能源方面取得突破。他還表示,更多氣候友好型能源,特別是核聚變或更便宜的太陽能和儲能,是AI的發(fā)展方向。這一判斷也促使奧特曼加大對核聚變的投資。奧特曼向核聚變初創(chuàng)公司Helion Energy投資了3.75億美元,這也是他迄今為止最大的一筆投資。
當(dāng)前,大模型訓(xùn)練遵循Scaling Law(縮放定律,即模型性能隨著算力、數(shù)據(jù)的增加而提升),各個廠商都在“卷參數(shù)”,因為往往參數(shù)越大,能力越大。在這種技術(shù)路徑下,模型性能每提升一個層次,其消耗的電力與碳排放也會與之俱增。因此,如何在發(fā)展AI大模型的同時,減低其能耗及碳排放,一直是行業(yè)研究的重點。
除了發(fā)展核能、太陽能、風(fēng)能等清潔能源等清潔能源以外,行業(yè)人士普遍認為,還應(yīng)加強AI技術(shù)的創(chuàng)新與優(yōu)化,通過不斷改進AI模型與算法,更新使用高效能硬件,優(yōu)化數(shù)據(jù)中心設(shè)計等方式,減少不必要的計算量,實現(xiàn)更高的能效。事實上,近年來隨著技術(shù)的不斷進步,模型壓縮、剪枝、量化、異構(gòu)計算芯片等新技術(shù)的出現(xiàn),使日常使用AI推理的單次能耗也在持續(xù)下降。
校對:劉星瑩