證券時報網(wǎng)
唐強(qiáng)
2025-06-20 21:40
重大發(fā)布。
“一年以來，盤古大模型深入行業(yè)解難題，在30多個行業(yè)、500多個場景中落地?！?月20日下午，在華為開發(fā)者大會2025上，華為常務(wù)董事、華為云計算CEO張平安分享了盤古大模型在工業(yè)、農(nóng)業(yè)、科研等領(lǐng)域的豐富創(chuàng)新應(yīng)用和落地實踐，并重磅發(fā)布盤古大模型5.5，在自然語言處理、多模態(tài)等5大基礎(chǔ)模型全面升級，加速重塑千行萬業(yè)。
會上，華為云還發(fā)布了盤古醫(yī)學(xué)、金融、政務(wù)、工業(yè)、汽車五個具備深度思考能力的行業(yè)自然語言大模型，加速行業(yè)智能化，并將在6月底正式上線。
在過去的一年中，盤古大模型持續(xù)深耕行業(yè)，已在30多個行業(yè)、500多個場景中落地，在政務(wù)、金融、制造、醫(yī)療、煤礦、鋼鐵、鐵路、自動駕駛、氣象等領(lǐng)域發(fā)揮巨大價值，重塑千行萬業(yè)。
值得一提的是，5月30日，證券時報·券商中國記者從華為獲悉，華為在MoE模型訓(xùn)練領(lǐng)域再進(jìn)一步，重磅推出參數(shù)規(guī)模高達(dá)7180億的全新模型——盤古Ultra MoE，這是一個全流程在昇騰AI計算平臺上訓(xùn)練的準(zhǔn)萬億MoE模型。同時，華為發(fā)布盤古Ultra MoE模型架構(gòu)和訓(xùn)練方法的技術(shù)報告，披露眾多技術(shù)細(xì)節(jié)，充分體現(xiàn)了昇騰在超大規(guī)模MoE訓(xùn)練性能上的跨越。
據(jù)悉，訓(xùn)練超大規(guī)模和極高稀疏性的MoE模型極具挑戰(zhàn)，訓(xùn)練過程中的穩(wěn)定性往往難以保障。針對這一難題，華為盤古團(tuán)隊在模型架構(gòu)和訓(xùn)練方法上進(jìn)行了創(chuàng)新性設(shè)計，成功地在昇騰平臺上實現(xiàn)了準(zhǔn)萬億MoE模型的全流程訓(xùn)練。
在模型架構(gòu)上，盤古團(tuán)隊提出Depth-Scaled Sandwich-Norm（DSSN）穩(wěn)定架構(gòu)和TinyInit小初始化的方法，在昇騰平臺上實現(xiàn)了超過18TB數(shù)據(jù)的長期穩(wěn)定訓(xùn)練。此外，他們還提出了EP loss負(fù)載優(yōu)化方法，這一設(shè)計不僅保證了各個專家之間的能保持較好的負(fù)載均衡，也提升了專家的領(lǐng)域特化能力。同時，盤古Ultra MoE使用了業(yè)界先進(jìn)的MLA和MTP架構(gòu)，在預(yù)訓(xùn)練和后訓(xùn)練階段都使用了Dropless訓(xùn)練策略，實現(xiàn)了超大規(guī)模MoE架構(gòu)在模型效果與效率之間的最佳平衡。
在訓(xùn)練方法上，華為團(tuán)隊首次披露在昇騰CloudMatrix 384超節(jié)點上，高效打通大稀疏比MoE強(qiáng)化學(xué)習(xí)（RL）后訓(xùn)練框架的關(guān)鍵技術(shù)，使RL后訓(xùn)練進(jìn)入超節(jié)點集群時代。同時，在5月初發(fā)布的預(yù)訓(xùn)練系統(tǒng)加速技術(shù)基礎(chǔ)上，在不到一個月的時間內(nèi)，華為團(tuán)隊又完成了一輪迭代升級，包括：適配昇騰硬件的自適應(yīng)流水掩蓋策略，進(jìn)一步優(yōu)化算子執(zhí)行程序，進(jìn)一步降低Host-Bound以及提升EP通信的掩蓋；自適應(yīng)管理內(nèi)存優(yōu)化策略的開發(fā)；數(shù)據(jù)重排實現(xiàn)DP間Attention負(fù)載均衡；以及昇騰親和的算子優(yōu)化，這些技術(shù)實現(xiàn)萬卡集群預(yù)訓(xùn)練MFU由30%大幅提升至 41%。
此外，近期發(fā)布的盤古Pro MoE大模型，在參數(shù)量僅為720億、激活160億參數(shù)量的情況下，通過動態(tài)激活專家網(wǎng)絡(luò)的創(chuàng)新設(shè)計，實現(xiàn)了以小打大的優(yōu)異性能，甚至可以媲美千億級模型的性能表現(xiàn)。在業(yè)界權(quán)威大模型榜單SuperCLUE最新公布的2025年5月排行榜上，位居千億參數(shù)量以內(nèi)大模型排行并列國內(nèi)第一。
業(yè)內(nèi)人士分析，華為此舉的核心意義在于，證明了在國產(chǎn)AI算力平臺（昇騰）上，能夠高效、穩(wěn)定地訓(xùn)練并優(yōu)化達(dá)到國際頂尖水平的超大規(guī)模稀疏模型（MoE），實現(xiàn)了從硬件到軟件、從訓(xùn)練到優(yōu)化、從基礎(chǔ)研究到工程落地的“全棧國產(chǎn)化”和“全流程自主可控”的閉環(huán)，并在關(guān)鍵性能指標(biāo)上達(dá)到業(yè)界領(lǐng)先水平。
同日，在華為開發(fā)者大會2025上，華為鴻蒙6（HarmonyOS 6）操作系統(tǒng)首次亮相。華為常務(wù)董事、終端BG董事長余承東在會上宣布，鴻蒙6開發(fā)者Beta版面向開發(fā)者正式啟動。
鴻蒙6是原生鴻蒙的第二個版本，余承東介紹，鴻蒙6將帶來全新的互聯(lián)和智能體驗，全場景體驗更易用，時延更低；鴻蒙智能再進(jìn)化，AI能力更開放。同時，HMAF鴻蒙智能體框架賦能鴻蒙應(yīng)用和元服務(wù)智能化升級，讓人機(jī)交互更自然、強(qiáng)大、高效和協(xié)同。
與此同時，隨著鴻蒙生態(tài)進(jìn)入飛輪加速新階段，這也帶來大批鴻蒙人才的需求，目前已經(jīng)有超30000個應(yīng)用及元服務(wù)在加速開發(fā)中，覆蓋政務(wù)、醫(yī)療、工業(yè)等近20個行業(yè)，注冊開發(fā)者數(shù)量已突破800萬 ，相關(guān)報告顯示，鴻蒙生態(tài)面臨百萬級人才缺口。
綜合自：央視新聞、券商中國
責(zé)編：李丹
校對：李凌鋒
