繼快思考模型Turbo S后,騰訊又推出了自研深度思考模型混元T1正式版。據(jù)介紹,這是一款“能秒回”的強(qiáng)推理模型,也是工業(yè)界首次將混合Mamba架構(gòu)無損應(yīng)用于超大型推理模型。
3月21日深夜,騰訊混元大模型團(tuán)隊正式推出了自研深度思考模型混元T1正式版。該模型具有效果好、速度快的特點,多項指標(biāo)達(dá)到業(yè)界領(lǐng)先推理水平,吐字速度達(dá)到每秒60—80tokens,在實際生成效果表現(xiàn)中遠(yuǎn)快于DeepSeek-R1推理模型。
能秒回的深度思考模型
目前,用戶在使用DeepSeek-R1等推理模型時,由于模型需要進(jìn)行深度思考,并在提供回答前列出詳細(xì)的思維鏈,雖然能夠體現(xiàn)較高的智能化水平,但存在響應(yīng)速度慢、不夠高效的短板。
混元T1正式版則致力于解決這一問題,不僅吐字快、能秒回,還擅長超長文處理。在體現(xiàn)推理模型基礎(chǔ)能力的常見基準(zhǔn)測試上,如大語言模型評估增強(qiáng)數(shù)據(jù)集MMLU-PRO中,混元T1取得87.2分,超越了DeepSeek-R1,僅次于o1。
值得注意的是,混元T1正式版沿用了混元TurboS的創(chuàng)新架構(gòu),采用Hybrid-Mamba-Transformer融合模式。這一架構(gòu)有效降低了傳統(tǒng)Transformer結(jié)構(gòu)的計算復(fù)雜度,減少了KV-Cache的內(nèi)存占用,從而顯著降低了訓(xùn)練和推理成本。
這也意味著,騰訊摒棄了傳統(tǒng)及主流的純Transformer架構(gòu),首次將混合Mamba架構(gòu)無損應(yīng)用于超大型推理模型。
目前,混元T1已在騰訊云官網(wǎng)上線。價格方面,輸入價格為1元/每百萬tokens,輸出價格為4元/每百萬tokens,輸出價格為DeepSeek標(biāo)準(zhǔn)時段的1/4,與DeepSeek優(yōu)惠時段一致。
騰訊大模型業(yè)務(wù)動作頻頻
作為大模型的“后發(fā)者”,騰旭今年以來動作頻頻,不僅快速地將旗下十余款產(chǎn)品接入了DeepSeek,自研的混元模型系列也進(jìn)入快速迭代期。同時,騰訊也在加大對C端產(chǎn)品元寶的投入,積極搶占大模型用戶入口。
騰訊3月19日發(fā)布的最新財報顯示,騰訊2024年全年實現(xiàn)營收6603億元,同比增長8%;凈利潤為1940.7億元,比上年增長68%。騰訊董事會主席兼首席執(zhí)行官馬化騰在業(yè)績會上表示,在過去一兩個月里,AI得到了很大發(fā)展,尤其是在DeepSeek橫空出世后,騰訊在云業(yè)務(wù)、“元寶”(AI應(yīng)用)上都積極擁抱DeepSeek。
據(jù)騰訊官方微信號發(fā)布,自今年2月來,騰訊元寶接入DeepSeek滿血版和全新混元模型,雙核驅(qū)動元寶高速進(jìn)化、日更級迭代,35天版本已經(jīng)更新30次。除此以外,目前騰訊已有元寶、微信、騰訊文檔、QQ瀏覽器、QQ音樂、微信讀書等數(shù)十款產(chǎn)品及業(yè)務(wù)接入DeepSeek。
業(yè)內(nèi)人士分析,作為擁有強(qiáng)大生態(tài)和用戶基礎(chǔ)的公司,騰訊如今通過走混元模型+DeepSeek模型結(jié)合的路徑,致力于在AI應(yīng)用領(lǐng)域構(gòu)建起自身的競爭優(yōu)勢。
馬化騰在業(yè)績會上還表示:“數(shù)月前,我們重組了AI團(tuán)隊以聚焦于快速的產(chǎn)品創(chuàng)新及深度的模型研發(fā),增加了AI相關(guān)的資本開支,并加大了我們對原生AI產(chǎn)品的研發(fā)和營銷力度。我們相信這些增加的投資,會通過提升廣告業(yè)務(wù)的效率及游戲的生命周期而帶來持續(xù)的回報,并隨著我們個人AI應(yīng)用的加速普及和更多企業(yè)采用我們的AI服務(wù),創(chuàng)造更長遠(yuǎn)的價值?!?/p>
財報顯示,2024年第四季度,騰訊資本開支同比增長386%至365.8億元,2024年全年資本開支達(dá)到767.6億元,同比增長221%,創(chuàng)歷史新高,占總營收的11.6%。研發(fā)投入方面,2024年全年的AI研發(fā)投入達(dá)到706.9億元,2018年至今累計投入3403億元。騰訊總裁劉熾平表示,第四季度的資本支出增加非常顯著,這是由于這一季度公司購買了更多GPU以滿足推理需求,計劃在2025年進(jìn)一步增加資本支出。
責(zé)編:李丹
校對:彭其華
(點擊圖片進(jìn)入報名頁面)