大模型的發(fā)展落地日新月異,就在年初,業(yè)界還在擔(dān)心AI生產(chǎn)的學(xué)術(shù)垃圾充斥論文庫,年中,AI生成的論文已經(jīng)可以被頂會認(rèn)可了。
5月29日,海外初創(chuàng)公司Intology 宣布,他們的“AI科學(xué)家”Zochi的論文被頂會ACL主會議錄用,成為首個(gè)獨(dú)立通過 A* 級別科學(xué)會議同行評審的AI,同時(shí)宣布開放Zochi的Beta 測試。
這一發(fā)布的含金量在于,ACL是自然語言處理領(lǐng)域全球排名第一的頂會,其主會議平均錄用率通常低于20%,論文需具備突破性創(chuàng)新。據(jù)悉,Zochi的論文獲得評審最終評分4分,在所有投稿論文中排名前8.2%。
Intology是一家較為陌生的初創(chuàng)公司,從目前官網(wǎng)和博客的信息梳理來看,這家公司是在2025年初新成立的,定位是一個(gè)研究智能科學(xué)的實(shí)驗(yàn)室,兩名聯(lián)創(chuàng)分別是連續(xù)創(chuàng)業(yè)者Ron Arel和前Meta華人研究員Andy Zhou,兩人均畢業(yè)于伊利諾伊大學(xué)厄巴納-香檳分校(UIUC)。
Intology成立后,此前3月團(tuán)隊(duì)就推出了智能體Zochi,稱其為AI科學(xué)家,并宣布其研究成果已被ICLR 2025研討會接收。不過,此前的這一研討會的論文接收率在60%-70%,要求比頂會的主會低了不少,官方認(rèn)為,此次更進(jìn)一步的頂會突破標(biāo)志著AI達(dá)到博士級科研水平,人類博士通常需數(shù)年才能在此類會議發(fā)表。
具體看此次AI科學(xué)家Zochi“寫”的論文,主題是關(guān)于大模型安全的,名為《Tempest: Automatic Multi-Turn Jailbreaking of Large Language Models with Tree Search》,直譯過來是《Tempest:基于樹搜索的大模型自主多輪越獄》,簡單來說,Zochi利用了一種“樹搜索”技術(shù),來探索多種對話路徑,逐步突破大模型的安全防線。
研究提出的Tempest框架,能通過多輪對話逐步瓦解模型的安全防線,繞過安全檢測,通過小讓步的累積完成違規(guī)的內(nèi)容輸出。例如,直接讓模型回答敏感信息“制作炸彈”,基于安全機(jī)制模型會直接拒絕,但通過多輪委婉地引導(dǎo)提問,最終卻可以讓模型回答出正確的信息。
評估結(jié)果顯示,Tempest在OpenAI的舊模型GPT-3.5-turbo上的成功率為100%,在GPT-4上的成功率為97%。這一研究主要是揭示了多輪對話攻擊的漏洞,可以為設(shè)計(jì)更佳的AI安全防御提供參考。
值得一提的是,論文的署名是兩位聯(lián)創(chuàng),但官方博客表示,除論文格式調(diào)整與繪圖外,內(nèi)容全程無人工參與,“我們對這項(xiàng)工作負(fù)責(zé),但主要的智力貢獻(xiàn)是由AI系統(tǒng)完成的” 。
據(jù)官方介紹,人類僅輸入研究領(lǐng)域,Zochi就可以獨(dú)立完成后續(xù)全流程。Zochi 首先會采集并分析數(shù)千篇研究論文,以確定特定領(lǐng)域內(nèi)有潛力的研究方向。其檢索系統(tǒng)能夠識別文獻(xiàn)中的關(guān)鍵貢獻(xiàn)、方法論、局限性以及新興模式,識別論文之間不明顯的聯(lián)系,并提出創(chuàng)新的解決方案。從提出假設(shè)到完成實(shí)驗(yàn),就像一個(gè)真正的科學(xué)家。
AI科學(xué)家并非個(gè)例,除了Intology外,Transformer作者Llion Jones去年創(chuàng)立的Sakana AI,也推出了一個(gè)基于AI的科研系統(tǒng)“AI Scientist”,論文也已被ICLR 2025研討會接收,分?jǐn)?shù)為6/7/6。
AI for Science(AI4Science)一直是AI行業(yè)最前沿的落地領(lǐng)域之一,人工智能可以極大地促進(jìn)科學(xué)的進(jìn)步,提高科學(xué)家的效率、準(zhǔn)確性和創(chuàng)造力。不過,新事物的出現(xiàn)也伴隨著合理性和規(guī)則適配的爭議。
此前3月Intology 推出Zochi、宣布論文被會議接收時(shí),就被不少學(xué)術(shù)界人士批評,認(rèn)為這是對科學(xué)同行評審過程的濫用,在提交論文前,團(tuán)隊(duì)并未知會相關(guān)方是AI生成的論文,也未獲得同行評審者的同意。
在此次博客最后,官方提到了AI帶來的學(xué)術(shù)倫理問題,認(rèn)為AI驅(qū)動的研究給科學(xué)問責(zé)和可重復(fù)性帶來了挑戰(zhàn)。但他們認(rèn)為,雖然 Zochi 自主運(yùn)營,但人類研究員仍然是作者,并負(fù)責(zé)驗(yàn)證方法、解釋結(jié)果并確保符合倫理規(guī)范。對于論文,人類作者進(jìn)行多輪內(nèi)部審查,并在提交前仔細(xì)核實(shí)了所有結(jié)果和代碼。
“我們鼓勵在致謝中列出AI系統(tǒng),而不是將其列為作者。雖然AI驅(qū)動的研究提出了關(guān)于歸屬、透明度和問責(zé)制的重要問題,但我們認(rèn)為,智力貢獻(xiàn)應(yīng)該以實(shí)質(zhì)內(nèi)容而非來源來評判?!盜ntology官方表示,他們的主要關(guān)注點(diǎn)是通過AI工具協(xié)助人類研究者。